[beautifulsoup] タグが付いた質問
Beautiful Soup は、HTML や XML をパースするための Python パッケージです。特にバージョン 4 のパッケージは bs4 という名前で import されます。
40
質問
0
票
0回答
108 件の閲覧数
Amazonの注文履歴履歴サイトのページ要素が取得できません
最近Pythonの勉強を始め、webスクレイピングを練習中です。そこでAmazonの注文履歴を集計しようと考え、Jupiter labでプログラムを書くことにしました。
AmazonのトップページのURLを開く
ログインする
注文履歴を開くボタンをクリックする
注文履歴内のデータを取得する
この手順で進めていく予定でしたが、4つ目のデータ取得でrequestとBeautifulSoupを使って
...
0
票
2回答
106 件の閲覧数
pythonのlamda式を普通の式に戻したい。
下記のサイトのプログラムでlamdaが使用されている箇所があるのですが、なんとなくコメントオブジェクトならエレメントに代入する意味になっていると思うのですが、itや textが何を指しているのかよく分からないです。
教えて頂けないでしょうか?
div = soup.find('div', class_='foo')
for element in div(text=lambda it: ...
0
票
1回答
85 件の閲覧数
BeautifulSoup4がImportできない
IDLEにおいて以下のコードを入力するとエラー?が表示されます。解決策をご教示いただけますでしょうか。
from bs4 import BeautifulSoup
soup = BeautifulSoup(html.centent, "html.parser")
エラー?
Traceback (most recent call last):
File "/...
0
票
1回答
625 件の閲覧数
PythonスクレイピングでGoogle検索画面情報取得
https://torahack.com/python-scraping-for-seo/
このサイトにあるように、
①検索結果上位サイトのURLを取得
②title,description等を抜き出す。
③CSVで出力、ダウンロード
ということをやりたいのですが、うまくいきません。
下記のGoogle colabファイルを作成実行したところ
csvファイルが生成されるのですが、中身は空でした。...
2
票
2回答
964 件の閲覧数
Google検索結果のスクレイピングができない。
Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが
下記の疑問点が解決できないのでどなたか教えて下さい。
①下記エラーを修正する方法を知りたい。
a = str(list[i]).strip('')
IndexError: list index out of range
②titleとそのURLを取得する方法を知りたい。
参考にしたサイト
https:...
0
票
0回答
70 件の閲覧数
beautifulsoupでtimeタグが取得できない
python&beautifulsoupでtimeタグを取得しようとしてるのですが、色々試してもうまくいきません。コードは以下の状態です。
教えていただけるとありがたいです。
# coding: UTF-8
import urllib.request, urllib.error
from bs4 import BeautifulSoup
url = "https://xxx"
...
0
票
0回答
34 件の閲覧数
pythonで文字列を画像に出力する方法を教えて下さい [クローズ済み]
pythonの学習中です。
BeautifulSoupでスクレイピングしたあと、その結果を画像ファイルとして出力したいのですが、方法を教えて下さい。
0
票
2回答
285 件の閲覧数
BeautifulSoup4で空白文字を含んだclassの中身を取得したい
BeautifulSoup4でホームページから情報取得をする勉強をしているのですが空白を含んだclassを指定して取得する方法がわかりません。
具体例だと
https://race.netkeiba.com/race/result.html?race_id=202006010810&rf=race_submenu
の【後3F】の部分で、背景に色がついているものは'Time BgYellow'...
1
票
1回答
427 件の閲覧数
BeautifulSoupにてXML中のnameタグの中身を取得する方法
BeautifulSoup4、Python 3.6を使用しています。
パーサーはlxml-xmlです。
以下のようなXMLをパースして、entry.name.stringを取得しようとすると、エラーとなります。
<entry><name>Foo</name><value>80</value></entry>
...
0
票
0回答
175 件の閲覧数
Pythonでスクレイピングできない(一部しかできない)ページがあるので理由と取得方法を知りたい
Pythonでスクレイピングできない(一部しかできない)ページがある。
コードは下記の通り。
(progateのclass指定のあるh3タグの取得を実行している)
import requests
from bs4 import BeautifulSoup
URL = "https://prog-8.com/"
res = requests.get(URL)
soup = ...
0
票
1回答
470 件の閲覧数
python, BeautifulSoupでgoogle検索のタイトル取得できない
こちらのチュートリアルの通りにやっても、htmlのタイトル部分だけを取り出せません。
(python3.6, macos)
import requests as web
import bs4
import csv
# キーワードを使って検索する
list_keywd = ['機械学習','統計']
resp = web.get('https://www.google.co.jp/search?...
1
票
1回答
480 件の閲覧数
Yahoo検索のスクレイピングで広告だけが取得できない
今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、...
1
票
1回答
470 件の閲覧数
BeautifulSoupで要素内の要素を取得したい
PythonでBeautifulSoupを使って、findを使って特定のclassのテキストを取得しようと思ったのですが、違うクラスの中の特定のクラスも取得してしまうので、二回findを使おうと思ったのですが、エラーが出てきてしまいました。
ソースコード
<div class="hoge">
<div class="piyo"></div>
<...
0
票
1回答
2,275 件の閲覧数
BeautifulSoupで抽出したタグリストからテキストのみをリスト形式で抽出したい
from bs4 import BeautifulSoup
r = requests.get("********************")
soup = BeautifulSoup(r.content, "html.parser")
class = soup.find_all("div", class_ = "word")
このままだと、...
0
票
2回答
231 件の閲覧数
Pythonのbs4とrequestsを用いたスクレイピングでsrcsetに対応したい
BeautifulSoup4とRequestsでスクレイピングを行いたいのですが、
srcで検索をしてURLを取得してしまうと、想定よりも小さいサイズの画像ファイルがダウンロードされます。
これはHTMLのimgタグにあるsrcsetの影響です。
おそらく、自身がウィンドウサイズを指定できていないのが原因と考えています。
以上の点を踏まえて、...
0
票
0回答
111 件の閲覧数
Pythonではてなブックマークのデータ管理のページからブックマークデータを取得したい。
前回の質問でスクレイピングを使用して取り出そうと考えていたのですが、はてなサイトに何度もアクセスを飛ばすのは良くないと思いデータの管理画面からブックマークデータをダウンロードしてそこから抽出しようと思うのですが、どのようにしたら良いのでしょうか?
三つのうちのどれでも良いのですが、HTMLでDLできるブックマーク形式が楽かと思います。
...
1
票
1回答
311 件の閲覧数
はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。
はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。
出来るだけseleniumは使用したくありません。
もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。
問題
...
2
票
2回答
114 件の閲覧数
スクレイピングしたものをcsvに書き出すと余計な " が属性につく。
やりたいこと。
csvファイルをつくる
コンテンツは、htmlタグ付きのままスクレイピングしたもの。
しかし、余計なクォーテーションがついてしまう。
原因はstr()をつかったことだとおもいます。なぜなら、prettify()ではこのようなことがおこらなかったからです。
csvに書き出すためにどのような型に変換すればいいのでしょうか?
for def_el in ...
1
票
1回答
79 件の閲覧数
スクレイピングである要素を新しい要素で挟む方法
今現在、beautifulsoup4を使ってスクレイピングを行っています。
やりたいこと
<div class='ex1'></div> を<p id='good'>で挟む。
<p id='good'><div class='ex1'></div></p>
HTML
<html>
<...
1
票
0回答
112 件の閲覧数
Selenium + BeautifulSoup でのWebスクレイピングについて
現在スクレイピングでOKWAVEの質問をCSVに落とし込むコードを書いています。
全体像としては「検索語」を指定して出てきたページの質問1-10件目のページを開いてスクレイピング、すべてのページを閉じる、次のページで11-20件目の質問ページを開く、を10ページまで繰り返すというプログラムにしようかと思っています。
現在Seleniumでウェブを開き語句を検索、ページを出した所で1-...
1
票
1回答
86 件の閲覧数
webの要素をスクレイプする際のfindallの使い方
下記のHTML構造を持つURLから、td要素のa,b,cを取得して1行に並ぶように以下scriptを作成したのですが、どうしてもdまで取得してしまい、且つ出力されるものが乱れてしまいます。
div要素を限定するのかもしれませんが、理想とする出力を得る方法をご教示いただけないでしょうか。
■理想とする出力
URLのタイトル(1)、a,b,c,a',b',c',a'',b'',c'',a''',b''...
1
票
2回答
364 件の閲覧数
スクレイピングで子を一つだけ取り除く方法。
.py
from bs4 import BeautifulSoup
# urlは例です
url = 'https://example.com'
response = requests.get(url)
data = response.text
soup = BeautifulSoup(data, 'html.parser')
HTML
<div class='ttt'>
&...
0
票
1回答
338 件の閲覧数
複数のタグを指定してスクレイピング
あるurlのソースコードから、下記の2箇所を取得したいのですが、
結果のリストが空になってしまいます。
def get_all_reviews(url):
rvw_list_text = []
res = requests.get(url)
soup = bs4.BeautifulSoup(res.text, features='lxml')
for r in ...
0
票
1回答
372 件の閲覧数
Python スクレイピング 同じ項目は同じ列に記載、異なる項目は新しく列を追加して記載する方法
当方初心者であり、申し訳ないのですが皆様のお知恵を拝借したいです。
いろいろ検索したのですが、良い方法(どこから手をつけるべきか)がわからず、
困っております。アドバイスいただけますと幸いです。
ページをスクレイピングして、CSVに下記のようなデータを書き出すプログラムを作りました。
a,b,d,x,テスト
3354,test,あいうえ,いろはに,12345
この時、...
0
票
1回答
431 件の閲覧数
スクレイピングで取得した複数列のテーブルデータをCSVに書き出す時に1列にする方法
初心者のためわかりにくい部分もあるかと思いますが、教えてください。
スクレイピングで取得したテーブルデータをCSVで書き出し、
マイクロソフトのエクセルで開いた場合、
項目1 値1 項目4 値4
項目2 値2 項目5 値5
項目3 値3 項目6 値6
元のテーブルの形式上、このように表示されます。
これを、
項目1 項目2 項目3 項目4
値1 値2 値3 値4 ....
...
0
票
1回答
235 件の閲覧数
スクレイピングした画像は表示できるか [重複]
PythonのBeautifulSoupを利用してスクレイピングをしていますが、
imgタグのsrcにあるURLを取得した場合、
ローカルに保存せずにその画像をどこかに表示することは可能でしょうか。
ご回答のほど、よろしくお願い致します。
===
OS: Mac
Python: 2.7.10
ライブラリ:
beautifulsoup4: 4.6.1
lxml: 4.2.5
requests:...
0
票
1回答
117 件の閲覧数
取得した文字列の操作及び出力python
食べログのサイトから営業時間を取得し、平日/土日祝をそれぞれ開始日時と終了日時に分けてcsvに出力できればと考えています。
今の問題は
取得済みの平日/土日祝で別々のリストに入った文字列からxx:xxという時刻の文字列を取り出し出力すること。今のままだと1800みたくなってしまいます。findallで取得したものの中に":"や"~"という文字は除外されてしまうみたいです。
”~”...
0
票
1回答
247 件の閲覧数
Python 平日土日を分けてcsvに出力したい
「食べログ」から営業時間を取得し、それを平日と土日に分けて
平日開始時刻, 平日終了時刻, 土日祝開始時刻, 土日祝日終了時刻, 定休日
というようにcsvに出力したいです。
今のところpandasを使ってcsvに出力をしようと考えています。
どうやれば上手く平日土日を判別して、またそれを区切って出力できるかがわかりません。
宜しくお願いします。
<kunifさんより>
# -...
0
票
1回答
218 件の閲覧数
指定したレイヤーのみを範囲にスクレイピング
スクレイピングを行う範囲を指定したいなと思っています。
私が考えているのは、findなどを用いて部分的にlxmlを切り取ってから、それでまたスープを作るみたいなあやふやなビジョンしか今のところ考えつかずにいます。
<div id="foo">
<a href="*1">
<img src="*1.jpg" class="bar"/>
...
0
票
0回答
96 件の閲覧数
python3でBeautifulSoup4を利用して体育館の予約空き状況を確認したいがログインできない
python3でBeautifulSoup4を利用して体育館の予約空き状況を確認したいのですが、ログイン方法が分かりません。手掛かりを教えて頂けないでしょうか?
ここにログインして→https://www.e-shisetsu.e-aichi.jp/user/view/user/mypIndex.html
<form id="childForm" name="...
0
票
1回答
328 件の閲覧数
BeautifulSoup4での複数ページスクレイピング
ページが複数あるサイトのスクレイピングをしようと、下記のようなコードを書きました。
1ページ目を取得して色々処理した後、「e」の入力がなければ2ページ目~...と無限に繰り返すようなwhile文です。
import requests
import webbrowser
from bs4 import BeautifulSoup
targetSite = "http://abc.com/"
...
1
票
1回答
5,595 件の閲覧数
BeautifulSoup4をimport出来ない。
from bs4 import BeautifulSoup をIDLE(3.7.0)shellで実行すると、以下のエラーが表示されます。
Traceback (most recent call last):
File "C:\Users\(ユーザー名)\Desktop\python スクリプト\test\scraper.py", line 2, in <module>
...
0
票
1回答
196 件の閲覧数
pysearch-masterを導入したいのですが、pymongoでエラーが出ます。
以前の投稿で、QtWebKitの画像や動画を見られるようにするには?という質問を出し、ご指摘を受けましたので質問を分ける事にしました。
したいこと
Google検索エンジンなどのように、文字などを適当なラインにいれれば、検索候補を出してくれるようなものを自分のアプリに備え付けたいと思っています。現在QtWebKitで、簡易的なブラウザを作っていて、ここに装着するようにしたいです。
...
0
票
1回答
169 件の閲覧数
BeautifulSoupでのリンクの選出
現在、BeautifulSoupw用いてスクライブを行っています。
あるサイトではHTMLでのリンクとPDFでのリンクが同ページにあるのですが、PDFのリンクだけを取得したいです。
下記のコードだとPDF,HTMLのリンクが混じったものがprintで出てきてしまいます。
htmlのリンクを除外する方法をお教示お願いできればと思い質問させていただきました。
for a_tag in soup....
1
票
1回答
993 件の閲覧数
beatifusoupをimportできないのはなぜ?
import BeautifulSoupを実行すると以下のエラーが表示されてしまいます。
ModuleNotFoundError: No module named 'BeautifulSoup'
コマンドプロンプトでpip install [パッケージ]は問題なく実行できて
pip freezeコマンドを実行するとインストールされたパッケージの一覧にbeautifulsoupは表示されています。
...
1
票
2回答
2,408 件の閲覧数
beautifulsoupを用いて、規則性のある20行24列の競馬のデータ表をCSVに書き込みたい
前提・実現したいこと
お世話になります、python初心者ですpython2.7,beautifulsoupを用いて、競馬データをスクレイピングしておりますが、どうにも困っております。
1行だけはprintすることが出来るのですが、20行をスクレイピングするスクリプトと、併せて、CSVに出力させるスクリプトが分かりません。
発生している問題・エラーメッセージ
csvに保存が出来ないこと
...
1
票
1回答
3,292 件の閲覧数
BeautifulSoupを使って<li>の内容をリストとして保存する方法?
次のようなtagの、liの内容の一つづつを、listとして保存したいと考えています。
<ul id="front">
<li class="icon-01">乗用車</li>
<li class="icon-02">トラック</li>
<li class="icon-11">軽自動車</li>
</ul&...
2
票
1回答
388 件の閲覧数
BeautifulSoup を用いた、特定のli の内容の取得
次のようなタグの情報を取得したいと考えています。
<ul class="dtlTbl">
<li data-locate="address"><dl>
<dt>住所</dt>
</dl>
</li>
&...
0
票
2回答
2,912 件の閲覧数
beautifulsoupでbodyタグの中身が取得できない
スクレイピングをしたいのですが、
ここのサイトのbodyタグの中身をfindChirdrenで取得したいのですがnoneと表示され取得できません。
import requests
from bs4 import BeautifulSoup
def _get_page(url):
#r変数に<!DOCTYPE html>から代入する。
r = ...
1
票
1回答
1,837 件の閲覧数
BeautifulSoup4をインストールしているのですが、NameErrorが出て利用できません。
PythonでWebスクレイピングを試みていますが、NameErrorが出ます。
BeautifulSoupはインストールされていると思うのですが、記述方法に問題があるのでしょうか。
【環境】
OS:Win7 32bit
Python:3.6.4
IDE:ATOM
環境変数(Pathに追加済み):C:\Users\username\AppData\Local\Programs\Python\...