[beautifulsoup] タグが付いた質問
Beautiful Soup は、HTML や XML をパースするための Python パッケージです。特にバージョン 4 のパッケージは bs4 という名前で import されます。
7
質問
0
票
1
回答
1,047
閲覧数
PythonスクレイピングでGoogle検索画面情報取得
https://torahack.com/python-scraping-for-seo/
このサイトにあるように、
①検索結果上位サイトのURLを取得
②title,description等を抜き出す。
③CSVで出力、ダウンロード
ということをやりたいのですが、うまくいきません。
下記のGoogle colabファイルを作成実行したところ
csvファイルが生成されるのですが、中身は空でした。...
0
票
2
回答
1,770
閲覧数
Google検索結果のスクレイピングができない。
Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが
下記の疑問点が解決できないのでどなたか教えて下さい。
①下記エラーを修正する方法を知りたい。
a = str(list[i]).strip('')
IndexError: list index out of range
②titleとそのURLを取得する方法を知りたい。
参考にしたサイト
https:...
0
票
1
回答
847
閲覧数
python, BeautifulSoupでgoogle検索のタイトル取得できない
こちらのチュートリアルの通りにやっても、htmlのタイトル部分だけを取り出せません。
(python3.6, macos)
import requests as web
import bs4
import csv
# キーワードを使って検索する
list_keywd = ['機械学習','統計']
resp = web.get('https://www.google.co.jp/search?...
1
票
1
回答
410
閲覧数
はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。
はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。
出来るだけseleniumは使用したくありません。
もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。
問題
...
1
票
2
回答
887
閲覧数
スクレイピングで5chの書き込みを取得したいができない
私は5chのアニメ実況が好きで、異なる2つの実況板の書き込みを取得し、時系列順に並べなおし、一つにまとめることを考えた。
ところが、hawk.5ch.netでの書き込みのスクレイピングができなかった。
なぜ取得できないか、どうすれば取得できるのか教えていただきたい。
例えば himawari.5ch.net のurlでコードを実行するとHTMLが表示されるが、
import requests
...
0
票
2
回答
1,483
閲覧数
BeautifulSoup4で空白文字を含んだclassの中身を取得したい
BeautifulSoup4でホームページから情報取得をする勉強をしているのですが空白を含んだclassを指定して取得する方法がわかりません。
具体例だと
https://race.netkeiba.com/race/result.html?race_id=202006010810&rf=race_submenu
の【後3F】の部分で、背景に色がついているものは'Time BgYellow'...
0
票
3
回答
148
閲覧数
beautifulsoupによるfind_allの利用方法について
スクレイピングにおいて値が" 3月調査 "であるspanタグを取得し,そのdata-value1属性値を取得したいと考えています。find_all関数を用いて以下のコードを実行しました。
実行コード
soup.find_all('span', text=" 3月調査 ")
取得したいhtmlタグ
<span data-key="tstat&...