[beautifulsoup] タグが付いた質問
Beautiful Soup は、HTML や XML をパースするための Python パッケージです。特にバージョン 4 のパッケージは bs4 という名前で import されます。
4
質問
0
票
1回答
578 件の閲覧数
PythonスクレイピングでGoogle検索画面情報取得
https://torahack.com/python-scraping-for-seo/
このサイトにあるように、
①検索結果上位サイトのURLを取得
②title,description等を抜き出す。
③CSVで出力、ダウンロード
ということをやりたいのですが、うまくいきません。
下記のGoogle colabファイルを作成実行したところ
csvファイルが生成されるのですが、中身は空でした。...
2
票
2回答
880 件の閲覧数
Google検索結果のスクレイピングができない。
Google検索結果をスクレイピングするため下記サイトを参考に下記コードを実行したのですが
下記の疑問点が解決できないのでどなたか教えて下さい。
①下記エラーを修正する方法を知りたい。
a = str(list[i]).strip('')
IndexError: list index out of range
②titleとそのURLを取得する方法を知りたい。
参考にしたサイト
https:...
1
票
1回答
305 件の閲覧数
はてなでブックマークした記事のURLとタイトルを全部pythonでスクレイピングしたい。
はてなブックマークで自分でブックマークした記事をpythonでスクレイピングしたいのですが、どのようにアプローチしてrequestとbeatifulsoupを使って行ったら良いのかわかりません。353件全て取得したいです。
出来るだけseleniumは使用したくありません。
もしくはAPIが提供されているみたいなのですが、自分のブックマークを取得するものが見当たりません。
問題
...
0
票
1回答
443 件の閲覧数
python, BeautifulSoupでgoogle検索のタイトル取得できない
こちらのチュートリアルの通りにやっても、htmlのタイトル部分だけを取り出せません。
(python3.6, macos)
import requests as web
import bs4
import csv
# キーワードを使って検索する
list_keywd = ['機械学習','統計']
resp = web.get('https://www.google.co.jp/search?...