0

BeautifulSoup4とRequestsでスクレイピングを行いたいのですが、
srcで検索をしてURLを取得してしまうと、想定よりも小さいサイズの画像ファイルがダウンロードされます。
これはHTMLのimgタグにあるsrcsetの影響です。
おそらく、自身がウィンドウサイズを指定できていないのが原因と考えています。
以上の点を踏まえて、ヘッダーにウィンドウサイズの情報を追記する必要があると考えたのですが、その方法があればご教授ください。

説明が乏しく例示した方がわかりやすいと感じたら、コメントをいただければ追記いたします。

2 件の回答 2

1

srcsetを検索する手法を試しました。
foo = soup.findAll('img', attrs = {'srcset' : True})
以上で、fooにはそれらのリストが格納されます。
soupはBeautifulSoupを用いてlxml形式へと変換させてものです。

ここからウェブサイトの記述規則などを判断し、splitを用いて画像のURLを特定することができます。
この際、先頭にある空白などに留意することでコードチェックをスムーズにできます。

URLさえ割り出せれば問題なくスクレイピングが可能でした。
なお、画像のサイズの順序はウェブサイト側に合わせるしかなく、柔軟に対応するためには、wxの値を評価することで最も大きいものを選ぶよう実装しました。

0

おそらく、この記事が参考になると思います。
Python using beautiful soup to extract attribute from html

こちらはseleniumを使っているので少し違うかもしれませんが。
I can't get all of image attributes using Beautiful Soup and Selenium
Scraping Instagram with BeautifulSoup

1
  • 一番最初の記事が参考になりました。スクレイピングに成功できました。
    – Tiz
    Commented 2019年1月15日 8:32

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。