https://ntp.msn.com/edge/ntp?locale=ja
マイクロソフトエッジ↑ こちらのURLからニュースを取り出して表示させようとしたのですがBeautifulSoupがうまく動いていないのかエラーが発生します
import requests
from bs4 import BeautifulSoup
load_url="https://ntp.msn.com/edge/ntp?locale=ja"
html=requests.get(load_url)
soup=BeautifulSoup(html.content,"html.parser")
print(soup)
topic=soup.find(class_="news-list")
for element in topic.find_all("a"):
print(element.text)
こちらのコードの
topic=soup.find(class_="news-list")
の一行で
例外が発生しました: AttributeError
'NoneType' object has no attribute 'find_all'
File "パスを隠させていただきました", line 10, in <module>
for element in topic.find_all("a"):
というエラーが発生します
どなたか解決方法をお知りの方がいましたら回答をお願いいたします
https://www.msn.com/ja-jp/
とかhttps://www.msn.com/ja-jp/news
なのでは? またそれらのページのソースでもnews-list
という要素は無いように見えますが。(JavaScriptでダウンロードされているのかもしれませんね。それならrequests
ではなくselenium
が必要そうです。)news-list
のクラス名を持つ要素はありませんでした。もしかすると「ログイン」してかつ「パーソナライズ設定」により取得するニュースの「ソース」や「トピック」といったものを予め設定しておく必要があるのでは? それらがrequests
で出来るのならその方法を探ってみてください。ただしおそらく(もし出来るとすれば)selenium
のedgedriver
を使う方が良いと思われます。