0

https://ntp.msn.com/edge/ntp?locale=ja

マイクロソフトエッジ↑ こちらのURLからニュースを取り出して表示させようとしたのですがBeautifulSoupがうまく動いていないのかエラーが発生します

import requests
from bs4 import BeautifulSoup

load_url="https://ntp.msn.com/edge/ntp?locale=ja"
html=requests.get(load_url)
soup=BeautifulSoup(html.content,"html.parser")
print(soup)

topic=soup.find(class_="news-list")
for element in topic.find_all("a"):
    print(element.text)

こちらのコードの

topic=soup.find(class_="news-list")

の一行で

例外が発生しました: AttributeError
'NoneType' object has no attribute 'find_all'
  File "パスを隠させていただきました", line 10, in <module>
    for element in topic.find_all("a"):

というエラーが発生します
どなたか解決方法をお知りの方がいましたら回答をお願いいたします

4
  • 単にURLの間違いではありませんか?該当のURLをブラウザで見てみれば何か違うように思えます。 msnならhttps://www.msn.com/ja-jp/とかhttps://www.msn.com/ja-jp/newsなのでは? またそれらのページのソースでもnews-listという要素は無いように見えますが。(JavaScriptでダウンロードされているのかもしれませんね。それならrequestsではなくseleniumが必要そうです。)
    – kunif
    Commented 2022年9月5日 23:16
  • 該当の URL は Edge で開いた場合のみ表示される特殊?なページのようです。
    – cubick
    Commented 2022年9月6日 1:40
  • MS-Edgeで開発者ツールを表示させてから該当URLを入力すると多数の(JavaScriptを含む)通信が行われています。しかし最終結果のソースをファイルに保存してもnews-listのクラス名を持つ要素はありませんでした。もしかすると「ログイン」してかつ「パーソナライズ設定」により取得するニュースの「ソース」や「トピック」といったものを予め設定しておく必要があるのでは? それらがrequestsで出来るのならその方法を探ってみてください。ただしおそらく(もし出来るとすれば)seleniumedgedriverを使う方が良いと思われます。
    – kunif
    Commented 2022年9月6日 4:15
  • ありがとうございます。別のページで試してみます。
    – futa
    Commented 2022年9月13日 8:32

1 件の回答 1

1

何処でエラーが発生したかの認識が合っていないでしょう。

質問では以下の行でエラーが発生したと提示されていますが:

topic=soup.find(class_="news-list")

エラーメッセージは以下の行でエラーが発生したことを示しています。

for element in topic.find_all("a"):

実際には'NoneType' object has no attribute 'find_all'であり、topicというオブジェクトがNoneType(=None)であるため、find_allという属性(この場合はメソッド)を持っていないために発生しているので、最初の問題自身は提示されたtopic=soup.find(class_="news-list")の処理結果("news-list"のクラス名を持つ要素が存在しない)にありますが、エラーメッセージとの整合性は別であり、エラーは提示された行の次の行で発生しています。

この辺の認識にズレがあるままでは、調べたり対処したりすべき対象や内容を間違えて何時までも調査が進展せず解決しない可能性が高くなります。


Pythonプログラムでは無く、手作業でMS-Edgeブラウザを操作して取得出来るWebページ内容に、"news-list"のクラス名を持つ要素が存在することは確認されているのでしょうか?

そうした前提となる条件から徐々にプログラムへ移行出来るように段階的な作業をしていくのが良いと思われます。

1
  • ありがとうございます。別のページで試してみます。ニュースのリストを取得できればなんでもいいので特殊なページは避けるようにしてみます
    – futa
    Commented 2022年9月13日 8:31

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。