エラーメッセージの通り、貴方の実行環境では指定したXPATHの内容が存在しないのでしょう。
こちらで試したところでは、まず以下2行のimport
が不足して動かなかったので、質問のソースで動作していたというのならば、色々と環境や版数の違いがあるのかもしれません。
from selenium.webdriver.chrome.options import Options
from datetime import datetime as dt
こちらの環境は以下の通り
Windows10 64bit
64bit python 3.9.1
selenium 3.141.0
Chrome 88.0.4324.150
ChromeDriver 88.0.4324.96
pandas 1.2.2
また結果の表示はprint(e)
ではなくprint(e.text)
で行います。
質問のXPATH:
'/html/body/div[1]/div[2]/div/div/div[2]/main/div/article/div/div/div'
動作出来るようにしたときの結果はこちら。
ID非公開
ID非公開さん
2016/9/21 22:39
1回答
SNSデータをクローリング(webスクレイピング)するにはpython,rubyどちらがいいか
SNSデータをクローリング(webスクレイピング)するにはpython,rubyどちらがいいか
プログラミング | Ruby・147閲覧
共感した
回答も含められるように変更したXPATH:
'/html/body/div/div[2]/div/div/div[2]/main/div/article'
ちなみに質問に書かれた「取得したいテキスト」の内容にそのまま合致するようなXPATHは無いかもしれません。
以下のようになりました。
ID非公開
ID非公開さん
2016/9/21 22:39
1回答
SNSデータをクローリング(webスクレイピング)するにはpython,rubyどちらがいいか
SNSデータをクローリング(webスクレイピング)するにはpython,rubyどちらがいいか
プログラミング | Ruby・145閲覧
共感した
ベストアンサー
このベストアンサーは投票で選ばれました
cha********
cha********さん
2016/9/21 22:54
どちらでも可能ですし結果に大した違いもないでしょう。
お好きな方でどうぞ、としか...
ナイス!
ID非公開
ID非公開さん
質問者
2016/9/22 7:28
pythonは自然言語処理(人工知能)のライブラリが豊富で強く、
相乗的に、pythonに軍配があがると思いますが、
どう思いますか?
さらに返信を表示(2件)
もしかしたら Jupyter notebook とかで実行しているとprint(e)
だけで取得した結果の内容が書式付きで表示されるのかもしれませんが、それは試していません。
そういう環境であるならば、その辺の条件も質問に追記しておいた方が良いでしょう。
コメント対応
度々、すいません。こちら”SNSデータをクローリング(webスクレイピング)するにはpython,rubyどちらがいいか”を2回分表示されますが、1回のみ表示する方法ありますか
これは、該当記事のXPATHで取得したhtml
の中で、質問の文言がh1
タグと、その下のdiv
の両方に書かれているからです。
本当にその文言だけを取得したいのなら、以下のXPATHを使えば出来ます。
/html/body/div/div[2]/div/div/div[2]/main/div/article/div/div/div/div[2]/div/div/div/div
以下のようになります。
e=driver.find_element_by_xpath('/html/body/div/div[2]/div/div/div[2]/main/div/article/div/div/div/div[2]/div/div/div/div')
print(e.text)
その代わり、質問者のID/名前、質問日時、回答件数、分類、閲覧数といったデータは取れなくなります。
またXPATHを使うやり方は、このサイトではあまり汎用性が無いかもしれません。
例えば別のこの質問で同じ内容を取得するには:
https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q11238664036
こちらのXPATHを指定する必要があります。
/html/body/div/div[2]/div/div/div[2]/main/div/article/div/div/div[1]/div[3]/div
同様にこちらの質問の場合は:
https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q14238734044
こちらのXPATHを指定する必要があります。
/html/body/div/div[2]/div/div/div[2]/main/div/article/div/div/div/div[2]/div/div/div[1]/div
中には同じXPATHを使い回せる質問もあるようですが、@metropolis さん回答の方式の方が汎用性があるかもしれません。
調べてみてください。