コメント対応
度々、すいません。こちら”SNSデータをクローリング(webスクレイピング)するにはpython,rubyどちらがいいか”を2回分表示されますが、1回のみ表示する方法ありますか
これは、該当記事のXPATHで取得したhtml
の中で、質問の文言がh1
タグと、その下のdiv
の両方に書かれているからです。
本当にその文言だけを取得したいのなら、以下のXPATHを使えば出来ます。
/html/body/div/div[2]/div/div/div[2]/main/div/article/div/div/div/div[2]/div/div/div/div
以下のようになります。
e=driver.find_element_by_xpath('/html/body/div/div[2]/div/div/div[2]/main/div/article/div/div/div/div[2]/div/div/div/div')
print(e.text)
その代わり、質問者のID/名前、質問日時、回答件数、分類、閲覧数といったデータは取れなくなります。
またXPATHを使うやり方は、このサイトではあまり汎用性が無いかもしれません。
例えば別のこの質問で同じ内容を取得するには:
https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q11238664036
こちらのXPATHを指定する必要があります。
/html/body/div/div[2]/div/div/div[2]/main/div/article/div/div/div[1]/div[3]/div
同様にこちらの質問の場合は:
https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q14238734044
こちらのXPATHを指定する必要があります。
/html/body/div/div[2]/div/div/div[2]/main/div/article/div/div/div/div[2]/div/div/div[1]/div
中には同じXPATHを使い回せる質問もあるようですが、@metropolis さん回答の方式の方が汎用性があるかもしれません。
調べてみてください。