やりたいこと:
Pythonでデータをクローリング(webスクレイピング)を行いたいですが、
fullXpathやXpathで指定したものうまく読み込まないです。
他に方法ありますでしょうか。
また Adapter failedのエラーも表示されます。
クローリングしたいサイト(質問のみ)
可能であれば回答がある場合クローリングもしたいです。
Yahoo知恵袋
https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q13164627148
取得したいテキスト
質問
SNSデータをクローリング(webスクレイピング)するにはpython,rubyどちらがいいか
回答
どちらでも可能ですし結果に大した違いもないでしょう。
お好きな方でどうぞ、としか...
こちらのコードを記載しましたが下記のように表示されます。
# coding:utf-8
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
import pandas as pd
import os
import csv
from time import sleep
import sys
#headless background
option = Options()
option.add_argument('--headless')
#Getting Default Adapter failed error message
option.add_experimental_option('excludeSwitches', ['enable-logging'])
strDate = dt.now().strftime("%Y%m%d")
URL= "https://detail.chiebukuro.yahoo.co.jp/qa/question_detail/q13164627148"
# ブラウザを開く。 #options=option background
driver = webdriver.Chrome(executable_path="C:\Program Files\chromedriver_win32\chromedriver.exe",options=option)
# Yahoo知恵袋の画面を開く。
driver.get(URL)
# 3秒待機
time.sleep(1)
#投稿内容の質問を取得
e=driver.find_element_by_xpath('/html/body/div[1]/div[2]/div/div/div[2]/main/div/article/div/div/div')
print(e)
# ブラウザを終了する。
driver.close()
エラー内容
DevTools listening on ws://127.0.0.1:51865/devtools/browser/7a237f7a-7326-4b73-8835-5b74a99dcb6a
<selenium.webdriver.remote.webelement.WebElement (session="23890f416584e40e0a0ab904d3fa79b2", element="007a6033-115e-4662-8365-a7c68eef2704")>
Traceback (most recent call last):
File "c:/Users/test/Documents/S3/YahooQA.py", line 69, in <module>
post = driver.find_element_by_xpath("/html/body/div[4]/div[2]/div[1]/div[3]/div[1]/div[1]")
File "C:\Users\test\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 394, in find_element_by_xpath
return self.find_element(by=By.XPATH, value=xpath)
File "C:\Users\test\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 976, in find_element
return self.execute(Command.FIND_ELEMENT, {
File "C:\Users\test\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\test\remote\webdriver.py", line 321, in execute
self.error_handler.check_response(response)
File "C:\Users\test\AppData\Local\Programs\Python\Python38-32\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 242, in check_response
raise exception_class(message, screen, stacktrace)
selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"xpath","selector":"/html/body/div[4]/div[2]/div[1]/div[3]/div[1]/div[1]"}
(Session info: chrome=88.0.4324.150)
[15512:18424:0215/181159.096:ERROR:device_event_log_impl.cc(211)] [18:11:59.096] Bluetooth: bluetooth_adapter_winrt.cc:1072 Getting Default Adapter failed.
わかる方いらっしゃいましたらご教示願います。
お手数ですが、宜しくお願いいたします。
# 3秒待機
と書かれているところが実際には 3 秒待機になっていません。