今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、できませんでした。
そこでGoogle検索もできないのかなと思い、してみたのですが、こちらはできたようです。
Yahooの方は意図的にできないような仕組みにしているんでしょうか?
そしたらなぜGoogleはそれを取り入れてないのかなどいろんなところが気になりました。
またYahooの方でもできるやり方があるんでしょうか。使用せず知識として知りたいので教えていただけると嬉しいです。
追記
こちらがrequestsを使用した左のコードです。
import requests
from bs4 import BeautifulSoup
import json
import time
r = requests.get("https://search.yahoo.co.jp/search?p=格安レンタカー")
r.raise_for_status()
soup = BeautifulSoup(r.content, "html.parser")
print(soup)
こちらがseleniumで使用した際のコードです。
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
driver = webdriver.Chrome()
#optionsインスタンスを生成
options = Options()
#オプションを設定
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')
driver.get('https://search.yahoo.co.jp/search?p=格安レンタカー')
drive = driver.page_source
print(drive)
requests.get()
を実行するとウェブブラウザ(手元の環境では Firefox)でアクセスした場合と同じ内容のページを取得できました。