1

今現在、Python3でスクレイピングを学んでいて、試しにいろんなサイトをしていた際に、Yahoo検索をスクレイピングするのはグレーゾーンというのはわかっていますが、試してみたところ(何か使用したりすることはありません。)広告だけは取得できなかったみたいなので、不思議に思いました。
もともとはrequests+beautifulSoupを使って行っていたのですが、seleniumでも試したところ、できませんでした。
そこでGoogle検索もできないのかなと思い、してみたのですが、こちらはできたようです。

Yahooの方は意図的にできないような仕組みにしているんでしょうか?
そしたらなぜGoogleはそれを取り入れてないのかなどいろんなところが気になりました。
またYahooの方でもできるやり方があるんでしょうか。使用せず知識として知りたいので教えていただけると嬉しいです。

追記
こちらがrequestsを使用した左のコードです。

import requests
from bs4 import BeautifulSoup
import json
import time

r = requests.get("https://search.yahoo.co.jp/search?p=格安レンタカー")
r.raise_for_status()
soup = BeautifulSoup(r.content, "html.parser")

print(soup)

こちらがseleniumで使用した際のコードです。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

driver = webdriver.Chrome()

#optionsインスタンスを生成
options = Options()
#オプションを設定
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-gpu')

driver.get('https://search.yahoo.co.jp/search?p=格安レンタカー')

drive = driver.page_source

print(drive)
8
  • 1
    広告と言っても色々な種類(単なる画像やJavaScriptで挿入される文字列etc)がありますし、どのようなリクエストを送ったかによっても結果が変わると思うので、実際に試したコードなどより詳しい情報が無いと回答が付きづらいと思います。
    – cubick
    Commented 2020年2月4日 5:57
  • 1
    実際にどのようなコードでスクレイピングを行い,できないのか教えてください.Yahoo検索はUAでブラウザの識別をし,モダンブラウザ以外と判断した場合は簡易版を表示しているようなのでそれが関係していそうですが,seleniumでもとのことなのでよくわからない……(そもそもseleniumで使用したものにもよりそうですが)
    – hinaloe
    Commented 2020年2月4日 5:57
  • @cubick ご返答ありがとうございます。失礼しました。まだプログラミング初心者でよくわかってないことが多かったです。今使用したコードを載せました。よろしくお願いいたします。 Commented 2020年2月4日 6:13
  • 1
    User-Agent を設定して requests.get() を実行するとウェブブラウザ(手元の環境では Firefox)でアクセスした場合と同じ内容のページを取得できました。
    – user39889
    Commented 2020年2月4日 7:21
  • 1
    @metropolis ありがとうございました!なんとかできたみたいです。スクレイピングは使い方を間違えないようにだけ気をつけます! Commented 2020年2月5日 4:54

1 件の回答 1

1

metropolis さんより
User-Agent を設定して requests.get() を実行するとウェブブラウザ(手元の環境では Firefox)でアクセスした場合と同じ内容のページを取得できました。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。