0

googleの画像検索結果のスクレイピングがうまくいきません。
画像が動的に出力されているからでしょうか?
htmlsimpledomを使用しています。
以下がコードになります。

    include 'simple_html_dom.php';

    $arrContextOptions=array(
    "ssl"=>array(
        "verify_peer"=>false,
        "verify_peer_name"=>false,
    ),
);


        $query = "ルンバ";
        $html2 = file_get_html("https://www.google.co.jp/search?q=". $query . "&tbm=isch", false, stream_context_create($arrContextOptions));
        $html2 = mb_convert_encoding($html2, 'utf8', 'auto');
        $dom2 = str_get_html($html2);
        //get category
        $dataSrc='data-src';
        $img = $dom2->find('img.rg_i',0);
        var_dump($img);

詳しい方、ご教示下さい。宜しくお願い致します。

2
  • スクレイピングは利用規約に違反する可能性があるので、Custom Search API の利用をおすすめします。
    – h2so5
    Commented 2016年2月20日 9:17
  • 3
    ……と言うか違反ですね( google.com/intl/ja/policies/terms [Google が提供するインターフェースおよび手順以外の方法による本サービスへのアクセスを試みてはなりません。])。 ただし、stackoverflowの方針としては、利用規約に違反しているか問わず手順と記述を記載し情報を広げていく方針のようですよ。(ただし実行については自己責任 meta.ja.stackoverflow.com/questions/1633 )
    – user10259
    Commented 2016年2月20日 9:31

1 件の回答 1

1
  • file_get_html()の結果は文字列ではありません

    mb_convert_encoding()文字列のエンコーディングを変換する関数ですが、 simple_html_dom.php によって提供される file_get_html() は文字列ではなく独自のオブジェクトを返すため、mb_convert_enconding() に渡すことはできず、エラーが出ています。URLから文字列で取得するときにはPHPの標準関数である file_get_contents() を使います。

  • Googleの検索ページはUserAgentによってレスポンスのHTMLを変えています

    詳細は省きますが、UserAgentの有無によってHTMLが変化しているようです。そのためブラウザで見たDOMツリーと異なっているのでしょう。UserAgentを指定してアクセスするか、もしくはUserAgentなしで得られるHTMLに合わせた解析処理を書く必要があるかと思います。

PHPからエラーや警告が出ていないか、取得したHTMLをそのまま文字列で出力してみて狙い通りのものかどうか、順番に確認していくとよいのではないでしょうか。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。