PHP 5.3のWebスクレーパーとして``Goutte 1.0.6``を使っています。 一度訪問したサイトのHTMLをファイルキャッシュなどに格納しておき、2回目からはファイルキャッシュからHTMLを文字列として変数に読み込み、その内容をスクレイピングするような動作をさせています。 $client = new Goutte\Client; $is_cached = false; if ($cache_data = $cache->get($url)) { $crawler = $client->request('GET', ''); $crawler->clear(); $crawler->addHtmlContent($cache_data, 'cp932'); $is_cached = true; } else { $crawler = $client->request('GET', $url); $status = $client->getResponse()->getStatus(); if (($status != 200) && ($status != 304 )) { return array(status => $status); } } のようなコードにしていますが、キャッシュがヒットした場合、空の``GET``をさせることで``crawler``オブジェクトを得て、いったんスクレイプ対象のHTMLを``$crawler->clear()``で捨ててから改めて``$crawler->addHtmlContent($cache_data, 'cp932');``でHTMLを食べさせるというアドホックなコードになっています。 実際には無駄なHTTPリクエストが発生しておりますので、改善できないかと考えています。 ``Goutte``を使ったスクレイピングで、HTTPリクエストなしでスクレイピングできる``crawler``オブジェクトを生成させる方法をご存知の方は、ご教示いただけないでしょうか。 コード全文: https://github.com/CLCL/akizukidenshi-ogp-injector/blob/8c0869e411ac9898fd8e9cba9bfebb4d93a22314/index.php