1

PHP 5.3のWebスクレーパーとしてGoutte 1.0.6を使っています。

一度訪問したサイトのHTMLをファイルキャッシュなどに格納しておき、2回目からはファイルキャッシュからHTMLを文字列として変数に読み込み、その内容をスクレイピングするような動作をさせています。

$client = new Goutte\Client;
$is_cached = false;
if ($cache_data = $cache->get($url)) {
  $crawler = $client->request('GET', '');
  $crawler->clear();
  $crawler->addHtmlContent($cache_data, 'cp932');
  $is_cached = true;
}
else {
  $crawler = $client->request('GET', $url);
  $status = $client->getResponse()->getStatus();
  if (($status != 200) && ($status != 304 )) {
    return array(status => $status);
  }
}

のようなコードにしていますが、キャッシュがヒットした場合、空のGETをさせることでCrawlerオブジェクトを得て、いったんスクレイプ対象のHTMLを$crawler->clear()で捨ててから改めて$crawler->addHtmlContent($cache_data, 'cp932');でHTMLを食べさせるというアドホックなコードになっています。

実際には無駄なHTTPリクエストが発生しておりますので、改善できないかと考えています。

Goutteを使ったスクレイピングで、HTTPリクエストなしでスクレイピングできるcrawlerオブジェクトを生成させる方法をご存知の方は、ご教示いただけないでしょうか。

コード全文:
https://github.com/CLCL/akizukidenshi-ogp-injector/blob/8c0869e411ac9898fd8e9cba9bfebb4d93a22314/index.php


(投稿後すぐに自己解決したので一時ここに解決法を載せていましたが、回答の方に転記してこちらの記述を削除しました。)

2
  • 自己解決されたとのことですが、このサイトでは自分で回答を投稿することができます。質問に追記する代わりに、それをご自身で回答として投稿してください。(回答左側に表示されるチェックマークで「回答を承認」していただけるとベストですが、自己回答の場合は質問から24時間経たないといけないので・・・ meta.ja.stackoverflow.com/a/1736/8000
    – unarist
    Commented 2015年10月7日 11:31
  • ご指示通り質問追記分を削除し、回答として投稿しました。なお、「回答を承認」チェックは、48時間は押せないと表示されていました。自己解決した場合の作法がわからず通報した件で、ご対応いただきありがとうございました。
    – CLCL
    Commented 2015年10月7日 11:40

3 件の回答 3

1

自己解決しました。

if ($cache_data = $cache->get($url)) {
  //$crawler = $client->request('GET', '');
  //$crawler->clear();
  $crawler = $client->getClient();
  $crawler->addHtmlContent($cache_data, 'cp932');
  $is_cached = true;
}

で解決しました。

解決方法の見つけ方として、

GoutteのGitHub

https://github.com/FriendsOfPHP/Goutte/blob/master/Goutte/Client.php

を参照したところ、

public function getClient()
{
    if (!$this->client) {
        $this->client = new GuzzleClient(array('defaults' => array('allow_redirects' => false, 'cookies' => true)));
    }
    return $this->client;
}

という箇所があり、これで空のCrawlerオブジェクトを生成しているようだったので、試してみたところ、うまく動作しました。

0

「自己解決した」としましたが、その後、間違っていることがわかり、下記コードに修正しました。

今回は、ちゃんと動かせるテストコードを提示します。

<?php
require_once './vendor/autoload.php';

// モジュールインストール
// php composer.phar require fabpot/goutte:~1.0 pear/Cache_Lite:~1.7

$cache_dir = __DIR__ . '/cache_cache_lite/';
@mkdir($cache_dir, 0775);

$cache  = new Cache_Lite( array (
  'cacheDir' => $cache_dir,
  'lifeTime' => 8,// 8秒間キャッシュ有効
  'automaticCleaningFactor' => 20, 
  'hashedDirectoryLevel'    => 1,
  'hashedDirectoryUmask'    => 02775,
));

$url='http://akizukidenshi-ogp-injector.dtpwiki.jp/';

$client = new Goutte\Client;
$is_cached = false;
if ($cache_data = $cache->get($url)) {
  echo "cache zumi\n";

  // a. 質問文での手法 無駄なGETリクエストが走るがHTMLをスクレイプできるオブジェクトができる
  //$crawler = $client->request('GET', '');
  //$crawler->clear();
  //$crawler->addHtmlContent($cache_data, 'cp932');

  // b. 一度解決したとした時の手法 実際にできるオブジェクトはHTMLをスクレイプできない
  //$crawler = $client->getClient();
  //$crawler->addHtmlContent($cache_data, 'cp932');

  // c. 今回の手法    
  $crawler = $client->request('HEAD', null);
  $crawler->clear();
  $crawler->addHtmlContent($cache_data, 'cp932');

  $is_cached = true;
}
else {
  echo "torini iku\n";
  $crawler = $client->request('GET', $url);
  $status = $client->getResponse()->getStatus();
  if (($status != 200) && ($status != 304 )) {
    return array(status => $status);
  }
}

if (!$is_cached) {
  $cache->save($client->getResponse()->getContent(), $url);
}

一度「解決した」として提示したb.のコードでは、実際にはオブジェクトにaddHtmlContentは生えておらず、エラーとなります。

今回のc.のコードでは、どうしてもHTTPリクエストを発生させずにHTMLスクレイピングができるclawlerオブジェクトの生成はできなかったため、最初質問で提示したものから、GETリクエストをHEADリクエストに変更することで、localhostにはアクセスするが最小の負荷になるようにしました。

この場合、稼働している自サーバのport 80/TCPのドキュメントルートにアクセスが来ることになり、アクセスログには、

::1 - - [11/Mar/2016:15:51:21 +0900] "HEAD / HTTP/1.1" 403 - "-" "Symfony2 BrowserKit"

が記録されることになります。

しっくりこない結果ですが、現状のベストとしてこのコードを上げさせていただきます。

-2
use Symfony\Component\DomCrawler\Crawler;
$crawler = new Crawler($html);

これでいけると思います。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。