0

不特定多数のWebサイトへ対してクローラーを実行したいと考えています
・どれぐらいの頻度までなら許容されるでしょうか?
・「業界団体が作成した指針」や「目安となる数値」などはあるでしょうか?
・例えば、検索エンジンはこの件について、何らかの資料を公開していたりするでしょうか?

注意した方が良いこと(あるいは、お作法的なこと)について
・クローラーを実行するに辺り、マナー(あるいは、暗黙の了解)はあるでしょうか?
・サイト管理者が拒否したら、次からはアクセスしない? みたいな
(そもそもどうやってクローラー拒否するのかよく分かっていないのですが…)

2
  • 1
    robots.txtはご存知ですか?
    – nekketsuuu
    Commented 2017年4月28日 13:16
  • robots.txtについては、ネットに掲載している内容をコピペすればクローラー拒否はできるとは思うのですが、どういう仕組で拒否できるのか分かりません
    – re9
    Commented 2017年5月9日 2:36

2 件の回答 2

3

ウェブ健康診断仕様
http://www.ipa.go.jp/files/000017319.pdf

上記IPAが出してる資料は、サイトを作る側のチェックリストですが、「クローラーへの耐性」というチェック項目があります。この資料に書いてある以上の過剰なアクセスは避けた方が良いでしょう。

そのほかマナー的な点についても記載します。

  1. 同一ホストへのアクセスは、最低1秒間くらい間隔をあけてアクセスする
  2. 同一ホストへのアクセスは、複数同時アクセスを行ってはいけない
  3. robots.txtの内容に従う
  4. UserAgent情報を適切に設定する。(サイト管理者があなたへコンタクトできるように)

他参考資料

https://speakerdeck.com/amacbee/pythondezuo-ruwebkuroraru-men

2
  • 「3.robots.txtの内容に従う」方法が分からないのですが、例えば、Disallowと書かれていた場合、サーバは404を返したりするのでしょうか? それとも、クロールする側が、クロールする前に最初に、明示的に何らかの方法でrobots.txt内容を読み込まないとイケないのでしょうか?
    – re9
    Commented 2017年5月9日 2:39
  • @re9 robots.txt は サイトのルート直下に置くことが求められているので、クラーラー側が、クロールする前に、robots.txt を読みにいって、Dissallowと書いてあるパスにはクロールしないかないように自発的に制御する必要があります。世の中にはクローラーを作るためのフレームワークやライブラリがあるので、それらを利用すると自動的にrobots.txtの内容に従ってアクセスしてくれるので、探して見ると良いと思います developers.google.com/webmasters/control-crawl-index/docs/…
    – tell k
    Commented 2017年5月9日 4:57
1

注意した方が良いこと(あるいは、お作法的なこと)について

この記事が参考になるかもしれません。

Webスクレイピングの注意事項一覧
http://qiita.com/nezuq/items/c5e827e1827e7cb29011

3
  • 1
    他サイトへのリンクのみの回答はできるだけ避けてください。なぜなら将来的にそのサイトが無くなるかもしれないからです。リンクはあくまで出典や参考情報を示すにとどめ、回答として重要な部分の内容は回答の中に書くようにしてください。より詳しくはこのメタ投稿をご覧ください。
    – nekketsuuu
    Commented 2017年4月30日 0:19
  • ありがとうございます。メタ投稿にも目を通してみます。
    – tackeyy
    Commented 2017年4月30日 9:20
  • リンク先に「robots.txt/robotsメタタグのアクセス制限内容を守る」との記述がありますが、これはどうやって守るのでしょうか? 例えばrobots.txtの場合テキストファイルを読み込んで、正規表現で内容を取得&処理する感じでしょうか?
    – re9
    Commented 2017年5月9日 2:41

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。