不特定多数のWebサイトへ対してクローラーを実行したいと考えています
・どれぐらいの頻度までなら許容されるでしょうか?
・「業界団体が作成した指針」や「目安となる数値」などはあるでしょうか?
・例えば、検索エンジンはこの件について、何らかの資料を公開していたりするでしょうか?
注意した方が良いこと(あるいは、お作法的なこと)について
・クローラーを実行するに辺り、マナー(あるいは、暗黙の了解)はあるでしょうか?
・サイト管理者が拒否したら、次からはアクセスしない? みたいな
(そもそもどうやってクローラー拒否するのかよく分かっていないのですが…)