0

やりたいこと
・PHP か JavaScript で、Webページを Google 検索結果からだけアクセスできないようにしたい。
・例えインデックスされていても、指定Webページを Google 検索結果からだけ強制的にアクセスできないようにしたい。
・「metaタグでインデックス拒否」や「インデックスから削除」などの Google 依存方法以外の手段があるか知りたい。

質問
・Google 検索結果からのアクセスというリファラ情報を取得できれば、条件分岐することでアクセス拒否することもできるようにも思うのですが、可能ですか?
・パソコンからアクセスしたときも、モバイルからアクセスしたときも、Google 検索結果からのアクセスというリファラ情報は取得できますか?

4
  • 1
    やりたいことがいまいちわかりません。「Googleの検索結果には表示されるようにしたい」「しかし、検索結果をクリックしてもアクセス禁止にしたい」「Bing等の他の検索からは問題なく検索ができ、検索結果からもアクセスできるようにしたい」の三つを満たしたいと言うことで合ってますか?
    – raccy
    Commented 2月18日 11:35
  • 「Google依存方法以外」と言うのはどういう意味でしょうか?robots.txtやmetaタグのrobots、X-Robots-TagはGoogleだけの機能では無く、他の検索エンジンにも該当するのですが、これらの方法もGoogleのヘルプに載っていれば、「Google依存方法」二あたるのでしょうか?何を持って依存している、依存していないの基準をお示しください。
    – raccy
    Commented 2月18日 11:41
  • 「Google や Bing等の検索結果」に表示されるかは気にしません。また、他の検索結果からアクセスされても気にしません。ただ、Google検索結果からだけはアクセスできないようにしたい。
    – re9
    Commented 2月18日 13:53
  • 「robots.txtやmetaタグ」については、検索エンジンによっては守らないこともある、と以前どこかで目にしたことがある気がするので、そういったインデックス系以外の方法で、Google検索結果からアクセスさせない方法はないのかと思い質問しました。
    – re9
    Commented 2月18日 13:56

1 件の回答 1

4

「Googleが提供する情報は一切信用しない」と言うスタンスでGoogle検索結果からのアクセスはさせたくないということでよろしいですね?

まず、リファラーでの制限は無意味です。なぜなら、ブラウザーは簡単にリファラーを無効にできるからです。リファラーを無効にしてあるブラウザーではGoogle検索結果からのアクセスでもリファラーは無しになります。リファラーが無い場合は無条件で制限するというのもできますが、その場合、ブックマーク経由なども全て制限されます。

よって、Googleにインデックスを作らせない、つまり、そもそも検索結果に表示されないようにする必要があります。通常はrobots.txt等で制限すれば良いだけなのですが、Googleは信用できないらしいので、この方法を使わないとなると、Googleが持つ全てのIPアドレスからのアクセスを制限するしかありません。

Googleはボットが使うIPアドレスを公開していますが、これも信用することはできません。ネット上にはGoogleが使うIPアドレスのリストというものがありますが、これらもGoogleが提供している情報に基づくため、信用できません。では、どうするかですが、アクセスしてきたIPアドレスが、Googleのものであるかを調べるぐらいしか方法はありません。調べる方法は二つです。

  1. whoisデータベースを検索する
  2. DNSの逆引きを引いてみる。

一つ目はwhoisデータベースから調べることです。whoisコマンドで調べることができます。もう一つはDNSの逆引きです。逆引きではそもそもが取れなくてもSOAレコードで確認しても良いでしょう。whois 8.8.8.8dig -x 8.8.8.8みたいに実行した結果で"google"という文字列がどこかに含まれていたら、アクセス拒否とすればいいかと思います。なお、whoisや逆引きはかなり遅く重い処理であるため、他からのアクセスも総じて遅くなります。

ただ、この方法も完全ではありません。こういった方法でのアクセス拒否を回避するために、わざと日本の一般的なプロバイダーの回線(ドコモとかフレッツ光とかNURO光とか)を使用している可能性があるからです。一部のセキュリティ会社ではIPアドレスによる制限を回避するために、日本の一般プロバイダーの回線を使ってインターネットを調査したりしています。UA等も普通のブラウザーのように見せるため、この方法を取られると完全に防ぐことは非常に困難です。

1
  • 「Googleが提供する情報を一切信用しない」で、Google検索結果からだけアクセスしないようにすることはとてもむずかしいことがよく分かりました……
    – re9
    Commented 2月20日 3:50

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。