3

とある処理で検索エンジンなどのロボットを判定する必要があり、Pythonモジュールを探しています。

User-Agent文字列もしくは、WSGIのrequestを渡すことでロボットかどうか判定してくれるモジュールがもしあれば教えてください。

3 件の回答 3

3

woothee-python というものがあります。

特徴は以下の通りです。

  • User-Agent のデータセットは GitHub 上で継続的にメンテナンスされている
  • 同一データセットを用いた同様のライブラリが多言語で用意されている

クローラの判定については以下のようにできます。

woothee.is_crawler('Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)')
// => False
2
  • ありがとうございます。 クローラー判定もバッチリだったので、今回はこちらの woothee を利用させてもらいました。 pip に登録されていると最高ですね。
    – weboo
    Commented 2014年12月17日 6:11
  • PyPI にも登録されたようです pypi.python.org/pypi/woothee
    – yuyat
    Commented 2015年1月19日 23:27
3

「ズバリそのもの」のモジュールがあります → robot-detection 下記のサンプルコードにあるように、 User-Agent 文字列によってロボット判定が行われます。

>>> import robot_detection
>>> robot_detection.is_robot(user_agent_string)
1

python-user-agents(https://github.com/selwin/python-user-agents)
の ‘is_bot‘ で判別できると思います。

1

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。