とある処理で検索エンジンなどのロボットを判定する必要があり、Pythonモジュールを探しています。
User-Agent文字列もしくは、WSGIのrequestを渡すことでロボットかどうか判定してくれるモジュールがもしあれば教えてください。
woothee-python というものがあります。
特徴は以下の通りです。
クローラの判定については以下のようにできます。
woothee.is_crawler('Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)')
// => False
「ズバリそのもの」のモジュールがあります → robot-detection
下記のサンプルコードにあるように、 User-Agent 文字列によってロボット判定が行われます。
>>> import robot_detection
>>> robot_detection.is_robot(user_agent_string)
python-user-agents(https://github.com/selwin/python-user-agents)
の ‘is_bot‘ で判別できると思います。