1

Pythonでクローラーを制作したのですが、クローリングしてwebページのタイトルを取得する時にエラーが出る時があります。ですがクロール中のどこのページでエラーが出るのかわからないので原因がわかりません。ちゃんとクロールできるページもあります。お手上げ状態なのでアドバイスを頂けると幸いです。よろしくお願いします。

調査結果
一応タイトルタグがない状態で出るエラーなのかと思い調査しましたが違いました。
タイトルの文字が長すぎるのかとも思いましたが、それも違いました。
titleタグが空の時は空のまま出てきます。

エラー

Traceback (most recent call last):
  File "/vagrant/pysearch-master/manage.py", line 15, in <module>
    crawl_web('https://applech2.com/', 8)
  File "/vagrant/pysearch-master/web_crawler/crawler.py", line 147, in crawl_web
    title = _get_page_tite(html)
  File "/vagrant/pysearch-master/web_crawler/crawler.py", line 61, in _get_page_tite
    title = BeautifulSoup(html, "html.parser").find('title').text
  File "/home/vagrant/.virtualenvs/dev/local/lib/python3.4/site-packages/bs4/__init__.py", line 192, in __init__
    elif len(markup) <= 256 and (
TypeError: object of type 'NoneType' has no len()

クローラーのコードは以下の GitHub に上げてあります。
https://github.com/wimpykid719/pythonengine/blob/master/web_crawler/crawler.py

1
  • 403のアクセスの拒否が原因でした。
    – wataru
    Commented 2017年12月9日 14:36

1 件の回答 1

1

この問題は 403 のアクセス拒否が原因でした。


この投稿は @wataru さんのコメント の内容を元に コミュニティwiki として投稿しました。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。