Python スクレイピング&クローリング 増補改訂版 を使ってスクレイピングの勉強をしている初心者です。
書籍通りに技術評論社のスクレイピングを実行している最中にエラーが出てしまいます。
特に聞きたいのはp57~p58にかけてのreモジュールのエラーについてです。
しかしそれまでの経緯も影響していそうなので、全体的なコードの流れも示していきます。
p52で以下のサンプルコードを書籍のまま実行しようとするとcp932というエラーが出ます。
import sys
import requests
url = sys.argv[1]
r = requests.get(url)
print(f'encoding: {r.encoding}',file = sys.stderr)
print(r.text)
これを回避するために以下のようにコードを修正しました。
import sys
import requests
url = sys.argv[1]
r = requests.get(url)
with open('output.txt', 'w', encoding='utf-8') as f:
f.write(r.text)
print(f'encoding: {r.encoding}',file = sys.stderr)
try:
print(r.text)
except UnicodeEncodeError:
print(r.text.encode(sys.stdout.encoding, errors='replace').decode(sys.stdout.encoding))
これをrequests_header_encoding.pyのファイル名で保存します。そして以下のコードをコマンドプロンプトで実行します。するとp53のようにencoding:utf-8(以下引用略)と出力されます。
requests_header_encoding.py http://gihyo.jp/dp
そしてこれをhtmlに変換して保存します。
requests_header_encoding.py http://gihyo.jp/dp > dp.html
これにより作られたhtmlを開いてみるとページは開けるのですが、文字化けしたままとなっています。
そしてここからが本題の質問したいエラーの部分となります。
まず書籍の通りのコードを示します。
import re
from html import unescape
from urllib.parse import urljoin
with open('dp.html') as f:
html = f.read()
for partial_html in re.findall(r'<a itemprop="url".*?</ul>\s*</a>', html, re.DOTALL):
url = re.search(r'<a itemprop="url" href="(.*?)".', partial_html).group(1)
url = urljoin('https://gihyo.jp/', url)
title = re.search(r'<p itemprop="name".*?</p>', partial_html).group(0)
title = title.replace('<br/>', ' ')
title = re.sub(r'<.*?>', ' ', title)
title = unescape(title)
print(url,title)
これをscrape_re.pyという名前で保存してコマンドプロンプト実行するとエラーが出ました。
requests_header_encoding.pyのファイルにおいて以下の修正が影響しているのではと考えました。
with open('output.txt', 'w', encoding='utf-8') as f:
f.write(r.text)
それ以外の影響も考慮して自分なりに調べたり考えたりしてみて最終的に以下のようなコードにしてみました。
import re
from html import unescape
from urllib.parse import urljoin
try:
with open('dp.html', encoding='utf-8') as f:
html = f.read()
url_list = []
title_list = []
for partial_html in re.findall(r'<a itemprop="url".*?</ul>\s*</a>', html, re.DOTALL):
url = re.search(r'<a itemprop="url" href="(.*?)".', partial_html).group(1)
url = urljoin('https://gihyo.jp/', url)
title = re.search(r'<p itemprop="name".*?</p>', partial_html).group(0)
title = title.replace('<br/>', ' ')
title = re.sub(r'<.*?>', ' ', title)
title = unescape(title)
url_list.append(url)
title_list.append(title)
for url, title in zip(url_list, title_list):
print(url, title)
except FileNotFoundError as e:
print("File not found. Please check the file path.")
raise e
しかし結果はエラーが吐き出されました。
正直いろいろと調べて都度修正していくうちにどれが根本的な原因なのかわからなくなってしまいました。
最終的な目的はscrape_re.pyというファイルが正常に動くようにしたいです。
長々となってしまいましたがよろしくお願いします。
scrape_re.py
というファイルだけについて言えば、with open('dp.html') as f:
をwith open('dp.html', encoding='utf-8') as f:
にするだけで動作しますが、それはその前段階の作業でdp.html
が正しく作成されていることが前提です。そうした前の作業の結果を引き継いで後の作業が行われるという参考書では、どこかでつまづくとその後の内容に齟齬が出て、しかも何が悪いのか見分けるのに時間がかかるということになります。output.txt
という固定の名前のファイルにUTF-8で出力しているのと、標準出力へprint()
でcp932で出力したものをリダイレクトでファイル化するのの両方を行っていて、print()
した方を使っているからでしょう。output.txt
をdp.html
にrename
すれば上記コメントした最小限の変更で動作出来ると思われます。あるいはこちらの記事を参考に、print()
のencodingをUTF-8に変更する処理を先に行っておくという方法でも出来るでしょう。WindowsのPython3で標準出力をUTF8にする, [Python3]printで文字化けするので、文字コードを変更したい あるいは更にその前にコマンドプロンプトでchcp 65001
を実行しておく必要があるかもしれませんが。