0

Python スクレイピング&クローリング 増補改訂版 を使ってスクレイピングの勉強をしている初心者です。
書籍通りに技術評論社のスクレイピングを実行している最中にエラーが出てしまいます。
特に聞きたいのはp57~p58にかけてのreモジュールのエラーについてです。
しかしそれまでの経緯も影響していそうなので、全体的なコードの流れも示していきます。

p52で以下のサンプルコードを書籍のまま実行しようとするとcp932というエラーが出ます。

import sys
import requests

url = sys.argv[1]
r = requests.get(url)
print(f'encoding: {r.encoding}',file = sys.stderr)
print(r.text)

これを回避するために以下のようにコードを修正しました。

import sys
import requests


url = sys.argv[1]
r = requests.get(url)

with open('output.txt', 'w', encoding='utf-8') as f:
    f.write(r.text)
    
    
print(f'encoding: {r.encoding}',file = sys.stderr)

try:
    print(r.text)
except UnicodeEncodeError:
    print(r.text.encode(sys.stdout.encoding, errors='replace').decode(sys.stdout.encoding))

これをrequests_header_encoding.pyのファイル名で保存します。そして以下のコードをコマンドプロンプトで実行します。するとp53のようにencoding:utf-8(以下引用略)と出力されます。

requests_header_encoding.py http://gihyo.jp/dp

そしてこれをhtmlに変換して保存します。

requests_header_encoding.py http://gihyo.jp/dp > dp.html

これにより作られたhtmlを開いてみるとページは開けるのですが、文字化けしたままとなっています。

そしてここからが本題の質問したいエラーの部分となります。
まず書籍の通りのコードを示します。

import re
from html import unescape
from urllib.parse import urljoin

with open('dp.html') as f:
    html = f.read()

for partial_html in re.findall(r'<a itemprop="url".*?</ul>\s*</a>', html, re.DOTALL):
    url = re.search(r'<a itemprop="url" href="(.*?)".', partial_html).group(1)
    url = urljoin('https://gihyo.jp/', url)

    title = re.search(r'<p itemprop="name".*?</p>', partial_html).group(0)
    title = title.replace('<br/>', ' ')
    title = re.sub(r'<.*?>', ' ', title)
    title = unescape(title)
  
  print(url,title)

これをscrape_re.pyという名前で保存してコマンドプロンプト実行するとエラーが出ました。
requests_header_encoding.pyのファイルにおいて以下の修正が影響しているのではと考えました。

with open('output.txt', 'w', encoding='utf-8') as f:
    f.write(r.text)

それ以外の影響も考慮して自分なりに調べたり考えたりしてみて最終的に以下のようなコードにしてみました。

import re
from html import unescape
from urllib.parse import urljoin

try:
    with open('dp.html', encoding='utf-8') as f:
        html = f.read()

    url_list = []
    title_list = []

for partial_html in re.findall(r'<a itemprop="url".*?</ul>\s*</a>', html, re.DOTALL):
    url = re.search(r'<a itemprop="url" href="(.*?)".', partial_html).group(1)
    url = urljoin('https://gihyo.jp/', url)
    
title = re.search(r'<p itemprop="name".*?</p>', partial_html).group(0)
title = title.replace('<br/>', ' ')
title = re.sub(r'<.*?>', ' ', title)
title = unescape(title)

    url_list.append(url)
    title_list.append(title)
            
for url, title in zip(url_list, title_list):
    print(url, title)
        
except FileNotFoundError as e:
    print("File not found. Please check the file path.")
    raise e

しかし結果はエラーが吐き出されました。
正直いろいろと調べて都度修正していくうちにどれが根本的な原因なのかわからなくなってしまいました。
最終的な目的はscrape_re.pyというファイルが正常に動くようにしたいです。
長々となってしまいましたがよろしくお願いします。

6
  • コマンドプロンプトを使っているということはWindows環境でしょうか?書籍の目次を見ると Unix (Linux) 環境向けの記述がいくつか見えるので、文字コード周りのトラブルかと思いますが、手っ取り早くはコマンドプロンプトの代わりに Windows Terminal 等を使ってみるのも一つの方法かと。
    – cubick
    Commented 2023年7月23日 16:37
  • Unix/WindowsのOS違いによる差やその対処方法に関する知識の無いまま試行錯誤するのは無駄が多いですね。その参考書を使うことを第一に考えるなら、それに合わせたUnix系OS環境等を用意して使う方が良いでしょう。PCやOSが変えられない(変えたくない)なら、それに合わせた参考書/記事等を探した方が良いでしょう。結局scrape_re.pyというファイルだけについて言えば、with open('dp.html') as f:with open('dp.html', encoding='utf-8') as f:にするだけで動作しますが、それはその前段階の作業でdp.htmlが正しく作成されていることが前提です。そうした前の作業の結果を引き継いで後の作業が行われるという参考書では、どこかでつまづくとその後の内容に齟齬が出て、しかも何が悪いのか見分けるのに時間がかかるということになります。
    – kunif
    Commented 2023年7月23日 17:56
  • ちなみに前段階で試行錯誤した内容がおかしいのは、output.txtという固定の名前のファイルにUTF-8で出力しているのと、標準出力へprint()でcp932で出力したものをリダイレクトでファイル化するのの両方を行っていて、print()した方を使っているからでしょう。output.txtdp.htmlrenameすれば上記コメントした最小限の変更で動作出来ると思われます。あるいはこちらの記事を参考に、print()のencodingをUTF-8に変更する処理を先に行っておくという方法でも出来るでしょう。WindowsのPython3で標準出力をUTF8にする, [Python3]printで文字化けするので、文字コードを変更したい あるいは更にその前にコマンドプロンプトでchcp 65001を実行しておく必要があるかもしれませんが。
    – kunif
    Commented 2023年7月23日 23:26
  • @kunif 回答ありがとうございます。 cp932に関してですが、ご指摘の通りoutput.textをdp.htmlに変更することで文字化けせずに表示することができるようになりました。 またscrape_re.pyのファイルもご指摘の通りに修正することで無事にurl一覧を取得することができました。 大変助かりました。ありがとうございました。 Commented 2023年7月24日 13:18
  • @kunif 追加で確認したいのですが、どうしてoutput.textではうまくいかなかったのでしょうか? textをUTF8で出力していることがダメなのですか?正直なぜダメなのかまだ素人の自分には理解できないのですが、ここら辺の処理を理解できるようになるためにはどのような知識や勉強が必要になってくるでしょうか Commented 2023年7月24日 13:21

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。