5

次のコードでhtmlを取得しましたが、

import urllib2
fp = urllib2.urlopen('http://2689.web.fc2.com/1989/GS/GS1.html')
html = fp.read()
fp.close()

次のように文字化けしてしまいます。

出力結果(一部)

<div class='score'>
<p class='data-ce'><span>4??8???@1???@?????h?[???@56,000?l</span></p>
<div class='float-clear'></div>
<table border='1' cellspacing='2' class='board1'>

どのようにしたら、文字化けを直せるでしょうか?教えてください、お願いします。

2 件の回答 2

5

chardetライブラリのdetectを使用すれば文字コードが判別できますので、それをUnicodeにdecodeすれば取得元がどんな文字コードでも対応できます。

import urllib
import chardet

url = 'http://2689.web.fc2.com/1989/GS/GS1.html'
# データ取得
data = ''.join(urllib.urlopen(url).readlines())
# エンコーディング判別
guess = chardet.detect(data)
# Unicode化
unicode_data = data.decode(guess['encoding'])

あとはBeautifulSoupなりPyQueryなりでスクレイピング等をすれば良いです。

参考URL:http://ymotongpoo.hatenablog.com/entry/20110103/1294032545

2
html = fp.read()

これを

html = fp.read().decode('shift_jis')

このように変更すれば直せると思います。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。