0

初歩的な質問です.python3でurllibを使ってhtmlのコードを取得しようとしています.

  request = urllib.request.Request(url)
  response = urllib.request.urlopen(request) 
  html = response.read().decode('utf-8')

上記のようにソースコードを取得しています.取得先のページがutf-8でエンコードされているときはうまく取得できるのですが,shift-jisでエンコードされている場合

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x92 in position 228: invalid start byte

とエラーが出ます."bytes型のshift-jis"を"bytes型のutf-8"に変換してからデコードすればうまくいくと思うのですが,そういった方法は可能でしょうか.

1 件の回答 1

1

単純にはhtml = response.read().decode('ShiftJIS')でいいですよね。

どのエンコーディングを使うかを決めるためには、httpのヘッダとか、html要素のlang属性とか、meta要素とか、考えられる限りの情報を見て判断しないといけませんが、そんなことをがんばるぐらいなら、公式ドキュメント書いてあるとおり、Requests を使う方がいいと思いますよ。

3
  • 書き忘れていました.shift-jisを直接デコードしようとすると UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x87 in position 533: illegal multibyte sequence とエラーが出ます.また,エンコーディングの種類については取得先のページは今回は固定なので大丈夫です.
    – suya
    2017年11月2日 14:21
  • すみません,解決しました.shift-jisではなくcp932でエンコードされていたようです
    – suya
    2017年11月2日 14:37
  • ShitJISでエンコードしていることになっているけれども、ShiftJISとして不正なシークェンスを含むページを読み込みたいということですか?(行き違いでした)
    – quickquip
    2017年11月2日 14:38

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。