1

こちらのページを解析したく
http://www.monex.co.jp/DealInfo/00000000/sinyo/meig/kiseiichiran/hyji?mop=

url = 'http://www.monex.co.jp/DealInfo/00000000/sinyo/meig/kiseiichiran/hyji?mop='
doc = Nokogiri::HTML(open(url, 'r:CP932'))
doc.to_html(encoding: 'cp932')

とすると以下のエラーになってしまいます。

encoding error : output conversion failed due to conv error, bytes 0x97 0x70 0xC2 0x83

encodingをshift_jisにしても結果は同じですし、to_htmlに引数をつけないとunknown encoding name - x-sjisのエラーになってしまいました。

どうエンコーディング処理の指定をするのが正しいのでしょうか?

2 件の回答 2

2

Nokogiri::HTMLは第一引数が#encodingに反応すればそれを利用し、反応しない場合ソースのmetaヘッダ等から類推しようとします。

source = open(url).read
source.encoding #=> #<Encoding:Shift_JIS>
Nokogiri::HTML(source).encoding #=> 'Shift_JIS'
# したがって
Nokogiri::HTML(open(url).read).encoding #=> 'Shift_JIS'

#一方で
f = open(url)
f.encoding #=> NoMethodError
Nokogiri::HTML(open(url)).encoding #=> 'x-sjis'  (metaヘッダに由来)

今回のようにmetaヘッダからの推測では不都合がある場合など、文字エンコーディングを明示的に指定する場合は第三引数で設定します。

Nokogiri::HTML(open(url), nil, 'Shift_JIS').encoding # => 'Shift_JIS'

問題はパーサに不適切なエンコーディングが指定されてしまっていることです。#to_htmlに渡すエンコーディングは出力時のものなので、ここに何を指定するかは問題とは無関係です。

-1

こちらの環境は以下の通りです。

  • Ruby 2.1.2
  • Nokogiri 1.6.3

エンコーディングは対象のウェブページから取得してしまえば良いのではないでしょうか。以下のコードではエラーメッセージは表示されずに正常終了します。

require 'open-uri'
require 'nokogiri'

url = 'http://www.monex.co.jp/DealInfo/00000000/sinyo/meig/kiseiichiran/hyji?mop='

charset = nil
doc = Nokogiri::HTML(
  open(url) do |f|
    charset = f.charset
    f.read
  end
)

puts doc.to_html(encoding: charset).to_s
1
  • これで動くのはNokogiri.HTML(open(url))を実質的にNokogiri.HTML(open(url).read)に書き換えたためです。charsetは無関係です。
    – suzukis
    Commented 2015年9月28日 0:58

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。