4

タブ区切りの3,000行ほどのCSVファイルを CSV.table で読み込もうとすると非常に遅かったので CSV.read を試してみたところ100分の1程度で処理できました。

Benchmark.bm 10 do |r|
  r.report "read" do
    CSV.read(filename, col_sep: "\t", headers: true, header_converters: :symbol)
  end
  r.report "table" do
    CSV.table(filename, col_sep: "\t")
  end
end
                 user     system      total        real
read         0.050000   0.000000   0.050000 (  0.046571)
table        4.790000   0.010000   4.800000 (  4.814375)

CSV.tableは常にCSV.readに対してこれほど速度差があるのでしょうか、
それとも何か特別な原因がある時だけ遅くなるのでしょうか?

1 件の回答 1

8

table には converters: :numeric が含まれています。
数値を変換しようとするので、遅くなります。

  def self.table(path, options = Hash.new)
    read( path, { headers:           true,
                  converters:        :numeric,
                  header_converters: :symbol }.merge(options) )
  end

https://github.com/ruby/ruby/blob/v2_3_1/lib/csv.rb#L1354-L1358

CSV.read の方に converters :numeric を追加すると、実行時間は同じになると思います。

1
  • 確認してみたところ確かに converters: :numeric を追加すると遅くなりました。ありがとうございます。
    – ironsand
    Commented 2016年6月11日 6:37

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。