2

apache pyarrowを使って任意のファイルをバイナリ形式で読み込み
そのバイナリをlistにつめてparquet形式で出力するということをやっています。
以下のソースで検証しているのですが、parquet形式で出力すると
ファイルサイズが元のファイルの7倍になります。
テキストファイルで出力したファイルを開いてみると、データは無圧縮状態のようで
圧縮がかかっていません。
なんとか圧縮をかけることはできないでしょうか?

# -*- coding: utf-8 -*-
import pyarrow as pa
import pyarrow.parquet as pq

open_data_path = "test_log_70mb.txt"
file_list = []
with open(open_data_path, 'rb') as f:
    data = bytes(f.read())
    file_list.append(data)

pa_data = [
    pa.array(file_list)
]

pa_batch = pa.RecordBatch.from_arrays(pa_data, ["file_list"])
table = pa.Table.from_batches([pa_batch])
pq.write_table(table, "./test_parquet", compression="gzip")

結果

total 71734
-rwxrwxrwx 1 vagrant vagrant      423 Aug 25 02:05 test2.py
-rwxrwxrwx 1 vagrant vagrant 73454817 Aug 25 02:05 test_log_70mb.txt
vagrant@apex01:/vagrant/arrow_test$ python test2.py
vagrant@apex01:/vagrant/arrow_test$ ls -l
total 511880
-rwxrwxrwx 1 vagrant vagrant       423 Aug 25 02:05 test2.py
-rwxrwxrwx 1 vagrant vagrant  73454817 Aug 25 02:05 test_log_70mb.txt
-rwxrwxrwx 1 vagrant vagrant 450709316 Aug 25 02:05 test_parquet

環境
python 2.7
pyarrow 0.6.0

3
  • 2
    この場合、data = bytes(f.read()) としていますので、pa_data は実質的に列数 1、 行数 1 のデータ構造になっています。対象ファイルの名前から、テキストファイルと思われるので、例えば file_list.append(data.split("\n")) として行単位にすれば圧縮されるのではないでしょうか。
    – user39889
    2017年8月25日 6:44
  • たしかに圧縮されました。 しかし、問題が発覚したのがたまたまテキストのログだっただけで、目的としているファイルはテキストファイルとは限らず。また後段の処理でファイルとして取り出すことを目的としている為"\n"で切ってデータを変にいじるのは避けたいです。 また、サンプルがたまたま列数1、行数1となっていますが実際には1カラムに複数のバイナリが入ったリストが入る想定です。 とはいえ、ちょっと光明が見えた気もします。
    – 三浦武
    2017年8月25日 7:06
  • 2
    Parquetはカラムナー形式のファイルの一つですね。CSVファイルのような行指向のファイルを列指向に変えることによって、似たような性質の値がひと塊りになります。Parquetはそのようにして検索効率とか圧縮効率をあげています。だから「任意のファイルをバイナリ形式で読み込みそのバイナリをlistにつめる」のはできなくはないですけれども、Parquet形式を使う利点が無いよう見えます。圧縮ができるできないの問題は別として、もう少し全体として何がやりたいのかを書いていただいた方がいいかもしれません。 2017年8月25日 19:50

1 件の回答 1

1
compression = 'snappy'

はどうですか?

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。