import pyarrow.orc
orc_writer = pyarrow.orc.ORCWriter('test.orc')
とかいてみたところ
zsh: segmentation fault python test.py
となってしまいます
何かデータを書き込まないとダメなのかと思い
以下のコードで1レコードだけいろいろな型のデータを書き込んでみたんですがかわらず segmentation fault になります
import pyarrow as pa
import pyarrow.orc
with pyarrow.orc.ORCWriter('test.orc') as orc_writer:
data = [
pa.array(['abc'], type=pa.string()),
pa.array([10], type=pa.int32()),
pa.array([1.5], type=pa.float64()),
pa.array([1646200394], type=pa.timestamp('s')),
pa.array([['x1', 'y1']], type=pa.list_(pa.string())),
pa.array([b"\x00\x00\x00\x00\x01\x01\x00\x00\x00" + struct.pack('d', 37) + struct.pack('d', 137)], type=pa.binary(length=25)),
]
table = pa.table(data, names=[f'col{i}' for i in range(6)])
orc_writer.write(table)
test.orc 自体は中身空で作成されました(消して実行すると再作成されます)
書き込み方があってるのかも不明です
https://arrow.apache.org/docs/python/generated/pyarrow.orc.ORCWriter.html#pyarrow.orc.ORCWriter.write
こちらをみると引数が table みたいなので
https://arrow.apache.org/docs/python/getstarted.html
こちらの getstart を参考にして table を作ってみました
最終的に作りたい Athena のカラム型が
string,double,int,timestamp,array,geom:binary
の 6 つで
https://arrow.apache.org/docs/python/api/datatypes.html
こちらをみながらテストデータを書き込んだ次第です
特に timestamp, string array, binary の与え方はあってるか自信ないですが
``
['x1', 'y1']
b"\x00\x00\x00\x00\x01\x01\x00\x00\x00" + struct.pack('d', 37) + struct.pack('d', 137)
の値自体は pyorc という別のモジュールを使って生成した orc では Athena 上で読めていました