[aws-athena] タグが付いた質問
aws-athena タグの使い方はまだ書かれていません。
4
質問
1
票
1
回答
34
閲覧数
aws athena で geometry カラムとして読み込める CSV の出力方法
python で計算したデータを Athena 上に geometry カラムとして生成したいです
クエリのパフォーマンスを考えると最終的に orc フォーマットにしたいんですが
pyorc というライブラリで orc を python 上で作ろうとするとメモリが全く足りません
おそらく列指向データのため一定量レコードがたまらないと出力できないので
...
0
票
0
回答
54
閲覧数
pyarrow ORCwriter でデータを追記する方法
pyarrow の orcwriter の使い方
こちらの質問から import struct を追加したところ
とりあえず少数レコードで orc 生成はできるようになりました
ただ import なしでモジュールエラーではなく segmentation fault になった理由がよくわかりませんが
import pyarrow as pa
import pyarrow.orc
import ...
0
票
1
回答
52
閲覧数
CSV からAWS Athena array 型のカラムを持つ orc 形式に変換したい
巨大な CSV から Athena で読めるカラムナー形式に変換したい
こちらの質問で
https://orc.apache.org/docs/cpp-tools.html#csv-import
このツールを教えていただいたのですがスキーマの与え方がわかりません
[駅],b'\x00\x00\x00\x00\x01\x01\x00\x00\x00\x00\x00\x00@\x84{a@\x00\...
0
票
1
回答
181
閲覧数
巨大な CSV から Athena で読めるカラムナー形式に変換したい
最終的にやりたいのはタイトル通りです
普通は Athena 上で create 文を叩くと
カラムナーフォーマットのデータをS3に生成してくれるんですが
いまは元データがローカルにある状態です
サイズが 20GB ほどあるので
これを Athena にインポートしてしまうと
スキャンコストでかなり金額がかかってしまいます
なので Athena を使わずにカラムナー形式のファイルをローカルで生成して
...