[aws-athena] タグが付いた質問
aws-athena タグの使い方はまだ書かれていません。
6
質問
0
票
0
回答
41
閲覧数
Athenaで入れ子構造を含むdoucumentDBのデータをJSON形式を崩さずに取得したい
前提
AWS Athenaを用いてdocumentDBのデータを取得し、その情報をBIツールで分析しようとしている。現在、AthenaからdocumentDBのデータ取得ができている状態。
問題点
データ取得はできたものの、入れ子構造を含むデータを取得しようとすると以下図のようになり、JSONが崩れた状態(fieldname=valueの形)での取得になってしまう。
また、...
0
票
0
回答
34
閲覧数
AWS athena bucketing を手動で行うことはできますか?
ロケーション自体を別にするパーティションではなく
特定のカラムの値によって同じロケーション内のS3オブジェクトをわけることで
where 文によるフィルタで検索量を減らすバケッティングという仕組みがあるみたいなんですが
バケッティングカラムの値がどのファイルに入ってるかは誰がどうやって決めているんでしょうか
orc メタデータに入っていて glue ...
1
票
1
回答
64
閲覧数
aws athena で geometry カラムとして読み込める CSV の出力方法
python で計算したデータを Athena 上に geometry カラムとして生成したいです
クエリのパフォーマンスを考えると最終的に orc フォーマットにしたいんですが
pyorc というライブラリで orc を python 上で作ろうとするとメモリが全く足りません
おそらく列指向データのため一定量レコードがたまらないと出力できないので
...
0
票
0
回答
70
閲覧数
pyarrow ORCwriter でデータを追記する方法
pyarrow の orcwriter の使い方
こちらの質問から import struct を追加したところ
とりあえず少数レコードで orc 生成はできるようになりました
ただ import なしでモジュールエラーではなく segmentation fault になった理由がよくわかりませんが
import pyarrow as pa
import pyarrow.orc
import ...
0
票
1
回答
86
閲覧数
CSV からAWS Athena array 型のカラムを持つ orc 形式に変換したい
巨大な CSV から Athena で読めるカラムナー形式に変換したい
こちらの質問で
https://orc.apache.org/docs/cpp-tools.html#csv-import
このツールを教えていただいたのですがスキーマの与え方がわかりません
[駅],b'\x00\x00\x00\x00\x01\x01\x00\x00\x00\x00\x00\x00@\x84{a@\x00\...
0
票
1
回答
253
閲覧数
巨大な CSV から Athena で読めるカラムナー形式に変換したい
最終的にやりたいのはタイトル通りです
普通は Athena 上で create 文を叩くと
カラムナーフォーマットのデータをS3に生成してくれるんですが
いまは元データがローカルにある状態です
サイズが 20GB ほどあるので
これを Athena にインポートしてしまうと
スキャンコストでかなり金額がかかってしまいます
なので Athena を使わずにカラムナー形式のファイルをローカルで生成して
...