[aws-athena] タグが付いた質問
aws-athena タグの使い方はまだ書かれていません。
5
質問
0
票
0
回答
87
閲覧数
GlueでS3のparquetファイルを使用する際にスキーマを自動で追加したい。
glueContext.create_dynamic_frame.from_catalogに
additional_options={"mergeSchema": "true"}
を追加するとGlueデータカタログのスキーマが後から変更された際にも自動でスキーマを調整してくれます。
glueContext....
0
票
0
回答
116
閲覧数
Athenaで入れ子構造を含むdoucumentDBのデータをJSON形式を崩さずに取得したい
前提
AWS Athenaを用いてdocumentDBのデータを取得し、その情報をBIツールで分析しようとしている。現在、AthenaからdocumentDBのデータ取得ができている状態。
問題点
データ取得はできたものの、入れ子構造を含むデータを取得しようとすると以下図のようになり、JSONが崩れた状態(fieldname=valueの形)での取得になってしまう。
また、...
1
票
1
回答
104
閲覧数
aws athena で geometry カラムとして読み込める CSV の出力方法
python で計算したデータを Athena 上に geometry カラムとして生成したいです
クエリのパフォーマンスを考えると最終的に orc フォーマットにしたいんですが
pyorc というライブラリで orc を python 上で作ろうとするとメモリが全く足りません
おそらく列指向データのため一定量レコードがたまらないと出力できないので
...
0
票
1
回答
113
閲覧数
CSV からAWS Athena array 型のカラムを持つ orc 形式に変換したい
巨大な CSV から Athena で読めるカラムナー形式に変換したい
こちらの質問で
https://orc.apache.org/docs/cpp-tools.html#csv-import
このツールを教えていただいたのですがスキーマの与え方がわかりません
[駅],b'\x00\x00\x00\x00\x01\x01\x00\x00\x00\x00\x00\x00@\x84{a@\x00\...
0
票
1
回答
320
閲覧数
巨大な CSV から Athena で読めるカラムナー形式に変換したい
最終的にやりたいのはタイトル通りです
普通は Athena 上で create 文を叩くと
カラムナーフォーマットのデータをS3に生成してくれるんですが
いまは元データがローカルにある状態です
サイズが 20GB ほどあるので
これを Athena にインポートしてしまうと
スキャンコストでかなり金額がかかってしまいます
なので Athena を使わずにカラムナー形式のファイルをローカルで生成して
...