[aws-athena] タグが付いた質問

タグの使い方はまだ書かれていません。

絞り込み
並べ替え
タグ付けされた
0
0 回答
87 閲覧数

GlueでS3のparquetファイルを使用する際にスキーマを自動で追加したい。

glueContext.create_dynamic_frame.from_catalogに additional_options={"mergeSchema": "true"} を追加するとGlueデータカタログのスキーマが後から変更された際にも自動でスキーマを調整してくれます。 glueContext....
yone's user avatar
  • 1
0
0 回答
116 閲覧数

Athenaで入れ子構造を含むdoucumentDBのデータをJSON形式を崩さずに取得したい

前提 AWS Athenaを用いてdocumentDBのデータを取得し、その情報をBIツールで分析しようとしている。現在、AthenaからdocumentDBのデータ取得ができている状態。 問題点 データ取得はできたものの、入れ子構造を含むデータを取得しようとすると以下図のようになり、JSONが崩れた状態(fieldname=valueの形)での取得になってしまう。 また、...
daemon's user avatar
  • 1
1
1 回答
104 閲覧数

aws athena で geometry カラムとして読み込める CSV の出力方法

python で計算したデータを Athena 上に geometry カラムとして生成したいです クエリのパフォーマンスを考えると最終的に orc フォーマットにしたいんですが pyorc というライブラリで orc を python 上で作ろうとするとメモリが全く足りません おそらく列指向データのため一定量レコードがたまらないと出力できないので ...
user avatar
0
1 回答
113 閲覧数

CSV からAWS Athena array 型のカラムを持つ orc 形式に変換したい

巨大な CSV から Athena で読めるカラムナー形式に変換したい こちらの質問で https://orc.apache.org/docs/cpp-tools.html#csv-import このツールを教えていただいたのですがスキーマの与え方がわかりません [駅],b'\x00\x00\x00\x00\x01\x01\x00\x00\x00\x00\x00\x00@\x84{a@\x00\...
user avatar
0
1 回答
320 閲覧数

巨大な CSV から Athena で読めるカラムナー形式に変換したい

最終的にやりたいのはタイトル通りです 普通は Athena 上で create 文を叩くと カラムナーフォーマットのデータをS3に生成してくれるんですが いまは元データがローカルにある状態です サイズが 20GB ほどあるので これを Athena にインポートしてしまうと スキャンコストでかなり金額がかかってしまいます なので Athena を使わずにカラムナー形式のファイルをローカルで生成して ...
user avatar