0

AWS のコスト分析をしようと、 AWS の Cost Explorer をいじっていって、 S3 に詳細データを出力するように指定したところ、 cost-report-1.snappy.parquet ファイルがS3 に保存されるようになりました。しかし、このファイルの読み込み方が分かりません。

質問

.snappy.parquet ファイルの中身をひとまず確認したいと思っています。どうやったらこのファイルはパースできますでしょうか?

MacOS を利用しており、スクリプトの系言語や、シェルコマンドでパーサーを実行するなど、シェルからの操作がやりやすい形式であって、中身を読み込めればひとまず何でも良いと思っています。

1 件の回答 1

0

".snappy.parquet" でweb検索すると以下の記事中で parquet-tools というツールが紹介されていました。

parquet-toolsでApache Parquet形式のファイルをローカルでお手軽に確認する

Javaでできているようで、使用するには自前でコンパイルするか、macOSのユーザーであればHomebrewでインストールが可能です。僕はHomebrewを使いました:

brew install parquet-tools

いくつかのサブコマンドが用意されており、一緒に "Parquet" ファイルを引数に指定すればよいそうです。
cat で中身を見る場合は以下の通り。

$ parquet-tools cat ~/Downloads/part-00000-xyz.snappy.parquet

user_id = 1
name = Jiro Yamada
birthdate = 1990-01-12
gender = 1

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。