最終的にやりたいのはタイトル通りです
普通は Athena 上で create 文を叩くと
カラムナーフォーマットのデータをS3に生成してくれるんですが
いまは元データがローカルにある状態です
サイズが 20GB ほどあるので
これを Athena にインポートしてしまうと
スキャンコストでかなり金額がかかってしまいます
なので Athena を使わずにカラムナー形式のファイルをローカルで生成して
S3 において Athena で認識させたいです
node.js に orc を出力できるライブラリがあったので使ってみようと思ったところです
https://github.com/corymickelson/norc
この node モジュールを動かしたいのですがどうやって使うのでしょうか
javascript はブラウザで動かすものばかりで node で動かしたことがあまりないので
ピント外れなことかいていたらすみません
npm install norc
added 1 package, and audited 7 packages in 2s
found 0 vulnerabilities
でモジュール自体はインストールできたんだと思うんですが
test.js
import {norc, DataType} from '@npilots/norc'
import {fromPath} from 'fast-csv'
function convert(csv:string, output:string): void {
const writer = new norc.Writer(output)
const schema = {x: DataType.SMALLINT, y: DataType.SMALLINT}
writer.schema(schema)
fromPath(csv,{ headers: true })
.on('data', chunk => {
writer.add({x: chunk.x, y: chunk.y})
})
.on('end', () => {
writer.close()
// do something with .orc file
})
}
と1つめのサンプルコードをはりつけて実行してみたのですが
# node test
import {norc, DataType} from '@npilots/norc'
^^^^^^
SyntaxError: Cannot use import statement outside a module
となってしまいます
JS やこのモジュールにこだわってるわけではないので
他の言語でもコマンドでも何でもいいので
サイズの小さい Athena で検索できる形に変換する方法があれば知りたいです
サイズが巨大なのでそれなりにパフォーマンスの出る方法だとうれしいです