0

巨大な CSV から Athena で読めるカラムナー形式に変換したい
こちらの質問で
https://orc.apache.org/docs/cpp-tools.html#csv-import
このツールを教えていただいたのですがスキーマの与え方がわかりません


[駅],b'\x00\x00\x00\x00\x01\x01\x00\x00\x00\x00\x00\x00@\x84{a@\x00\x00\x00@\x12\xd5A@'

という1行だけのCSVを変換しようとしたところ以下のようなエラーになります

csv-import "struct<tags:array<string>,geom:binary>" test.csv test.orc
[2022-02-07 22:17:14] Start importing Orc file...
libc++abi.dylib: terminating with uncaught exception of type std::runtime_error: array<string> is not supported yet.
zsh: abort      csv-import "struct<tags:array<string>,geometry:binary>" test.csv test.orc

https://orc.apache.org/docs/types.html
これを見ると array という記述が存在しないせいみたいなんですが

最終的に以下のような Athena のテーブルでアクセスしたいのですが
Athena 上の array 型になる orc を作るにはどういうスキーマを記述すればいいのでしょうか

CREATE EXTERNAL TABLE `test`(
  `tags` array<string>, 
  `geometry` binary)
ROW FORMAT SERDE 
  'org.apache.hadoop.hive.ql.io.orc.OrcSerde' 
WITH SERDEPROPERTIES ( 
  'orc.column.index.access'='false') 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
LOCATION
  's3://xxxxx'
TBLPROPERTIES (
  'has_encrypted_data'='false', 
  'orc.column.index.access'='false', 
  'transient_lastDdlTime'='1560415678')

list を与えてもダメでした

csv-import "struct<tags:list<string>,geom:binary>" test.csv test.orc
[2022-02-08 16:39:42] Start importing Orc file...
libc++abi.dylib: terminating with uncaught exception of type std::logic_error: Unknown type list
zsh: abort      csv-import "struct<tags:list<string>,geom:binary>" test.csv test.orc

array 自体はキーワードとして認識されるようです

csv-import "struct<tags:array,geom:binary>" test.csv test.orc
[2022-02-08 17:49:53] Start importing Orc file...
libc++abi.dylib: terminating with uncaught exception of type std::logic_error: Array type must contain exactly one sub type.
zsh: abort      csv-import "struct<tags:array,geom:binary>" test.csv test.orc

そもそもCSV側もの与え方も [駅] みたいな書き方でいいのかよくわからないし
Athena コンソール上で array カラムを表示すると [abc, xyz] みたいにでてくるので
試しに [] でくくってみました

https://orc.apache.org/docs/cpp-tools.html#csv-import
このすぐ上の orc-metadata のところには

"struct<boolean1:boolean,byte1:tinyint,short1:smallint,
int1:int,long1:bigint,float1:float,double1:double,bytes1:binary,
string1:string,middle:struct<list:array<struct<int1:int,string1:
string>>>,list:array<struct<int1:int,string1:string>>,map:map<
string,struct<int1:int,string1:string>>>"

のような書き方がされてるので array や list でいけるかと思いましたが...

ドキュメントもみあたらず man もないし -h にも説明が出てこないので大人しく pyorc あたり使ってプログラム書くことにします

1 件の回答 1

0

手元で試していないのですが、ORC で言うところの list 型を使えば Athena で言うところの array 型に SerDe のタイミングで変換できそうです。

この質問に回答するには、ログインする必要があります。