\d postgres.geometries;
Column | Type | Collation | Nullable | Default
--------+------------------------------+-----------+----------+-------------------------------------------------
id | bigint | | not null | nextval('postgres.geometries_id_seq'::regclass)
geog | geography(MultiPolygon,4326) | | |
area | double precision | | |
こんな感じのテーブルがあります
select geog from postgres.geometries limit 10;
を実行すると
0106000020E61000000100000001030000000100000009000000
ではじまる文字列が表示され
select
geog::geometry <-> ST_SetSRID( ST_Point(35.41, 139.4), 4326)::geography
from postgres.geometries
limit 10;
という感じで空間クエリが使えています
これを Athena にもっていって同様の空間クエリを使いたいです
1. CSV 出力
COPY postgres.geometries TO '/tmp/geometries.csv' WITH CSV DELIMITER ',';
でCSV出力しました
このとき geometry カラムは
0106000020E61000000100000001030000000100000009000000
ではじまる16進数文字列で出力されました
2. CSV => ORC 変換
import pyorc
with open(f'/tmp/geometries.csv') as f:
r = csv.reader(f)
with pyorc.Writer(
open(f'/tmp/geometries.orc', 'wb'),
'struct<id:int,geog:binary,area:double>',
compression_strategy=pyorc.CompressionStrategy.COMPRESSION,
) as orc_writer:
for row in r:
orc_writer.write((int(row[0]), bytes.fromhex(row[1]), float(row[2]), ))
という python のプログラムを書いて変換しました
3. S3 にアップロード
aws s3 cp /tmp/geometries.orc s3://xxxxx
4. Athena テーブル作成
CREATE EXTERNAL TABLE IF NOT EXISTS postgres.geometries (
id int,
geog binary,
area double
)
ROW FORMAT SERDE
'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
WITH SERDEPROPERTIES (
'orc.column.index.access'='false')
STORED AS INPUTFORMAT
'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
OUTPUTFORMAT
'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
LOCATION
's3://xxxxx'
TBLPROPERTIES (
'orc.column.index.access'='false',
'has_encrypted_data'='false'
);
5. カラム確認
SELECT * FROM "postgres"."geometries" limit 10;
を Athena コンソールから実行すると
01 06 00 00 20 e6 10 00 00 01 00 00 00 01 03 00 00 00 01 00 00 00 09 00 00 00
ではじまるバイナリカラムが認識されました
6. 空間クエリの実行
以下の3パターンでいずれも空間カラムが認識できずエラーとなります
SELECT
ST_DISTANCE(geog, ST_POINT(139.4, 35.41))
FROM geometries
limit 10;
Unexpected parameters (varbinary, Geometry) for function st_distance
SELECT
ST_DISTANCE(ST_GeomFromBinary(geog), ST_POINT(139.4, 35.41))
FROM geometries
limit 10;
SELECT
ST_DISTANCE(ST_GeomFromLegacyBinary(geog), ST_POINT(139.4, 35.41))
FROM geometries
limit 10;
GENERIC_INTERNAL_ERROR: invalid shape type
どのようにすれば Athena の空間カラムとして認識できるようになるのでしょうか
もちろん WKT でインポートすれば認識できるとは思うんですが
スキャンコストの関係でバイナリのままインポートしたいです