概要
Pythonで取り込み時間パーティション分割テーブルにパーティションを指定して取り込むにはどのようにしたら良いでしょうか。
試したこと
SQLで挿入する際には以下のように可能であることはわかりました。
https://cloud.google.com/bigquery/docs/using-dml-with-partitioned-tables
が、Pythonでの記載方法がわかりません。
google-cloud-bigqueryモジュールを使用し、 client.load_table_from_dataframe を使用する事を考えております。
以下のドキュメントを見つけたのですが、_PARTITIONTIME
の名称を使用すると以下のエラーが発生します
https://cloud.google.com/bigquery/docs/samples/bigquery-load-table-partitioned#bigquery_load_table_partitioned-python
google.api_core.exceptions.BadRequest: 400 POST https://bigquery.googleapis.com/upload/bigquery/v2/projects/aaa/jobs?uploadType=multipart: Invalid field name "_PARTITIONTIME". Field names are not allowed to start with the (case-insensitive) prefixes _PARTITION, _TABLE_, _FILE_, _ROW_TIMESTAMP, __ROOT__ and _COLIDENTIFIER
環境
- python: 3.8.10
- google-cloud-bigquery: 3.2.0
- pandas: 1.4.3
- 認証など
- PARTITIONを指定しない場合はデータが挿入できているため問題ない認識
table
CREATE TABLE IF NOT EXISTS `aaa.bbb.ccc`(
c1 INTEGER,
c2 STRING
)
PARTITION BY _PARTITIONDATE;
やりたい事
SQL
INSERT INTO `aaa.bbb.ccc` (c1, c2, _PARTITIONTIME) VALUES (99, "zz", TIMESTAMP("2000-01-02"));
Python(イメージ)
import pandas as pd
from google.cloud import bigquery
from google.cloud.bigquery.enums import SqlTypeNames
from google.cloud.bigquery.job import WriteDisposition
from datetime import datetime
client = bigquery.Client(project="aaa")
job_config = bigquery.LoadJobConfig(
schema=[
bigquery.SchemaField("c1", SqlTypeNames.INTEGER),
bigquery.SchemaField("c2", SqlTypeNames.STRING),
bigquery.SchemaField("_PARTITIONTIME", SqlTypeNames.TIMESTAMP),
],
write_disposition=WriteDisposition.WRITE_APPEND,
time_partitioning=bigquery.TimePartitioning(
type_=bigquery.TimePartitioningType.DAY,
field="_PARTITIONTIME", # Name of the column to use for partitioning.
expiration_ms=7776000000, # 90 days.
),
)
df = pd.DataFrame(
[
[1, "a", datetime.strptime("2100-11-12", "%Y-%m-%d")],
[2, "b", datetime.strptime("2101-12-13", "%Y-%m-%d")],
],
columns=["c1", "c2", "_PARTITIONTIME"],
)
job = client.load_table_from_dataframe(df, "aaa.bbb.ccc", job_config=job_config)
result = job.result()
追記(2022/08/29 10:26)
以下にマルチポストしています
https://stackoverflow.com/questions/73523372/