現在AWSのGlue studioでデータカタログの入力(Source)から一部列だけ抽出して別のデータカタログへ出力(Target)する処理を書いています。
コードは次のとおりです
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
args = getResolvedOptions(sys.argv, ["JOB_NAME"])
sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args["JOB_NAME"], args)
# Script generated for node AWS Glue Data Catalog
AWSGlueDataCatalog_node◯◯◯ = glueContext.create_dynamic_frame.from_catalog(
database="databaseA",
table_name="tableA",
transformation_ctx="AWSGlueDataCatalog_node◯◯◯",
)
# Script generated for node Select Fields
# このノードで必要なカラムだけ選択しています
SelectFields_node△△△ = SelectFields.apply(
frame=AWSGlueDataCatalog_node◯◯◯,
paths=[
"colA",
"colB",
],
transformation_ctx="SelectFields_node△△△",
)
# Script generated for node AWS Glue Data Catalog
AWSGlueDataCatalog_node◻◻◻ = glueContext.write_dynamic_frame.from_catalog(
frame=SelectFields_node△△△,
database="databaseB",
table_name="tableB",
transformation_ctx="AWSGlueDataCatalog_node◻◻◻",
)
job.commit()
とある事情により出力先のフォルダ(=出力先データカタログの指す場所)のファイルを全て消してから上記の出力部分の処理を行いたいと考えています。
purge_table を用いればできそうなところまでは掴めたのですがどう書けばいいかわかっておりません。よろしければご教授をお願いします。
[環境]
- Type:Spark
- Glue version:Glue3.0
- Language:Python3