0

現在とあるpythonのスクリプトを開発しているのですが,そのスクリプトの処理の中で
sparkのDataFrameの中身をCSVとしてS3に出力しており
出力する際にスクリプト内でファイル名を指定して出力したいのですがなかなかいい方法が見つかりません。。。どんな些細なことでもよいのでご教示いただけますでしょうか。

#SparkのDataFreameの型に変更
sdf2 = spark.createDataFrame(pdf_out.fillna(''))
sdf3 = spark.createDataFrame(pdf_out_null.fillna(''))

#CSVファイル格納パス
sucsesspath = 's3://*****/CSV/sucsess'
temppath = 's3://*****/CSV/temp'


#S3にCSVファイルとして出力
sdf2.coalesce(1).write.mode('append').csv(sucsesspath,header=True)
sdf3.coalesce(1).write.mode('append').csv(temppath,header=True)

1 件の回答 1

0

ただ引用するだけの形で申し訳ありませんが、こちらに該当する質問と回答がありました。

あと見た感じ、ファイル格納パスに拡張子が付いていないのでは?と思います。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。