[pyspark] タグが付いた質問

タグの使い方はまだ書かれていません。

絞り込み
並べ替え
タグ付けされた
0
0 回答
47 閲覧数

delta live table の checkpoint location を知るには?

すでに checkpointを用いて Autoloader でテーブルを更新していたとします。 そのcheckpoint location を知るためにはどうしたらよいでしょうか。 ご存知の方がいたら教えてください。 試しに以下のコードを実行してみましたが、わたしの環境では働きませんでした。 SELECT * FROM sys.tables WHERE name LIKE '...
0
0 回答
92 閲覧数

AWSのGlueで出力先のデータを全て消してから出力をしたい

現在AWSのGlue studioでデータカタログの入力(Source)から一部列だけ抽出して別のデータカタログへ出力(Target)する処理を書いています。 コードは次のとおりです import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark....
  • 1
0
1 回答
2,216 閲覧数

python spark DataFrameをcsv出力する際に指定したファイル名でS3に保存

現在とあるpythonのスクリプトを開発しているのですが,そのスクリプトの処理の中で sparkのDataFrameの中身をCSVとしてS3に出力しており 出力する際にスクリプト内でファイル名を指定して出力したいのですがなかなかいい方法が見つかりません。。。どんな些細なことでもよいのでご教示いただけますでしょうか。 #SparkのDataFreameの型に変更 sdf2 = spark....
1
0 回答
520 閲覧数

Amazon EMRでS3に書き込みの際に503 Slow Downが発生する

Amazon EMRでPySparkを動かしています。 その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。 コードは以下の通りです。 s3_path = 's3://hoge/huga/' df.write.format('parquet').mode('overwrite').save(s3_path) インスタンスはマスタノード、...
  • 754