[pyspark] タグが付いた質問
4
質問
0
票
0
回答
47
閲覧数
delta live table の checkpoint location を知るには?
すでに checkpointを用いて Autoloader でテーブルを更新していたとします。
そのcheckpoint location を知るためにはどうしたらよいでしょうか。
ご存知の方がいたら教えてください。
試しに以下のコードを実行してみましたが、わたしの環境では働きませんでした。
SELECT * FROM sys.tables WHERE name LIKE '...
0
票
0
回答
92
閲覧数
AWSのGlueで出力先のデータを全て消してから出力をしたい
現在AWSのGlue studioでデータカタログの入力(Source)から一部列だけ抽出して別のデータカタログへ出力(Target)する処理を書いています。
コードは次のとおりです
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark....
0
票
1
回答
2,216
閲覧数
python spark DataFrameをcsv出力する際に指定したファイル名でS3に保存
現在とあるpythonのスクリプトを開発しているのですが,そのスクリプトの処理の中で
sparkのDataFrameの中身をCSVとしてS3に出力しており
出力する際にスクリプト内でファイル名を指定して出力したいのですがなかなかいい方法が見つかりません。。。どんな些細なことでもよいのでご教示いただけますでしょうか。
#SparkのDataFreameの型に変更
sdf2 = spark....
1
票
0
回答
520
閲覧数
Amazon EMRでS3に書き込みの際に503 Slow Downが発生する
Amazon EMRでPySparkを動かしています。
その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。
コードは以下の通りです。
s3_path = 's3://hoge/huga/'
df.write.format('parquet').mode('overwrite').save(s3_path)
インスタンスはマスタノード、...