[spark] タグが付いた質問

タグの使い方はまだ書かれていません。

2 未回答やベストアンサーなし質問
絞り込み
並べ替え
タグ付けされた
1
0 回答
40 閲覧数

Apache SparkのMLlibによる機械学習の分散の処理イメージがわきません。具体的な処理を教えてください。

Apache SparkのMLlibを使用し機械学習の実装ができることを知りました。 その中で、モデルの学習を分散の仕組みがイメージできませんので、教えていただきたいです。 私の認識は以下の通りです。 文字列の整形や文字列のベクトルへの変換などはそれぞれのノードで可能。 モデルの学習は「重み」が存在しており、モデルの学習とは「重み」を更新していくもの。 ...
countryside's user avatar
1
0 回答
595 閲覧数

Amazon EMRでS3に書き込みの際に503 Slow Downが発生する

Amazon EMRでPySparkを動かしています。 その際にS3にparquetで保存する処理中にAmazonS3Exceptionが発生致します。 コードは以下の通りです。 s3_path = 's3://hoge/huga/' df.write.format('parquet').mode('overwrite').save(s3_path) インスタンスはマスタノード、...
yamap_55's user avatar
  • 784