1

Apache SparkのMLlibを使用し機械学習の実装ができることを知りました。
その中で、モデルの学習を分散の仕組みがイメージできませんので、教えていただきたいです。

私の認識は以下の通りです。

  • 文字列の整形や文字列のベクトルへの変換などはそれぞれのノードで可能。
  • モデルの学習は「重み」が存在しており、モデルの学習とは「重み」を更新していくもの。
  • 各ノードでモデルを学習する際の学習データは重複しない。
  • 各ノードで「重み」の共有が出来るとしてもノード間の通信ラグが発生し、それであればむしろ1台でやったほうが処理が速い。

処理全体のイメージは以下のページの画像のイメージですが、画像の「学習」部分の分散時のデータの動きのイメージがつきません。
http://www.intellilink.co.jp/article/column/bigdata-kk04.html
http://www.intellilink.co.jp/sites/default/files/imported/article/column/bigdatakk-04-03.png

私の中では、「重み」の存在によって分散が出来ない認識となっています。
私の認識でおかしい部分ある。そもそもMLlibで「重み」などは存在していないものなのか。など疑問に感じています。

もし、「重み」が存在しているのであればどのように扱っているのか教えていただきたいです。

初心者のため、見当違いのことを言っているかもしれません。
申し訳ございませんがよろしくお願い致します。

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。