4

ログ分析を行うのにApache Sparkを検討しています。しかし、本当にSparkを使うことが他の手段よりも効果的なのかの判断がなかなか難しく悩んでいます。

このサイトでは、1ノードに収まるディスクで対応できるならHadoopなどを使う必要はないという主張がされています。
https://www.chrisstucchio.com/blog/2013/hadoop_hatred.html

現在ではSparkなどの高速なHadoop技術も成長しているので、この記事が書かれたころとは状況は変わっていると思います。
それでもこのサイトが主張するように1つのノードに収まるデータ量であれば集計はMySQLやC/C++などを選択すべきでしょうか。

明確な答えでなくてもかまわないので、自分なりの指標などを持っている方がいらっしゃいましたらお教えいただきたく思います。

お願い致します。

追記

質問のデータ量という話からはちょっとズレますが、MySQLで1億レコードのベンチを取ってみました。
http://qiita.com/devneko/items/56c391e75537db07a515
1億レコードともなると簡単な処理でも1クエリ1分以上はかかりそうです。
マシンの性能アップやチューニングで改善すると思いますが、10億レコードくらいになってくると
さすがにMySQLなどで集計するのは辛くなるのではないでしょうか。
ちなみに1億レコードの元データはSQLのプレーンテキストで約10GBほどなので、データ量の話しに直すと10億レコードは100GBほどということになります。
CPUの使用率があがってないので、C/C++などでマルチスレッドで処理した場合はもっと性能が出そうです。

2 件の回答 2

1

想定している処理の並列度および要件(応答時間),データの性質などに深く依存します.よって,「データ量が1台に収まる」という条件のみでは決定が難しいです.性能要件,データの流量および増加量,用意できる計算機などから逆算すると良いでしょう.

以下のスライドの4ページ目から13ページ目が参考になるかと思いますので,参照してみてください.
http://seminar-materials.iijlab.net/iijlab-seminar/iijlab-seminar-20150326.pdf

1
  • 実験にてCPU使用率が上がっていないとのことですが,IO帯域が飽和しているか,ランダムアクセスにより大量のiowait が発生している可能性があります.dstat コマンドなどを利用し,リソースの利用率を可視化してみると良いでしょう. もし,iowait が常に大きな値を示しているとすると,ディスクの使い方がまずいです. なお,c4.2xlargeを利用しているとのことですが,c4インスタンスにはインスタンスストアがないため,IOのたびに分散ブロックデバイスであるEBSへのIOが発生しています.結果として,IOの遅延が想定よりもかかっていることが想定されます.DBのインスタンスはインスタンスストアのあるc3やその他のインスタンスで動作させるのが好ましいでしょう. aws.amazon.com/jp/ec2/instance-types Commented 2015年11月5日 5:49
1

あえてデータ量のみを条件にした一般論で話をすれば1ノードで処理できるデータ量なら余計なフレームワークはオーバーヘッドにしかならないので不適、という当たり前すぎてたいした意味の無い結論にしかならないでしょう。

実際にはデータ量というのは要素の一つでしかなく、データの中身、処理の内容、更新や分析の頻度、用意できるリソース、その他諸々いろいろな条件が選択に大きな影響を与えるようなことなので、それが明らかにならない限り誰にも答えられないタイプの質問です。

何らかの理由で明確な判断やその根拠を求められているのであれば、実際のデータ(の一部)と処理でベンチマークを取るべきです。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。