次の項目のタイムライン: 巨大なデータを扱う定期実行処理を、データ量に応じてスケールアウトさせたい
現在のライセンス: CC BY-SA 3.0
11 件のイベント
日時 書式を切り替える | 内容 | ユーザー | ライセンス | コメント | |
---|---|---|---|---|---|
2015年11月25日 19:09 | 回答 | 追加済み | Kenji Noguchi | タイムライン スコア: 0 | |
2015年11月25日 14:18 | コメント | 追加済み | user13390 | @Fumu7 システム構成は次の通りです。(1) URL情報を提供するWebAPIサーバ (2) 定期的にWebAPIサーバからデータを取得し、ジョブ登録までを行うバッチ?サーバ (3) ジョブを処理するワーカーサーバ 今回の質問の対象は(2)のバッチサーバで、増え続けるURLデータに対してどうスケールアウトさせていくべきかと悩んでいた次第です。 | |
2015年11月25日 14:13 | コメント | 追加済み | user13390 | @KenjiNoguchi 言葉足らずで申し訳ありません。クローラではなく、Webサービスが正常に動いているかどうかをチェックする監視スクリプトを作りたいと思っていました。具体的には、指定されたURLに対してリクエストをし、そのステータスコードをログとして出力するスクリプトです。 「巨大なデータ」のような主観的な表現もよくなかったと反省していますが、例えばこのURL情報が1000万件や1億件あるとしたらどうでしょうか?比較的頻繁にリクエストするので、バッチスクリプト1プロセスではさばけなくなると思い、破綻するのではないかと考えました。 | |
2015年11月25日 3:02 | 回答 | 追加済み | suzukis | タイムライン スコア: 1 | |
2015年11月25日 1:14 | コメント | 追加済み | Fumu 7 | まずシステム構成を明確にしてください。(1)WebAPIを持つデータを供給するサーバ[A]、(2)定期的に実行されるスクリプトでサーバ[A}からデータを取得し処理するサーバ[B]、(3)サーバ[B]からサービスを受けるクライアント[C]が少なくとも存在していると思われますが、如何でしょうか? | |
2015年11月25日 0:40 | コメント | 追加済み | Kenji Noguchi | クローラーを作りたいということですね?URLがデータなら全然巨大じゃないし、現状の設計でいいと思います。ワーカーサーバーを増やせばかなりスケールアウトするはず。なぜ破綻する気がするのでしょうか? | |
2015年11月25日 0:24 | 履歴 | 編集日時 | user13390 | CC BY-SA 3.0 |
頂いた指摘事項に関して追記
|
2015年11月24日 15:34 | コメント | 追加済み | Kenji Noguchi | ビッグデータ(Kafka, Spark, Hadoopなどの一連のデータパイプライン)とか、単純にタスクキューとか、やり方はいくつもあります。入力と出力のデータ形式、データ量、途中でどんな計算をするのかを示してください。 | |
2015年11月24日 15:16 | コメント | 追加済み | Yuki Inoue | 実行する定期実行の処理が、スケールアウトできるものであることが前提であるように思われます。その定期実行で何をやりたいかが定義されないと、回答を行うのは難しいのではないか、と感じました。 | |
2015年11月24日 14:33 | レビュー | 初めての投稿 | |||
2015年11月24日 15:16 | |||||
2015年11月24日 14:23 | 履歴 | 質問を投稿 | user13390 | CC BY-SA 3.0 |