回答として製品やツールを列挙して欲しいという趣旨であれば、いくらでも回答が考えられるので好ましくないタイプの質問いくらでも回答が考えられるので好ましくないタイプの質問です。
ジョブ管理システムやバッチ管理システムなどと言われる商用製品、オープンソース製品は多数ありますし、Job queueを実装するライブラリは最近の言語にはたいていあるはずです。アドホックなスクリプトでもそれなりに対応できるでしょう。
選択肢はいろいろあるので、上に書いたようなキーワードで検索してみてください。
ツールを使おうとしているとか自分でスクリプトを作ろうとしていてその段階で具体的に困っているのであれば、その点を明確にして質問すれば回答が得られるかもしれません。
全く実現方法がわからない、方法すら思い浮かばない、ということであれば、そういう製品を持っていたりオープンソースプロダクトを利用したソリューションを提供しているSIerに相談されることをおすすめします。
コメントでサービス監視ということがわかったのでそれに沿って追記します。
サービス監視であれば、NagiosとかZABBIXとか商用のシステム監視製品やサービスを使うのがまず第一選択でしょうが、1億件でしかも対象を動的に取得しないといけないとなると対応してる製品はまずありません。ので自作するしかありません。
件数を無視して考えれば、
- masterサーバがAPIから対象URLを取得しjob queueを登録
- workerはqueueからjobを取得し処理し結果を登録
- masterが結果を集計
というjob queueライブラリの練習課題みたいな話です。
しかしこれが1億件ともなると、
- 1URL30byteとして3GBになりjobを作るだけでも時間がかかるので、masterの分散も必要(データを分割して取得-jobを登録するworker-実際に処理をするworkerの3層)
- 5分で処理するとなると33万件/秒の処理が必要。楽観的に見込んで100件/秒/workerとしても3000worker必要
- 1URL1jobとすると1億jobできる。複数URLまとめると今度は1jobのサイズが大きくなる。どちらにしても、実際にqueueとなるDB等のパフォーマンスも検討する必要がある
- 1URLあたり5KBのデータを取得するとして13Gbpsのスループットが必要
とかなりハードルが高くなります。対象が死んでいるとか応答が遅いとかいうことも現実には当然あるでしょうから、それを考えると1/10でもまだなかなか大変です。
なんにせよ、ネットワーク含めたシステム全体を検討する必要があり、技術的にも費用的にもアドホックなスケールアウトでは絶対に無理な規模です。監視対象がコントロール下にあるのであれば、そちらも検討し直した方が良いでしょう。