Rubyでseleniumを使って自前のクローラを作成しました。
30分毎にとあるWebサイトから情報を集め続けるクローラです。
クローリング自体は上手く行っていますが、当たり前ではありますが、PCの電源をOFFにしている間はクローリングできません。
しかしPCの電源を24時間ONにし続けるということはしたくありません。
このクローラを24時間稼働し続けたいのですが、何かいい方法はありますでしょうか。
できれば無料でできる方法があれば嬉しいです。
スタック・オーバーフローはプログラマーとプログラミングに熱心な人のためのQ&Aサイトです。すぐ登録できます。
登録してこのコミュニティに参加するRubyでseleniumを使って自前のクローラを作成しました。
30分毎にとあるWebサイトから情報を集め続けるクローラです。
クローリング自体は上手く行っていますが、当たり前ではありますが、PCの電源をOFFにしている間はクローリングできません。
しかしPCの電源を24時間ONにし続けるということはしたくありません。
このクローラを24時間稼働し続けたいのですが、何かいい方法はありますでしょうか。
できれば無料でできる方法があれば嬉しいです。
Amazon EC2やさくらVPSなどのサーバー上でクローラを実行するのが良いと思います。
無料であればHerokuが良いと思いますが、無料でHerokuを利用する場合、1日中サーバを起動しておくのはできなかったように記憶しています。
自動実行についてはcronを使用すればサーバー上で30分毎にクローラを自動実行できます。
私の場合、Twitter botをさくらVPSとcronで毎分実行しています。
https://github.com/tackeyy/sanfre_twitter_bot