0

Rubyでseleniumを使って自前のクローラを作成しました。
30分毎にとあるWebサイトから情報を集め続けるクローラです。

クローリング自体は上手く行っていますが、当たり前ではありますが、PCの電源をOFFにしている間はクローリングできません。
しかしPCの電源を24時間ONにし続けるということはしたくありません。

このクローラを24時間稼働し続けたいのですが、何かいい方法はありますでしょうか。
できれば無料でできる方法があれば嬉しいです。

3
  • ご回答ありがとうございます!早速試してみたいと思います。
    – tosshi
    2017年5月12日 15:24
  • 未解決の質問になり続けてしまいますので、もし以下の回答で解決していれば回答の承認をお願いします。 ja.stackoverflow.com/help/someone-answers
    – tackeyy
    2017年5月16日 5:31
  • 大変失礼いたしました。回答の承認をさせて頂きました。また機会がありましたらよろしくお願いいたします。
    – tosshi
    2017年5月17日 16:54

1 件の回答 1

2

Amazon EC2やさくらVPSなどのサーバー上でクローラを実行するのが良いと思います。
無料であればHerokuが良いと思いますが、無料でHerokuを利用する場合、1日中サーバを起動しておくのはできなかったように記憶しています。

自動実行についてはcronを使用すればサーバー上で30分毎にクローラを自動実行できます。
私の場合、Twitter botをさくらVPSとcronで毎分実行しています。
https://github.com/tackeyy/sanfre_twitter_bot

1
  • GCPのf1-microが1つなら無料で使えるのでこちらもオススメです。
    – spitson
    2017年5月11日 6:16

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。