0

Railsでログを出力する方法について知りました。
http://ruby-rails.hatenadiary.com/entry/20150110/1420863998

この出力したログから、必要な情報のみを抽出してDBに保存するバッチ処理を作成したいと思っております。

そこで質問です。

1) そもそもそういったことがかのうでしょうか?

2) 可能な場合、どのようにログ・ファイルから必要な情報を抽出できるのでしょうか?

3) もしできない場合、一般的にこういうケースはどのように実装しているのでしょうか?

人手でやるのであれば、
ログ・ファイルから必要な情報を抜き出し、コンソール上で保存をするという流れになりますが、
それを自動化したいです。

また、近しい内容でいうと次のようなものになるかと思います。
アクセス数をもとに人気の記事を取得するには

fluentdやmongodbというのも検討したいのですが、今回はこれらを使わず、mysqlとrailsで運用して、
運用が安定してからfluentdとかに移行していきたいと考えております。

よろしくお願いします。

追記

必要な情報のみを抽出するところ

こういうハッシュをログとして出力しているので、それを取得してPostモデルに保存するということをしたいです。
{post_id: 1, name: “hoge”, category_id: 1}

リアルタイムにDBに保存するのではなく、
バッチ処理として、まとめてDBに保存するといったことをやりたいです。

3
  • ”必要な情報”というのが何を指すのかを書いていただくと回答がつきやすいかもしれません。特定のページに対するアクセス数でよいのでしょうか?
    – ironsand
    2016年5月30日 19:44
  • 説明不足で申し訳ありません。本文下部に追記しましたのでご確認頂けますと幸いです。
    – zyosh
    2016年5月31日 2:49
  • 1
    バッチ処理はどういうタイミングで動くのでしょうか。あとOS環境は何ですか?
    – take88
    2016年6月7日 3:19

1 件の回答 1

1

もし私なら、タスクに書いて cron で回すと思います。
参考サイトのとおりに、development_special.log に出力されているとして、こんな感じでしょうか。

namespace :batch do
  task log_to_db: :environment do
    open(Rails.root.join("log/development_special.log")) do |file|
      Post.transaction do
        file.readlines.map do |line|
          Post.create(JSON.parse(line))
        end
      end
    end
  end
end

毎朝5時にバッチを回すなら、こんな感じ。

0 5 * * * /bin/bash -l -c 'cd /your_rails_path && RAILS_ENV=hoge bundle exec rake batch:log_to_db'

ところがこれをそのままやると、期待通りには動かないはずです。
1日ごとのローテーションなら、開くログの名前が変わりますし、
ログローテーションしないなら、前回までに登録したものを無視する必要があります。

それらも考慮に入れるには、情報が足りません。
こうゆうことができるのだ、というイメージだけでも伝われば、と思います。

1) そもそもそういったことがかのうでしょうか?
2) 可能な場合、どのようにログ・ファイルから必要な情報を抽出できるのでしょうか?

可能です。
タスクや、rails scriptは、rails の世界にアクセスできるので、その中でファイルを開いて、DBに格納できます。

より詳しく知りたいのであれば、take88 さんの質問に回答してみてください。
これは、非常に優れた質問です。

バッチ処理はどういうタイミングで動くのでしょうか。あとOS環境は何ですか?

こちらに回答すると、より適切な回答が得られると思います。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。