[fluentd] タグが付いた質問

タグの使い方はまだ書かれていません。

6 未回答やベストアンサーなし質問
絞り込み
並べ替え
タグ付けされた
1
0 回答
375 閲覧数

FluentdからAWS Elasticsearchにログ転送できない

Fluentd から AWSのElasticseachにアプリケーションログを転送したいのですが、うまくいきません。 S3とRedshiftには転送できているのですがESにだけ転送できていない(ドキュメントが追加されていない)です。 アプリケーションのログが転送されてくると、Fluentdのログには Connection opened to Elasticsearch cluster ...
shuucream2011's user avatar
1
0 回答
267 閲覧数

Railsでfluentdを使ってログをCSV形式にする方法がわかりません。

現状は、Ruby on Railsを使って、アプリケーションを創っております。 そのアプリケーションの機能で、ランキングを作成しようと考えています。 現状は、今後user_id、categoryなどの属性を付ける可能性が高いので拡張性の高いfluentdを入れて、logを出力する所までは出来ている状態です。現状のlogは下記のような状態となっております。 2015-10-28T21:38:...
user2368417's user avatar
1
0 回答
519 閲覧数

ログ収集でGETのqueryパラメータを取得しjsonにパースする方法がわかりません、、

apacheのアクセスログをfluentdで収集して、s3に保存しRedShiftに蓄積したいのですが、 GETのクエリ文字列部分の取り出し方がわからず苦戦しております。(jsonにパースしたい) 例) //hogehoge.co.jp/test.php?test_id=111&param=hoge apacheのLogFormatで%qを指定し、"?test_id=111&...
sakusaku's user avatar
0
1 回答
150 閲覧数

awk/sed/grepとruby(fluentd)における正規表現「.*」の扱い

テキストベースのログ解析(fluentd)をやっており、机上検討にてはgrepで正規表現の検討をしているのですが、 ゆくゆくはfluentd登録をする上で処理方式の違いを確認しておりました。 ①の場合は処理A ②の場合は処理B いずれでもない場合は処理C ※処理Cには文字列が何も含まれないケースも想定されます。 この場合、awkやsedなら「.*」で処理Cを救えると考えているのですが、(...
harinezumi's user avatar
0
1 回答
435 閲覧数

fluentd バージョンアップでプラグインが使用している Fluent::S3Output が認識されなくなった

fluentd によって API サーバーのログを AWS S3 に送信しているシステムで td-agent 0.12.40 から 1.6.3 にバージョンアップしようと思っています 本体のバージョンアップ自体はおわったのですが /etc/td-agent/plugin/ にある以下のようなプラグインが module Fluent require 'fluent/plugin/out_s3'...
user avatar
0
1 回答
109 閲覧数

fluentd の in_http プラグインで、elasticsearch に bulkAPI で大量のデータ登録を行いたい

fluentd の in_http プラグインを利用して、 json ファイルを送り、elasticsearch に登録したいと考えております。 現状、以下のような json ファイルを扱おうとしています。 { "user_id" : 0, "time" : 0, "data" : [ { "data0" : 0.0, ...
ate's user avatar
  • 1