[fluentd] タグが付いた質問
6
未回答やベストアンサーなし質問
1
票
0
回答
373
閲覧数
FluentdからAWS Elasticsearchにログ転送できない
Fluentd から AWSのElasticseachにアプリケーションログを転送したいのですが、うまくいきません。
S3とRedshiftには転送できているのですがESにだけ転送できていない(ドキュメントが追加されていない)です。
アプリケーションのログが転送されてくると、Fluentdのログには Connection opened to Elasticsearch cluster ...
1
票
0
回答
265
閲覧数
Railsでfluentdを使ってログをCSV形式にする方法がわかりません。
現状は、Ruby on Railsを使って、アプリケーションを創っております。
そのアプリケーションの機能で、ランキングを作成しようと考えています。
現状は、今後user_id、categoryなどの属性を付ける可能性が高いので拡張性の高いfluentdを入れて、logを出力する所までは出来ている状態です。現状のlogは下記のような状態となっております。
2015-10-28T21:38:...
1
票
0
回答
503
閲覧数
ログ収集でGETのqueryパラメータを取得しjsonにパースする方法がわかりません、、
apacheのアクセスログをfluentdで収集して、s3に保存しRedShiftに蓄積したいのですが、
GETのクエリ文字列部分の取り出し方がわからず苦戦しております。(jsonにパースしたい)
例)
//hogehoge.co.jp/test.php?test_id=111¶m=hoge
apacheのLogFormatで%qを指定し、"?test_id=111&...
0
票
1
回答
146
閲覧数
awk/sed/grepとruby(fluentd)における正規表現「.*」の扱い
テキストベースのログ解析(fluentd)をやっており、机上検討にてはgrepで正規表現の検討をしているのですが、
ゆくゆくはfluentd登録をする上で処理方式の違いを確認しておりました。
①の場合は処理A
②の場合は処理B
いずれでもない場合は処理C
※処理Cには文字列が何も含まれないケースも想定されます。
この場合、awkやsedなら「.*」で処理Cを救えると考えているのですが、(...
0
票
1
回答
425
閲覧数
fluentd バージョンアップでプラグインが使用している Fluent::S3Output が認識されなくなった
fluentd によって API サーバーのログを AWS S3 に送信しているシステムで
td-agent 0.12.40 から 1.6.3 にバージョンアップしようと思っています
本体のバージョンアップ自体はおわったのですが
/etc/td-agent/plugin/ にある以下のようなプラグインが
module Fluent
require 'fluent/plugin/out_s3'...
0
票
1
回答
109
閲覧数
fluentd の in_http プラグインで、elasticsearch に bulkAPI で大量のデータ登録を行いたい
fluentd の in_http プラグインを利用して、
json ファイルを送り、elasticsearch に登録したいと考えております。
現状、以下のような json ファイルを扱おうとしています。
{
"user_id" : 0,
"time" : 0,
"data" : [
{
"data0" : 0.0,
...