[fluentd] タグが付いた質問
15
質問
1
票
1
回答
1,378
閲覧数
fluentd 運用時のエラー解消法を探しています。
fluentd 運用時のエラー解消法を探しています。
fluentdの設定ファイル /etc/td-agent/td-agent.conf の書き換えと fluentd-cat 実行、ログ確認を繰り返していると、fluentdが停止して systemctl status td-agent.service で確認すると以下のようなエラーが確認できます。
td-agent.service - td-...
0
票
1
回答
435
閲覧数
fluentd バージョンアップでプラグインが使用している Fluent::S3Output が認識されなくなった
fluentd によって API サーバーのログを AWS S3 に送信しているシステムで
td-agent 0.12.40 から 1.6.3 にバージョンアップしようと思っています
本体のバージョンアップ自体はおわったのですが
/etc/td-agent/plugin/ にある以下のようなプラグインが
module Fluent
require 'fluent/plugin/out_s3'...
0
票
1
回答
150
閲覧数
awk/sed/grepとruby(fluentd)における正規表現「.*」の扱い
テキストベースのログ解析(fluentd)をやっており、机上検討にてはgrepで正規表現の検討をしているのですが、
ゆくゆくはfluentd登録をする上で処理方式の違いを確認しておりました。
①の場合は処理A
②の場合は処理B
いずれでもない場合は処理C
※処理Cには文字列が何も含まれないケースも想定されます。
この場合、awkやsedなら「.*」で処理Cを救えると考えているのですが、(...
0
票
2
回答
136
閲覧数
Ruby の Proc.new/lambda 内 で正規表現 $1 参照
Fluentd の filter plugin の中で正規表現を用いた文字列置換を行おうとしています。
Rubyのバージョンは td-agent v3.5.1パッケージに組み込まれている 2.4.9 を利用しています。
def hash(str)
"####{str}###"
end
patterns = [
[Regexp.compile("(hoge)", true), ...
1
票
1
回答
806
閲覧数
fluentd で改行やカンマをエスケープしてCSV出力する方法
各自が好きな内容をはいてるサーバーのデバッグログを
Athena でよめるよう csv にして S3 に保存したいのですが
fluentd で改行やカンマが入ってる文字列を
CSVとして認識できる形に整形する方法はないでしょうか
fluentd にデフォルトで入っている format csv では
エスケープはしてくれないようで改行がそのまま改行として出力されてしまい
...
1
票
1
回答
337
閲覧数
fluentd forest のログ形式
td-agent をいれたのも設定したのも自分ではなくてほとんど分かってないレベルで申し訳ありません
FuelPHP が /var/log/ にはいたログを fluentd で s3 に転送していて
Fuel から fluentd に送ってる部分はおそらくこれで
class Log extends \Fuel\Core\Log
{
public static function _init()...
0
票
1
回答
138
閲覧数
gem update 時に対話入力をスキップする方法
サーバー内の初期設定をレシピ化したいと思っています
その中で fluentd の使うジェムをアップデートするため
/opt/td-agent/embedded/bin/fluent-gem update --no-ri --no-rdoc
を実行した際
rdoc's executable "ri" conflicts with /opt/td-agent/embedded/bin/ri
...
0
票
2
回答
877
閲覧数
正規表現で一致しない単語にマッチさせるには
お世話になります。
正規表現にて一致しない単語にマッチさせる方法について調べているのですが、ご教授お願いします。一致させたいパターンは以下です。
検索文字
"hoge1": "xxxxxxxxxxxxxx","hoge2": "yyyyyyyyyyyyyy","hoge3": "zzzzzzzzzzzzzz"
一致させたい単語
"hoge1": "xxxxxxxxxxxxxx""...
0
票
1
回答
109
閲覧数
fluentd の in_http プラグインで、elasticsearch に bulkAPI で大量のデータ登録を行いたい
fluentd の in_http プラグインを利用して、
json ファイルを送り、elasticsearch に登録したいと考えております。
現状、以下のような json ファイルを扱おうとしています。
{
"user_id" : 0,
"time" : 0,
"data" : [
{
"data0" : 0.0,
...
0
票
1
回答
548
閲覧数
td-agentがamazon linux 2でapacheのログ収集ができない
amazon linux2にtd-agentをインストールして、apacheのログファイルを収集しようとしたところ、permissionの問題でできませんでした。
td-agentのデーモンをinit.dで動かす場合の解決策はみつかるのですが、systemdで動かす場合どの設定ファイルの変更が必要でしょうか?
環境
amazon ...
0
票
1
回答
557
閲覧数
fluentd v0.14でfluent-plugin-datacounterが動かない
いつもお世話になっております。
httpdのアクセスログを、fluentdで件数をカウントしたいと考えております。
fluent-plugin-datacounterで実現できると思ったのですが、
fluentdを起動した時に以下のエラーロクが表示され起動されませんでした。
解決手段が分からなくご教授頂けると幸いです。
エラー内容
2017-02-28 19:27:20 +0900 [...
1
票
2
回答
3,394
閲覧数
EC2にfluentdのプラグインをインストールしたいがエラーがでる
sudo /usr/lib64/fluent/ruby/bin/fluent-gem update
Updating installed gems
Updating io-console
ERROR: Error installing io-console:
io-console requires Ruby version >= 2.0.0.
Updating ...
1
票
0
回答
375
閲覧数
FluentdからAWS Elasticsearchにログ転送できない
Fluentd から AWSのElasticseachにアプリケーションログを転送したいのですが、うまくいきません。
S3とRedshiftには転送できているのですがESにだけ転送できていない(ドキュメントが追加されていない)です。
アプリケーションのログが転送されてくると、Fluentdのログには Connection opened to Elasticsearch cluster ...
1
票
0
回答
267
閲覧数
Railsでfluentdを使ってログをCSV形式にする方法がわかりません。
現状は、Ruby on Railsを使って、アプリケーションを創っております。
そのアプリケーションの機能で、ランキングを作成しようと考えています。
現状は、今後user_id、categoryなどの属性を付ける可能性が高いので拡張性の高いfluentdを入れて、logを出力する所までは出来ている状態です。現状のlogは下記のような状態となっております。
2015-10-28T21:38:...
1
票
0
回答
519
閲覧数
ログ収集でGETのqueryパラメータを取得しjsonにパースする方法がわかりません、、
apacheのアクセスログをfluentdで収集して、s3に保存しRedShiftに蓄積したいのですが、
GETのクエリ文字列部分の取り出し方がわからず苦戦しております。(jsonにパースしたい)
例)
//hogehoge.co.jp/test.php?test_id=111¶m=hoge
apacheのLogFormatで%qを指定し、"?test_id=111&...