1

各自が好きな内容をはいてるサーバーのデバッグログを
Athena でよめるよう csv にして S3 に保存したいのですが
fluentd で改行やカンマが入ってる文字列を
CSVとして認識できる形に整形する方法はないでしょうか

fluentd にデフォルトで入っている format csv では
エスケープはしてくれないようで改行がそのまま改行として出力されてしまい
CSVとして読み込めないファイルになってしまいます

https://docs.fluentd.org/v/0.12/developer/plugin-development
をみながら

/etc/fluentd/plugin/api_log.rb

module Fluent
  require 'fluent/plugin/formatter_csv'

  module TextFormatter
    class ApiLogCsvFormatter < CsvFormatter

      Plugin.register_formatter("api_log", self)

      def configure(conf)
        super
      end

      def format(tag, time, record)
        record['text'] = record['text'].inspect
        super
      end
    end
  end
end

と format だけオーバーライドして中身をエスケープするように変更してみたのですが
<match api.**> の中に

  <case api.*.api>
    format api_log
    fields time,level,text
  </case>

という設定を追加しても

2019-09-05 03:31:05 +0000 [error]: #0 [match_api] failed to configure sub output s3: Unknown formatter plugin 'api_log'. Run 'gem search -rd fluent-pl
ugin' to find plugins

というエラーになります

カスタム formatter を認識させるにはどうすればいいでしょうか

そもそもカスタムしなくてもデフォルトの機能で実現する方法はないでしょうか

fluentd は 0.12.40 です

2
  • プラグイン毎の役割についての認識が合っていない様な気がします。「改行やカンマが入ってる文字列を1つのフィールドとして扱う」のがまずInputプラグインで、「CSVとして出力」するのがOutputプラグイン、ではないでしょうか。 / 「各自が好きなようにログを出力している=フォーマットがまちまち」であるなら、それぞれに対応するInputプラグインが複数必要となるのでしょう。 / CSVでのInput, Outputは標準プラグインに存在するようです。 formatter_csv.rb, parser_csv.rb
    – cubick
    2019年9月5日 7:29
  • サーバーからハンドラー経由でログがとんでくるので<source>の記述はなく<match>の時点で「改行やカンマが入ってる文字列を1つのフィールドとして扱う」というのはすでにできています。formatをデフォルトのCSVにすると改行された文字列がそのままs3ファイルになってしまうのでformatをカスタムすればいいかと思ったんですが、outputプラグインごとカスタムする必要があるということでしょうか
    – user35303
    2019年9月6日 17:24

1 件の回答 1

1

ファイル名を /etc/fluentd/plugin/api_log.rb から /etc/fluentd/plugin/formatter_api_log.rb に変更してみてください。

1
  • ファイル名を決まった形でつけなければいけないのですね… ``` <filter api.*> @type record_transformer enable_ruby <record> text ${record['text'].inspect} </record> </filter> ``` というので同じことができたのでプラグイン自体消してしまってもう試せないんですが 今度プラグインを作る機会があれば覚えておきたいと思います
    – user35303
    2019年9月11日 4:46

この質問に回答するには、ログインする必要があります。