5

【追記】
コメントをいただき、以下の方法で指定期間内(例は10分前~現在)のログを抽出することはできました。
しかし、これでは月をまたいだ抽出ができません。
度々失礼して申し訳ないですが、他の手法をご存知の方がいらっしゃいましたらご教授お願いします。

#!/bin/bash

nowtime=`date +'%b %d %H:%M:%S'`
agotime=`date -d '10 minutes ago' +'%b %d %H:%M:%S'`

cat /var/log/maillog |awk -F - -v nowtime="$nowtime" -v agotime="$agotime" 'agotime < $1 && $1 <= nowtime'

お世話になります。
OS:CentOS 6.9
メールログを定期的に抽出したいと思っています。
例えば8月23日12:00~12:10のメールログを抽出したい場合、以下のコマンドで抽出できました。

cat /var/log/maillog |awk -F - '"Aug 23 12:00:00" < $1 && $1 <= "Aug 23 12:10:00"'

しかし、以下のように変数に代入し、実行してもメールログを抽出することができませんでした(エラーも出ません)

#!/bin/bash

nowtime="Aug 23 12:10:00"
agotime="Aug 23 12:00:00"

cat /var/log/maillog |awk -F - '"$agotime" < $1 && $1 <= "$nowtime"'

以下のようにシングルクォートとダブルクォートを変更してみたり色々と試してはみましたが、エラーになるなどして全てダメでした。

cat /var/log/maillog |awk -F - "'$agotime' < $1 && $1 <= '$nowtime'"

最終的には以下のように常に最新の日時を取得し、crontabで数分おきに実行したいと考えております。

nowtime=`date +'%b %d %H:%M:%S'`
agotime=`date -d '10 minutes ago' +'%b %d %H:%M:%S'`

純粋に10分単位のログを抽出するのであれば以下のようにすれば抽出することはできました

#!/bin/bash

agotime10=`date -d '10 minutes ago' +'%b %d %H:'`
minedigit10=`date -d '10 minutes ago' | awk -v FS='' '{print $15}'`

cat /var/log/maillog |grep "${agotime10}${minedigit10}[0-9]"

しかし、ちょうど10分単位の繰り返しとは限らない場合もあったり、その他諸事情も重なり、日時を指定する形の時間範囲で抽出したいと考えております。
上記以外の方法でも、特定の時間~現在の時間(特定の時間以降)のログを抽出できる方法があればご教示いただければと思います。
尚、これらが整えば更にgrepなどで最小限のログを抽出してファイルに出力する予定なので、例としてcatを使っています。

以上、よろしくお願いします。

9
  • awk の -v オプションで変数定義(-v nowtime="$nowtime" など)をしておくと、スクリプト内で nowtime という変数を使うことができます。
    – user39889
    Commented 2017年8月23日 13:17
  • 編集およびコメントをいただきまして、ありがとうございました。「awk の -v オプションで変数定義」とのことで色々とググりながら試してみたのですが、いまいち上手くいきませんでした。大変お手数ですが、具体的にどのような記述になるのか教えていただけると助かります。何卒よろしくお願いします。 Commented 2017年8月23日 14:05
  • 1
    @metropolis コメント欄に回答を書かないでください。回答は回答として投稿してください
    – suzukis
    Commented 2017年8月24日 0:28
  • 1
    @metropolis 具体的な回答ありがとうございました。実際にスクリプトを実行したところ理想通りの動きを確認できました。フィールドセパレータ(FS)の件ですが、仰る通りAWSを利用しています。まだ最近始めたばかりで、AWS特有の記述だということすら分かっていませんでした。月またぎに関してもまた対策を考えてみたいと思います。 また、このサイトを使うのも初めてでルールなど理解していない部分もあるのですが、他の方からご指摘がありましたので、お手数でなければ回答として投稿していただけると幸いです。よろしくお願いします。 Commented 2017年8月24日 1:59
  • 1
    実のところ、私がコメントに書いた awk のスクリプトは回答になっていないのです。「月またぎ」の部分もそうですが、この方法で時刻の比較をするのはあまりよろしくないのでは?と思っています。
    – user39889
    Commented 2017年8月24日 2:45

2 件の回答 2

3

月をまたいで抽出できないのは、月の名前が単純にソートできないためです。
月の名前でソートできないなら、ソートできる文字列(数値など)を先頭に足しましょう。

たとえば、月の文字列を 0.01Jan, 0.02Feb, ... , 0.12Dec と選べば順に並べることができます。

date コマンドでは 0.%m という書式で、
awk では index("..JanFebMarAprMayJunJulAugSepOctNovDec", substr($1, 1, 3))/300 などとすることで
数値を得ることができます。

#!/bin/bash

nowtime=`date +'0.%m%b %d %H:%M:%S'`
agotime=`date -d '10 minutes ago' +'0.%m%b %d %H:%M:%S'`

cat /var/log/maillog |awk -F - -v nowtime="$nowtime" -v agotime="$agotime" '{ CONVFMT="%.2f"; d=sub(/^/, index("..JanFebMarAprMayJunJulAugSepOctNovDec", substr($1, 1, 3))/300) } agotime < $d && $d <= nowtime'

上記のサンプルに入れていませんが、条件に合致した文字列から先頭4文字を避けて切り出してやれば、希望の通りに抽出できると思います。

3
  • 1
    的確なご回答ありがとうございました。ご教授いただいた内容でメールログを抽出することができました。また先頭4文字に関しても、sedコマンドで避けることができました。こちらを参考に年またぎも対応できるように更に改良してみます。 Commented 2017年8月26日 8:15
  • 1
    10月が正常に処理されない不具合(0.10でなく0.1になる)があったので、書式設定を追加しました。
    – rou
    Commented 2017年8月29日 3:07
  • 書式の追加を確認しました。ご丁寧に修正までいただき、ありがとうございます。 Commented 2017年8月29日 7:34
1

時間の比較を行う場合、epochからの秒数を求めるのがいちばんシンプルではないかと思います。
年またぎの処理も比較的容易になります。

#!/bin/bash

nowtime=`date +%s`
agotime=`date -d '10 minutes ago' +%s`
thisyear=`date +%Y`
thismonth=`date +%m`

localstr=`date "+%D %T"`
gmstr=`date "+%D %T" -u`
localtime=`date -d "$localstr" +%s`
gmtime=`date -d "$gmstr" +%s`
timediff=$(($localtime - $gmtime))

cat /var/log/maillog | awk -F - -v nowtime="$nowtime" -v agotime="$agotime" \
    -v thisyear="$thisyear" -v thismonth="$thismonth" \
    -v timediff="$timediff" '{
    m = substr($1, 1, 3)
    mon = (index("JanFebMarAprMayJunJulAugSepOctNovDec", m) + 2) / 3
    year = mon <= thismonth ? thisyear : thisyear - 1
    day = substr($1, 5, 2)
    hh = substr($1, 8, 2)
    mm = substr($1, 11, 2)
    ss = substr($1, 14, 2)

    if (mon < 3) {mon += 12; year--}
    epochtime = (365 * year + int(year / 4) - int(year / 100) + int(year / 400) \
        + int(306 * (mon + 1) / 10) - 428 + day - 719163) * 86400 \
        + (hh * 3600) + (mm * 60) + ss - timediff;
} agotime < epochtime && epochtime <= nowtime'
5
  • 1
    別途ご回答ありがとうございます。試してみたところ処理が終わらず、どんどんCPU使用率が上がっていきました。既に稼動しているサーバーということもあり、処理が終わらないまま強制終了させてしまったので、結果がわかりません。原因は不明ですが、もしそこまで負荷の大きなスクリプトであるなら現状は現実的ではないような気もします。 Commented 2017年9月1日 10:40
  • 1
    失礼しました。スクリプト内で外部コマンド time を呼び出しているところがボトルネックになっているようですので、修正しました。100万行程度のmaillogでパフォーマンスを計測しましたので、今度は大丈夫ではないかと思います。
    – tshiono
    Commented 2017年9月4日 3:29
  • 1
    タイムゾーンが +0900 で決め打ちのため、他のタイムゾーンを適用する場合は後端の - 9 * 3600 も変更することに注意が必要です。
    – rou
    Commented 2017年9月4日 9:37
  • 1
    ご指摘の通りです。マジックナンバーを埋め込むのは気持ちが悪いので、タイムゾーンに依存しないよう修正してみました。
    – tshiono
    Commented 2017年9月6日 3:33
  • 修正ならびにご指定ありがとうございました。おかげさまで理想通りの動きを確認することができました。正直なところ、こちらのソースがどういう意味なのか把握できていない部分もありますが、これからそれらも含めて勉強していきたいと思っております。 Commented 2017年9月6日 12:26

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。