とあるサイトのアクセスログ調査のため、シェルスクリプトでログファイルを整形して別なファイルへ保存するとします。Macのターミナル(zsh)から処理を行います。
% zsh --version
zsh 5.9 (x86_64-apple-darwin22.0)
読み込み用ファイルは複数あり、「input」というディレクトリにたくさんのログファイルがあります。
ログファイルのファイル名は「20240101.log.1234567890」のような形式です。
整形したログは「output」というディレクトリに「20240101.log.1234567890_output」のように、${元のファイル名}_outputのような形式で保存をしようと思います。
また、処理の進行状況をターミナルの画面に表示するとともに、別な進行状況保存用ファイル(memo.txt)へ追記していきます。
before
log/
├ input/
│ └ 20240101.log.1234567890
│ └ 20240101.log.1234567891
│ └ 20240101.log.1234567892
│ └ 20240102.log.1234567890
│ └ 20240102.log.1234567891
│ └ 20240103.log.1234567890 ...
└ script.sh
after
log/
├ input/
│ └ 20240101.log.1234567890
│ └ 20240101.log.1234567891
│ └ 20240101.log.1234567892
│ └ 20240102.log.1234567890
│ └ 20240102.log.1234567891
│ └ 20240103.log.1234567890 ...
└ memo.txt
├ output/
│ └ 20240101.log.1234567890_output ...
└ script.sh
ログ整形の内容は以下の通りです。
- 複数の検索文字列を用意 ・それぞれの検索文字および条件に合致する行のみを整形して保存用ファイルへ出力。
- 読み込み用ログファイルを1行ずつ読み込み、例えば、行の先頭が「2024-01-01」だったら、行の先頭が「'a_id'」だったら、のような条件で検索を行う。
- 「2024-01-01」や「'a_id'」などの検索文字列は変数(配列)で指定。
- 出力時の体裁は「L1: 123 2024-01-01.logxxxx」「L2: 456 'a_id'=>'12345'」のように、Li: NR $0 の体裁にする。
- i は検索文字列の配列番号、NR は読み込み用ファイルにおける行数、$0 は行全体を指す。
- 読み込み行の先頭に半角スペースなどの空白文字があるかもしれないので、それは除外して検索および出力。
- 処理効率化のためawkを使用。
- 空行はそのまま保存用ファイルに追記。
- 処理対象のファイルを変数で定義。
- 例えば20240101〜20241231までのログファイルがある際に、20240101だけを対象としたりする。
サンプルスクリプトは以下です。
#!/bin/sh
# ディレクトリ名を変数で定義
input_dir="input"
output_dir="output"
# 保存用ファイル名を定義
memo="memo.txt"
# 検索文字列を配列で指定
search_strings=(
"2024-01-01"
"'a_id'"
"'b_id'"
"'Reverse Body' => '"
)
# 処理対象のファイル名の先頭部分を指定
target_prefix="20240101"
# スクリプト実行開始時刻を計測
start_time=$(date +%s)
# 実行開始時刻を日本語で画面表示して保存用ファイルへ追記
echo "スクリプト実行開始: $(date +"%Y-%m-%d %H:%M:%S")" | tee -a $memo
# outputディレクトリが存在しない場合は作成
mkdir -p "$output_dir"
# input_filesディレクトリ内の各ファイルを処理
for file in "$input_dir"/"$target_prefix"*; do
# ファイルごとのスクリプト実行開始時刻を計測
local_start_time=$(date +%s)
# 出力ファイル名を設定
output_file="$output_dir/$(basename "${file}")_output"
# 現在読み込み中のファイル名を画面表示して保存用ファイルへ追記
echo "" | tee -a $memo
echo "処理中のファイル: $file" | tee -a $output_file $memo
# 検索文字列をカンマ区切りの文字列に変換してawkに渡す
awk -v out="$output_file" '
BEGIN {
# 検索文字列を配列として定義
split(ARGV[1], search_strs, ",")
# ARGVの調整
ARGV[1] = ""
}
{
# 行の先頭にある空白文字を無視するためにtrim
line = $0
sub(/^[ \t]+/, "", line)
# 空行の場合はそのまま保存用ファイルに追記
if (line == "") {
print ""
system("echo \"\" >> " out)
next
}
# 各行をチェックし、検索文字列に一致するか確認
for (i in search_strs) {
pattern = "^" search_strs[i]
if (line ~ pattern) {
# エスケープが必要な文字をエスケープ
gsub(/\\/, "\\\\\\\\", line) # バックスラッシュをエスケープ
gsub(/"/, "\\\"", line) # ダブルクォートをエスケープ
gsub(/>/, "\\>", line) # ">" をエスケープ
gsub(/\$/, "\\$", line) # ドル記号をエスケープ
gsub(/`/, "\\`", line) # バッククォートをエスケープ
gsub(/\*/, "\\*", line) # アスタリスクをエスケープ
gsub(/\?/, "\\?", line) # クエスチョンマークをエスケープ
gsub(/\[/, "\\[", line) # 開きブラケットをエスケープ
gsub(/\]/, "\\]", line) # 閉じブラケットをエスケープ
gsub(/\{/, "\\{", line) # 開き中括弧をエスケープ
gsub(/\}/, "\\}", line) # 閉じ中括弧をエスケープ
gsub(/\|/, "\\|", line) # パイプをエスケープ
gsub(/\&/, "\\&", line) # アンパサンドをエスケープ
gsub(/;/, "\\;", line) # セミコロンをエスケープ
gsub(/~/, "\\~", line) # チルダをエスケープ
gsub(/\^/, "\\^", line) # キャレットをエスケープ
gsub(/\(/, "\\(", line) # 開きカッコをエスケープ
gsub(/\)/, "\\)", line) # 閉じカッコをエスケープ
gsub(/ /, "\\ ", line) # スペースをエスケープ
gsub(/\t/, "\\\t", line) # タブをエスケープ
label = "L" i ": " NR $0
print label
system("echo \"" label "\" >> " out)
}
}
}' "$(IFS=,; echo "${search_strings[*]}")" "$file"
# ファイルごとのスクリプト実行終了時刻を計測
local_end_time=$(date +%s)
# 実行時間を計算
local_execution_time=$((local_end_time - local_start_time))
# 実行終了時刻と実行時間を日本語で画面表示して保存用ファイルへ追記
echo "ファイルごとのスクリプト実行終了: $(date +"%Y-%m-%d %H:%M:%S")" | tee -a $memo
echo "ファイルごとの実行時間: $local_execution_time 秒" | tee -a $memo
done
# スクリプト実行終了時刻を計測
end_time=$(date +%s)
# 実行時間を計算
execution_time=$((end_time - start_time))
# 実行終了時刻と実行時間を日本語で画面表示して保存用ファイルへ追記
echo "" | tee -a $memo
echo "=====" | tee -a $memo
echo "" | tee -a $memo
echo "すべてのスクリプト実行終了: $(date +"%Y-%m-%d %H:%M:%S")" | tee -a $memo
echo "実行時間合計: $execution_time 秒" | tee -a $memo
一応動くものができているものの、この中で特に見ていただきたいのがawkの中で、保存用ファイルへ出力する際に色々な問題が起こっています。
例えば、「>」という文字がログの中に出てくるとリダイレクトとみなされるためか意図しないファイルが作成されてしまったり、元のログファイルには存在したはずの「"」の文字だけ抜け落ちて行全体を追記できていないことなどがあります。
after(fault)
log/
├ \\n # 意図しないファイル
├ \\r\\n # 意図しないファイル
├ \\u64ae\\u3058\\u3081\\r\\n # 意図しないファイル
├ \\u307e\\u305f\\u308c\\u306f\\u3066\\r\\n # 意図しないファイル
├ input/
│ └ 20240101.log.1234567890
│ └ 20240101.log.1234567891
│ └ 20240101.log.1234567892
│ └ 20240102.log.1234567890
│ └ 20240102.log.1234567891
│ └ 20240103.log.1234567890 ...
└ memo.txt
├ output/
│ └ 20240101.log.1234567890_output ...
└ script.sh
これは文字のエスケープに失敗しているということでしょうか?
シェルスクリプトを書くのは初めてなため拙い部分も多いかと思いますが、正しくはどう書けば良いか、ご教示いただけますと大変助かります。