Skip to main content

[awk] タグが付いた質問

AWKはテキスト処理の為に設計されたプログラミング言語、ないしその処理系プログラムのこと。

絞り込み
並べ替え
タグ付けされた
0
1 回答
131 閲覧数

シェルスクリプトによるログファイルの整形時、awk内で行全体の保存に失敗してしまう。

とあるサイトのアクセスログ調査のため、シェルスクリプトでログファイルを整形して別なファイルへ保存するとします。Macのターミナル(zsh)から処理を行います。 % zsh --version zsh 5.9 (x86_64-apple-darwin22.0) 読み込み用ファイルは複数あり、「input」というディレクトリにたくさんのログファイルがあります。 ログファイルのファイル名は「...
0
1 回答
259 閲覧数

AWKの one-linerでファイル比較し、一致しないレコードを抽出したいですが、うまく行かないことがあります。

■実行コマンド awk -F, 'NR==FNR{minus[$1]++; next;} !minus[$1]' file2 file1 ■file2の内容 c d e ■file1の内容 a,あ,い,う,え,お b,あ,い,う,え,お c,あ,い,う,え,お d,あ,い,う,え,お e,あ,い,う,え,お f,あ,い,う,え,お g,あ,い,う,え,お h,あ,い,う,え,お ■期待結果 a,あ,...
1
2 回答
157 閲覧数

awkの効率的プログラム

Windows10のコマンドプロンプトでgawk5を使っています。 ファイルが ss1.txt から ss10.txt の10個あり、対応するawkプログラムも fff1.awk から fff10.awkまで10個あります。 これらをバッチファイルで実行すると10行になります。 gawk -b -f fff1.awk ss1.txt gawk -b -f fff2.awk ss2.txt gawk ...
0
1 回答
164 閲覧数

awkの出力が思うようにいかない

下のコードを実際に動した時に 203100B 203101K . . . となって欲しいのですが全部最後に付く文字が A になってしまいます。 どこがおかしいのか教えていただけますでしょうか。 #!/usr/bin/awk -f BEGIN{ for(i = 0;i <= 40; i++){ zyu[i]=int(i/10) iti[i]=...
1
1 回答
1,256 閲覧数

シェルスクリプトで複数行の文字列を区切り文字ごとに分割して配列に格納する方法

例えば、以下に示すような文字列がある場合、これを -- ごとに分割し、順番に配列に格納したいです。 一行のみならばawkを使えばいいだけですが、複数行で同じことをやろうとしたらIFSを変更するなど試行錯誤してみたもののうまく行きません。 方法をご存知の方がいましたらご教授よろしくおねがいします。 対象の文字列: $ cat hoge.txt あいうえお ああああああ かきくけこ あかさたな -- ...
1
1 回答
990 閲覧数

改行毎にawkで区切り、grepで特定の文字列が入っているレコードを抽出したい

address.txt から改行毎に区切り、4つのレコードとし、そのうち「合格」という文字列が入っているレコードを抽出するにはどうすればよいでしょうか。 以下のコマンドを入力したら全て出力されてしまいます。 cat address.txt | awk 'BEGIN{RS="";FS="\n"} $2=="合格"' address.txt ...
4
5 回答
2万 閲覧数

Bash 複数コマンドの結果を1行で表示したい

お世話になっております。 uname -n ; cat /proc/meminfo | head -1 | awk '{print$2}' server1 1112233 という結果を得ました。 この結果を、 sever1 112233 としたいのですが、何かいい方法はないでしょうか。
0
0 回答
391 閲覧数

正規表現の先読み/後読みで直近の文字列を対象にするようにしたい

実現したいこと 次のようなデーターがあるとします。 foo<ほげほげ>bar<ふがふが> ここから「ほげほげ」の部分だけを抽出したいです。ご存知の方が入ればお手数ですが宜しくおねがいします。 試したこと echo "foo<ほげほげ>bar<ふがふが>" | grep -oP "(?<=foo<).*(?=&...
0
1 回答
171 閲覧数

awkコマンドについて

下記の内容が記されたファイルにて 2 2 2 1 1 1 (この値は変動する)の先頭3つ 2 2 2 について2倍 (計算結果 4 4 4 1 1 1 ) したい。どう表現すれば良いでしょうか? &electrons / K_POINTS {automatic} 2 2 2 1 1 1 CELL_PARAMETERS {angstrom} 4.255648834196731 -2....
1
2 回答
322 閲覧数

Excel VBA の1回の実行で、通過した通過しなかったfunction、subを分類する方法を教えて下さい

全てのfunction, subに一行ずつ debug.print”function1通過” と書く方法しかありませんか? 書くとしたら、正規表現置き換えの方法で、対応可能ですか? 全エクスポートで、エディタの正規表現置換後、全インポートを予定しています。 例) 全てのfunction, sub2行目に debug.print "なまえ通過” を挿入する方法がありますか? 他言語でも、...
1
3 回答
2,748 閲覧数

awk等で、あるフィールド以降のすべてのフィールドを表示させたい

あるDIRに複数の「空白を含むファイル名(PDF名など)」が存在し、日付やWORDを含むファイル名で検索し、のちに結果を表示したいときがあります。 ls -la -rw-rw-rw- 1 admin administrator 11794593 9月 3 2014 Cambridge University Press Programming in Mathematica An ...
4
2 回答
172 閲覧数

awk で斜めだけを取得するには?

1 2 3 4 5 6 7 8 9 というデータ(aa.txtとします)があった時、 awkだけを使うという制約のもと、 斜めに1,5,9(または3,5,7)を取得するにはどうすればいいでしょうか? 私は awk 'NR==i{print $i}' aa.txt をループすればできると思ったのですが、うまくできませんでした
1
3 回答
308 閲覧数

階層構造の文字列を抽出する方法について

以下のようなテキストファイルを、シェルスクリプトにてCSVファイル形式に加工したいと考えています。 Linux上で加工出来れば、手法については拘りはありません。 実現方法が思いつかない為、アドバイス等を頂けると助かります。 ・テキストファイル ltm virtual /Common/vip-A { destination /Common/192.168.1.1:80 ip-...
2
2 回答
1,187 閲覧数

awk で、ヘッダ付き csv から、 ヘッダでカラムたちを抜き出すには?

以下のような、ヘッダ付き csv から、ヘッダを複数個、指定して、その列のみを出力したいと考えました。また、これを実現するにあたり、どこにでもある awk で実装したいと考えました。 csv 例: NAME,AGE,GENDER Jack,30,Male Joe,25,Male Mary,23,Female 実装したい関数の例: cat the_csv | extract_columns ...
0
1 回答
785 閲覧数

awk パターンを変数で動的に設定できるのか

単純な変数展開ではなく echo -e 1 2 3\\n4 5 6\\n7 8 9 | awk $1==1,$2==2,$3==3" とすると、当然1行目の1 2 3が取得できますが ここでパターンを変数をつかったらときどうやって取得できるでしょうか? 具体的に 変数aa="\$1==1,\$2==2,\$3==3" 注意点としては$nや 等号 も変数に含めます。 awk 'eval aa'...
1
1 回答
3,754 閲覧数

awk コマンドによる列の並び替えでCRLF改行コードの扱いについて

はじめまして。 目的: 改行コードCRLFのcsv ファイルで列の並びを変更したい 手段: awk コマンドによって指定 例: $ cat sample.csv 1,2,3 4,5,6 $ cat sample.csv | awk 'BEGIN{FS=",";OFS=","} {print $3,$2}' > out.csv 3,2 6,5 このとき、列の順番は期待通りの結果なのですが、...
2
1 回答
694 閲覧数

awkで正規表現のキャプチャの利用方法

ファル名 keisan.csv 2018年月21日,abc,\387 2018年6月23日,abc,"\1,418" 2018年6月23日,abc,\276 2018年6月30日,abc,\925 2018年6月30日,abc,\619 awkで3番目のファイールドだけを下記などで、     sum += $3 計算したいのでが、取得したcsvファイルが3桁カンマや円マークが ...
1
1 回答
368 閲覧数

awkで複数ファイルの入力(指定)にアスタリスクが使えますか?

①引数は1ファイル(最初のファイル?)だけですか。仕様ページを教えて下さい。 ②*.csvから、「data1a2.csv data1a3.csv ......」簡単に引数(ファイル名の羅列)を作る方法を教えて下さい。 よろしくお願いします。 (参考)pandasで複数のCSVから特定行のみを抽出してCSVにしたい rem gawk "NR==1" data1a1.csv > ...
0
1 回答
1,034 閲覧数

maillogを解析して一行に集約して出力する方法について

環境: CentOS 6.9 お世話になります。 以前こちらでawkを使用して指定期間内のメールログを抽出する方法をご教授いただき、大変参考なりました。 ここから更に改良できれば思っており色々と考えておりましたが自分だけでは上手くいかず、再度こちらから皆様のご意見をいただければと質問させていただきました。 メールログのサンプルはこちらとなります。 ...
4
5 回答
5,163 閲覧数

CSVのデータ内のカンマを削除

A,"100",Z B,"1,000",Z C,"1,000,000",Z ↓ A,"100",Z B,"1000",Z C,"1000000",Z に変更したいのですが、sed,awk,linux等ではどのようにするのでしょうか?
5
2 回答
6,735 閲覧数

awkを使用して指定期間内のメールログを抽出したい

【追記】 コメントをいただき、以下の方法で指定期間内(例は10分前~現在)のログを抽出することはできました。 しかし、これでは月をまたいだ抽出ができません。 度々失礼して申し訳ないですが、他の手法をご存知の方がいらっしゃいましたらご教授お願いします。 #!/bin/bash nowtime=`date +'%b %d %H:%M:%S'` agotime=`date -d '10 ...
0
1 回答
3,127 閲覧数

Awkで、指定した行の引き算をしたい

awkで、以下の方法で、指定した範囲の行を足すことができました。 awk 'NR==3,NR==8{m+=$1}END{print m}' test.txt 今度は、8行目の数字から、3行目の数字を引き算 した値を出したいです。どう書き直したらよいでしょうか。 よろしくお願いいたします。
2
2 回答
2,065 閲覧数

awkでグループ化して最大値を出したい

このようなファイルがあります。 -- test.txt -- AAA.001 AAA.002 AAA.003 BBB.001 BBB.002 から、 AAA.003 BBB.002 というように、AAAに続く最大値、BBBに続く最大値を取得できないでしょうか。 現在は、 cat test.txt | awk '$0 ~ "AAA" {print $0}' | awk '{field = $...
3
2 回答
2,193 閲覧数

awk で複数の separator を一塊としてみなすかどうかは何で決まる?

, を区切り文字にした場合と、 (空白) を区切り文字にした場合で awk の挙動が異なることに気がつきました。 具体的には、空白の場合には複数の空白文字をひとつの区切りとして取り扱いますが、 , の場合には、, が連続していてもそれぞれの文字が別々の区切りとして取り扱われています。 この挙動の差異は、何によって決定されていますか?具体的には、どの文字だと一塊区切りになり、...
4
2 回答
2,552 閲覧数

awkで大きい数の平均を出そうとすると桁溢れしてしまう

vmstat -a 5 で取得した、数日分のファイルがあります。 メモリ使用率の平均を算出するために、Freeの使用量平均を知りたいのですが、awkで加算すると桁溢れしてしまい、上手くいきません。 シェルスクリプトの中で以下のように しています。 VAR=`awk '{m+=$4} END{print m/NR;}' ${myfile}` 良い方法がありましたら教えていただけないでしょうか。
1
1 回答
1,378 閲覧数

シェルスクリプト内で、パスにawkをかける方法を教えてください

シェルスクリプト内で、引数に指定したパスの一番下のディレクトリを取得したいと思い、以下のように書きました。 ■test.sh #! /bin/sh myfol=`awk -F"/" '{print $NF} ${1}` mylog=2016_${myfol}.txt touch ${mylog} ■実行時 test.sh /var/log/aaa_sever ■エラーメッセージ ...
4
4 回答
739 閲覧数

sedとawkを用いてping平均時間を求めたい(OSX bash)

#!/bin/bash ipaddr="10.0.1.1" count=10 echo "Ping to: $ipaddr" echo "Ping count: $count" echo "Ping average[ms]:" #Pingコマンドを実行し、結果をファイルに出力 ping -c $count $ipaddr > ping.txt #time=??ms部分をsedで取り出し(...