0

Ubuntu上でCaffeを使い、機械学習を実行しています。

学習が終わった際にLossとAccuracyのグラフを描画しています。
この時にCaffeに元から入っていた"plot_log.gnuplot.example"というファイルを元にグラフを作っています。
"plot_log.gnuplot.example"には以下のような記述があり、

plot "mnist.log.train" using 1:3 title "mnist"
plot "mnist.log.test" using 1:4 title "mnist"

-.trainと-.testというファイルから数値を取得してグラフを作っているのだと思うのですが、フォルダ内にあるこれらの拡張子を持つファイル名を順番に取得して、テキストファイルを更新していくにはどのようなコマンドで記述すればいいのでしょうか。

例えばフォルダ内に
aaa.train
aaa.test
bbb.train
bbb.test
ccc.train
ccc.test
という風にファイルがある時に、テキストファイル内の

plot "mnist.test" using 2:3 title "mnist"

"mnist"の部分を"aaa"に更新してgnuplotでグラフを書き、
その後に"aaa"を"bbb"、"bbb"を"ccc"に変えていきフォルダ内の全てのグラフを描画したいと思っています。

知識がないため、上手く説明ができていないかもしれませんが
ご教示よろしくお願いいたします。

2
  • gnuplot version 4.6 以降をお使いでしたら、do for 構文を使うことができます。i=0; do for [dataset in "aaa bbb ccc"] { set term qt (i=i+1); plot dataset.".train" using 1:3 title dataset."(train)"; set term qt (i=i+1); plot dataset.".test" using 1:4 title dataset."(test)"; } なお、set term qt iqt の部分は適宜変更して下さい。
    – user39889
    2018年11月11日 14:43
  • 1
    @metropolis 以下の場合にはコメントは推奨されません。 "質問への回答または既存の回答に対する別の解決法の提供。" - コメントしてはいけないのはどんな場合ですか?
    – cubick
    2018年11月12日 3:09

1 件の回答 1

1

「それぞれのファイルに対してほぼ同じコマンドを実行したい」というときにまず検討するのはシェルスクリプトの利用だと思います。

たとえば、ファイル名のところだけ「穴」にしたテンプレートを用意して、ファイルごとに「穴」を sed コマンドawk コマンドで埋め、実行するという方法が考えられます。「すべてのファイルに対して実行する」ためには find コマンド-exec オプションやシェルスクリプトの for が便利です。

今回はシェルスクリプトで作ってみます。まずテンプレートを作ります。「穴」を %%NAME%% という文字列にしておいて、ここを後から置き換えます。ファイル名はここでは plot_log.gnuplot.template にしました。中身はあくまで例なので適当に書き換えてください。

reset
set terminal png
set output "%%NAME%%.png"
set style data lines
set key right

set title "Template Example"
plot "%%NAME%%.train" using 1:3 title "example"

次にこのテンプレートを書き換えて逐次実行するシェルスクリプトを作ります。plot_all.sh という名前にしました。

#!/bin/sh

for file in *.train; do
    name=$(basename "$file" .train)
    plotfile="plot_log_$name.gnuplot"
    sed -e "s/%%NAME%%/$name/g" plot_log.gnuplot.template > "$plotfile"
    gnuplot "$plotfile"
done

あとはこのスクリプトに実行権限をつけて実行すると、一気にプロットしてくれます。

$ chmod +x plot_all.sh
$ ./plot_all.sh

というわけで、sed コマンドとシェルスクリプトの for 文を使って、同じ処理をすべてのファイルに対して行うことができました。

※ もう少し複雑なことがしたくなってきたら、シェルスクリプトでなくてもっと高機能なプログラミング言語を使うことを検討してみてください。

1
  • 実際にグラフが描画されました。大変参考になりました。ありがとうございます。 2018年11月18日 7:46

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。