0

ディレクトリ内にある複数の行列データが保存されたタブ区切りの”複数の”ファイル(以下、datファイル)から、ある特定の行を取り出し、取り出した順に行データを並べて新たにdatファイルを作りたいです。
Python/シェルスクリプト/C どれで作ると良いでしょうか。datデータはLinuxのディレクトリ内にあります。

求めている手法の「最適」条件
Linux上のディレクトリで動作する言語(導入しやすい言語_ex.>pythonの場合はpythonスクリプトで書く必要がある?)、プログラムが簡易、処理速度が早い

datファイルの形式

タブで区切られた小数点数の行列データからなるテキストファイルです。最初の行がアルファベットや記号で列データの見出しになっています。その各見出しの下に小数点数が数百並んでいるデータになります。

# x y z  
1.0 2.1 -5.4 8.2
0.0 23.4 4.4 3.4
... (以下数百行続く)

追記(2018/06/30)

タブではなく、複数スペースによる区切りファイルでした。

#[スペース18個]x[スペース19個]y[スペース19個]z
[スペース6個]1.0[スペース5個]2.1[スペース5個]-5.4[スペース5個]8.2
[スペース6個]0.0[スペース5個]23.4[スペース5個]4.4[スペース5個]3.4

... (以下数百行続く)

10
  • 4
    「datファイル」という決まった形式があるわけではないので、中身がどんなデータなのか(単純なテキストorバイナリ)なども質問文に含めてもらうと回答が付きやすいと思います。
    – cubick
    Commented 2018年6月11日 14:50
  • 有難うございます。タブで仕切られた数(小数)の行列データです一番上の行にアルファベットと文字で( 例> # x y u といった)列データの見出しがあり、その各見出しの下に数(小数)が数百並んでいるデータになります。
    – Kouju
    Commented 2018年6月12日 8:09
  • 1
    質問は後からでも「編集」できるので、コメントしてもらった内容を含め、必要となりそうな情報を追記してみてください。
    – cubick
    Commented 2018年6月12日 8:18
  • 1
    awkしか使ったことがないですが、awkで十分だと思います。
    – mrrclb48z
    Commented 2018年6月14日 13:32
  • datファイルの形式を追加してくれた方、ありがとうございます。
    – Kouju
    Commented 2018年6月16日 4:07

3 件の回答 3

2

datファイルがタブ区切りファイルであれば、シェルスクリプトが良いと思います。

タブ区切りファイルの例 を org.dat とした場合、
以下のシェルコマンドで組みあわせで、列を抽出しソートできます。
(3列目を抽出しソートする場合)

# .(カレントディレクトリ)配下のdatファイルからヘッダ部を取り除き1つにまとめ,
# 3列目を抽出, ソート
# 結果をnew.datに保存
find . -type f -name "*.dat" -exec tail -n +2 {} \; | cut -f 3 | sort -n > new.dat
12
  • すみません。複数のdatファイルでしたね。修正しました。
    – user28902
    Commented 2018年6月12日 4:30
  • はい、操作の対象は複数のファイルです。ありがとうございます。試してみます!
    – Kouju
    Commented 2018年6月16日 5:11
  • 現在デバック中です…new.datファイルに吐き出されず、コマンドラインに表示されます。また、| cut -f 3 | の|はどんな意味があるのでしょうか。
    – Kouju
    Commented 2018年6月21日 21:38
  • パイプといいます。左のコマンドの実行結果を、右のコマンドの入力として使うという意味になります。"find〜\;"コマンドの実行結果を"cut"コマンドに渡し、さらにその実行結果を"sort"コマンドに渡し、最後にその結果をnew.datファイルに出力しています。(例えば、右のサイトを参照してください。 eng-entrance.com/linux-pipeline)
    – user28902
    Commented 2018年6月21日 22:32
  • |は便利ですね。ありがとうございます。sortはせずに、読み取ったdatファイル順にそのままnew.datに入れたい場合はどうすればよいでしょうか。| cut -f 3 > new.dat では実行されなかったです。
    – Kouju
    Commented 2018年6月22日 2:53
2

あくまで一般論になりますが、生産性の高さと、処理速度が速いことが トレードオフの関係なので、楽に作りたいのであれば、まずはシェルスクリプトが良いと思います。

ただ、例えば、dat ファイルが数万ファイルある、もしくは、容量がすごく大きいといった場合は、「処理経過をログに出力したい」など、他の要件がでてくるかもしれません。

そういった「想定外の要件に対応すること」も想定すると、Pythonなどのプログラミング言語のほうがいろいろ出来るので良い気がします。

生産性を重視する場合は、積極的に C を選択する理由は思いつきませんが、処理速度やメモリの効率化が重要な場合は、C を選ぶのがいいと思います。

1
  • ありがとうございます。参考にさせていただきます。
    – Kouju
    Commented 2018年6月16日 3:09
1

Python3だと以下のように書けます。python/シェルスクリプト/C どれで作るかは好みの問題だけでしょう。

from pathlib import Path
import pandas as pd

dfs = (pd.read_csv(f, delim_whitespace=True)['x'] for f in Path('.').glob('*.dat'))
pd.concat(dfs, ignore_index=True).sort_values().to_csv('all.dat', sep='\t', index=False)
3
  • Yasuhiroさん>ありがとうございます。Pythonでも試してみたいと思います。コードを実行させる環境はLinuxなので、Pythonスクリプトでexeファイルを作るべきでしょうか?
    – Kouju
    Commented 2018年6月16日 3:07
  • pathlibを使っているのでpython3.4以降が必要です。exeファイルを作る必要はなくて 'python3 ファイル名.py" で実行します。pandasをインストールする必要があるのでubuntuであれば 'sudo apt install python3-pandas' を事前に実行しておきます。 Commented 2018年6月16日 10:25
  • 詳細なコメントありがとうございます。
    – Kouju
    Commented 2018年6月19日 10:27

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。