0

pythonでcsvを複数ファイル(1000ファイル)読み込み、条件に応じてある列を抽出し,
新たなcsvファイルに出力したいと考えたおります。
file1:[id,time,value][1,3.5,6][2,2.0,4][3,2.6,8]・・・[30,15.5,50]
fileが1個だけの時には以下のスクリプトでやりたいことができたのですが、1000個のfileでやるにはどのようにスクリプトを変更したらよいでしょうか。

import pandas as pd
df = pd.read_csv("list1.csv")
df = (df[df["time"]<0.5])
df.to_csv("list1_0.5h.csv")

初歩的な内容で申し訳ございませんが、ご教授いただけましたら幸いです。
よろしくお願いいたします。

5
  • 処理内容は決まっているが、対象ファイルは変わることがあるなら、この記事 pythonファイルの実行の自動化 のように、外側から入力のファイル名も出力のファイル名も指定するようにしてみては? あるいはファイル名のリストをテキストファイルにして、それを読み込んで順次処理するとか。
    – kunif
    2019年10月26日 4:29
  • 重複候補 - Pythonにおけるヒストグラムの作成について / 複数ファイルからCSVを読み込む方法についての質問で回答もついた状態です。
    – cubick
    2019年10月26日 6:23
  • あまりピッタリでは無さそうですが、こんな記事を参考に。条件に合致するファイルを連続して読み込み,処理後にファイル名を変えて保存
    – kunif
    2019年10月26日 11:44
  • 1
    ちなみに欲しい結果ファイルは、@sugiyamath さん回答のように複数入力に対して出力1か、それとも入出力が1対1か、あるいは何かの条件によって出力ファイル数が変わるとか、どうなりますか?
    – kunif
    2019年10月31日 1:20
  • 読み込んだ複数のファイルを区別できるようにしたいのか、それとも区別しなくていいのか、という点でも質問文は曖昧ですね。
    – user22473
    2019年10月31日 2:14

3 件の回答 3

0

同一の列をもつデータフレームを結合する方法として、pd.concatが使えます。
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.concat.html

ファイル名が統一された方法で定義されていて list1.csv, list2.csv, ..., list100.csv という名前だと仮定するなら、対応するIDをファイル名を表す文字列へ渡せば良いでしょう。これはリスト内包表記でできます。

import pandas as pd
df = pd.concat(
    [pd.read_csv("list{}.csv".format(i+1)) for i in range(100)])
df = df[df["time"] < 0.5]
df.to_csv("list1to100_0.5h.csv")
0

こちらの記事 pandasで条件に応じてcsvから行を削除したい から同等部分をさかのぼって回答。
もっと柔軟性を持たせるためには、コメントに紹介したコマンドラインパラメータ処理を組み込んでフォルダとかファイル名のためのパラメータを外から指定出来るようにする。

import sys
import os
import pandas as pd

# 対象フォルダ指定(入力/出力を別々に指定可能:ここでは両方カレントフォルダ)
infolder = './'
outfolder = './'

# 対象ファイル名の組み立て方情報(特定文字列+数字の形式の場合)
fprefix = 'list'       # ファイル名の頭に付いている文字列
fsuffixFirst = 1       # ファイル名に付いている最初の数字
fsuffixMaxPlus1 = 1001 # ファイル名に付いている最大の数字に+1したもの
fsuffixStep  = 1       # ファイル名に付いている数字の増えていく間隔

# 1000個のファイルをループ
for fsuffix in range(fsuffixFirst, fsuffixMaxPlus1, fsuffixStep):
    basefname = fprefix + str(fsuffix)         # ファイル名だけ部分の組み立て
    inputfile = infolder + basefname + '.csv'  # パス名作成
    if os.path.exists(inputfile):     # 存在するファイルかをチェックしてから処理する
        df = pd.read_csv(inputfile)
        df = (df[df["time"]<0.5])
        df.to_csv(outfolder + basefname + '_0.5h.csv', index=False)
0

他の方も指摘していますが、ここでは一個のinputファイルに一個のoutputファイルを作成するもの(例に準じています。)と考えた場合、単純にglobを使われてはどうですか?

仮に"list1.csv"と同様なcsvファイルが1000個同じdirectory内にあると仮定した場合、
下記のようなことでいけると思いますよ。

import pandas as pd
import glob

FNs = glob.glob("list*.csv")

for fn in FNs:
    df = pd.read_csv(fn)
    df = (df[df["time"]<0.5])
    out_fn = fn.split(".");
    df.to_csv(out_fn[0]+"_0.5h."+out_fn[1])

globというのは特定のファイルを見つけてきて、それをlistに入れてくれます。

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。