回答部分
@metropolis さんの処理を使わせてもらって、ファイル数を拡張する処理を追加しました。
もっと柔軟性を持たせるためには、前の質問のコメントに紹介したコマンドラインパラメータ処理を組み込んでフォルダとかファイル名のためのパラメータを外から指定出来るようにしてください。
ちなみに、質問のcsvデータ例の 4つ目のデータ0.36938,0.8952
が0.36938000000000004,0.8952
となりましたが、pandas
での変換時の誤差でしょう。必要ならば別途対策してください。
import sys
import os
import pandas as pd
import numpy as np
# 対象フォルダ指定(入力/出力を別々に指定可能:ここでは両方カレントフォルダ)
infolder = './'
outfolder = './'
# 対象ファイル名の組み立て方情報(特定文字列+数字の形式の場合)
fprefix = 'list' # ファイル名の頭に付いている文字列
fsuffixFirst = 1 # 最初のファイルに付いている数字
fsuffixMaxPlus1 = 1001 # ファイル名に付いている最大の数字に+1したもの
fsuffixStep = 1 # ファイル名に付いている数字の増えていく間隔
# 以下2行は @metropolis さんのコピー
start, end, tick = 0.0, 6.0, 0.5
remove_max = 5
# 1000個のファイルをループ
for fsuffix in range(fsuffixFirst, fsuffixMaxPlus1, fsuffixStep):
basefname = fprefix + str(fsuffix) # ファイル名だけ部分の組み立て
inputfile = infolder + basefname + '.csv' # パス名作成
if os.path.exists(inputfile): # 存在するファイルかをチェックしてから処理する
# 以下は @metropolis さんのコピーを少しだけアレンジ
df = pd.read_csv(inputfile)
for s in np.arange(start, end, tick):
df.drop(df[(df.time2 >= s) & (df.time2 < (s+tick))].index[:remove_max])\
.to_csv(outfolder + basefname + '_' + str(s+tick) + 'h.csv', index=False)
事前確認部分
回答では無いですが、確認事項が複数あって、コメントでは綺麗にならないので。
この辺の内容を確認・追記してください。
- 説明文では
time2
ですが、ソースではtime1
です。どちらでしょう? - ある時間範囲が削除されたデータを作りたいのは本当ですか? 逆にその範囲を抽出する方がよく使われそうですが。
- 元のデータに
0
未満や6.0
以上の値は存在しますか? - 新たに作るファイルの名前は、「元のファイル名」に削除範囲の後ろの区切りの名前を加えたものということで良いですか?
df_a
のように単純に範囲抽出しただけでは小さい順にソートされないと思うのですが、元のデータがソート済みですか?- 以前の質問のこちら python csv 複数ファイル読み込み 書き換え 出力 の処理とは関係ありますか? 関係ある場合、組み合わせる考慮は必要ですか?