0

下記のコードを実行することで行いたい処理は次のとおりです。

  1. フォルダ内にあるcsvファイルを全取得する
  2. ファイル構成(カラム名や行数)は同じなので最初に開いたcsvファイル(data_r)の列名から抽出したいカラム番号を選択する
  3. data_rからilocで欲しい列を全行取得(data_c)する(このとき欲しい列は選択したカラム番号になる)
  4. カラム名はどのファイルでも同名のため、カラム名をファイル名にrenameする
  5. 事前に作成しておいたDataFrame(data_p)にdata_cをappendする
  6. 以後、3に戻り選択したカラム番号をilocで抽出し、data_pにappendを繰り返す

私の想定している出力結果は、例えばファイル数が5つあり、1つのファイルに1000行のデータがあるとすればindexが1000行で、columnsがカラム1~カラム5でした。
しかし実際に得られた出力は、indexが5000行で、columnsがカラム1~カラム5でした。

indexがないことが原因なのかはわかりませんが、すべて別物として扱われているようです。
そのためどの列も4000行分はNaN値となっていました。
行数が同じなので、全て1行として横にappendしていってほしいのですがどのように修正すればよろしいでしょうか。

files = natsorted(glob.glob('*.csv'))

firstLoop = True
data_p = pd.DataFrame([])
for f in files:
    n = os.path.splitext(os.path.basename(f))[0]
    data_r = pd.read_csv(f, encoding='SHIFT_JIS')
    if firstLoop:
        print(f'カラム名は以下となっています \n {data_r.keys()} \n Y軸に使うカラム番号を1つ選択して入力してください')
        yaxis = input('カラム番号(0始まり):')
        data_c = data_r.iloc[:, [int(yaxis)]].copy()
        data_c.rename(columns={data_c.columns.values[0]:n}, inplace=True)
        firstLoop = False
    else:
        data_c = data_r.iloc[:, [int(yaxis)]].copy()
        data_c.rename(columns={data_c.columns.values[0]:n}, inplace=True)

    data_p = data_p.append(data_c)
data_p

1 件の回答 1

0

そもそもappendは行(縦方向)を追加するものであって、横方向(列)に追加するにはconcat等でaxis=1(あるいはcolumns)を指定するものでしょう。
それからv1.4.0から非推奨になって、代替手段がconcatになっているので、2重の意味でそちらを使うことになるでしょう。(rowsの太字は引用者)

pandas.DataFrame.append

Append rows of other to the end of caller, returning a new object.

Deprecated since version 1.4.0: Use concat() instead. For further details see Deprecated DataFrame.append and Series.append

csvを読み取ってDataFrameを作った時にindexが指定されていなくて全て0からの連番になっているのであれば、同じ行番号の位置に追加されるでしょう。

この行を:

data_p = data_p.append(data_c)

このようにしてみれば良いのでは?

data_p = pd.concat([data_p, data_c], axis=1)

試してみてください。

参考記事:
結合の方向を指定する - 指定した軸の方向にDataFrameを結合するPandasのconcat関数の使い方
pandas.DataFrame, Seriesを連結するconcat
列名をキーにして横方向に結合(axis=1 or axis='columns') - 【TIPS】Pandasのconcat関数でDataFrameを結合する方法まとめ


ちなみに質問最後の方の「行数が同じなので、全て1行として」は「行数が同じなので、全て1列として」のtypoでしょうね。

1
  • 回答ありがとうございます。確かにアドバイス通りに実行したら理想の処理ができました。appendが非推奨になっていたとは全く知りませんでした...。勉強になります。(おっしゃる通り最後はタイプミスです。失礼いたしました)
    – manatsu
    Commented 2022年2月13日 7:17

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。