3

ご覧いただきありがとうございます。
表題の通りですが、例えば「首都圏」というフォルダ内に、
tokyo.csv
saitama.csv
kanagawa.csv
chiba.csv
があったときに、ある関数function()を用いると、
tokyo = pd.read_csv("./首都圏/tokyo.csv")
が他のcsvファイル(saitama.csv等)にも一括で適用されるようにしたいです。
※要するにx.csvに対して、x = pd.read_csv(./首都圏/x.csv)を複数回一括で適用したいです

今のところ以下まで実装しており、
それぞれのcsvをそのfor文のタームにおいて一つ取得できているのは分かっているのですが、
ここからどうすればそれぞれの変数を作成し格納できるかがわかりません・・・。

import pandas as pd
from pathlib import Path 
#ディレクトリと拡張子を格納
p = Path('./首都圏')
file_name = '*.csv'

#繰り返し用にディレクトリ内のcsvファイル名をリストに格納
csv_files = p.glob(file_name) 

#フォルダ内のcsvをそれぞれ読み込み、変数に格納する関数を定義
def function():    
    # 一括でディレクトリ(フォルダ)内のcsvファイルを一括で読込
    for file in csv_files:
    df1 = pd.read_csv(file)
    # このタームで正しくfileがdf1に格納されているか確認
    print(file)
    print(df1)

長くなってしまいましたが、お教えいただけますと幸いです。

0

2 件の回答 2

1

globals() を利用して global scope に変数を追加します。

スクリプト

import pandas as pd
from pathlib import Path

def read_csv_files(dir):
  for i in Path(dir).glob('*.csv'):
    globals()[i.stem] = pd.read_csv(i)

if __name__ == '__main__':
  dir = '首都圏'
  read_csv_files(dir)

  print('千葉:\n', chiba)
  print('\n神奈川:\n', kanagawa)
  print('\n埼玉:\n', saitama)
  print('\n東京:\n', tokyo)

ファイル構成

$ tree 首都圏
首都圏
├── chiba.csv
├── kanagawa.csv
├── saitama.csv
└── tokyo.csv

出力結果

千葉:
    a   b   c
0  19  20  21
1  22  23  24

神奈川:
    a   b   c
0  13  14  15
1  16  17  18

埼玉:
    a   b   c
0   7   8   9
1  10  11  12

東京:
   a  b  c
0  1  2  3
1  4  5  6
1

csvファイル名の一部をキーとした辞書型を使う方法がシンプルで使いやすいのではないでしょうか。
※DataFrameにファイル名の列を追加する方法もありますが説明を省きます。

以下のコードは各都市の情報をフォルダから読み取り、それぞれのデータフレームをdict['tokyo']dict['saitama']dict['kanagawa']に格納しています。
(検証のため首都圏_Mockフォルダとダミーデータのcsvファイルを作成します)

import pandas as pd
from pathlib import Path 

#ディレクトリと拡張子を格納
p = Path('./首都圏_Mock')

# ダミーのモック作成
if not p.is_dir():
    p.mkdir()

df = pd.DataFrame(columns=["都市","人口"], data=[["青梅",132549],["檜原",2194]])
df.to_csv(p.joinpath('tokyo.csv'))
df = pd.DataFrame(columns=["都市","人口"], data=[["東秩父",2701],["長瀞",6838]])
df.to_csv(p.joinpath('saitama.csv'))
df = pd.DataFrame(columns=["都市","人口"], data=[["愛川",39894],["清川",3038]])
df.to_csv(p.joinpath('kanagawa.csv'))

file_name = '*.csv'

#繰り返し用にディレクトリ内のcsvファイル名をリストに格納
csv_files = p.glob(file_name)

def files_to_dic(csv_files):
    dict = {}
    for file in csv_files:
        dict[file.stem] = pd.read_csv(file)  # pathlib.Path.stemで拡張子を除くファイル名を取得
    return dict

# 関数呼び出し
dict = files_to_dic(csv_files)

print(dict['tokyo'])  # 東京

dict['saitama']['人口'] = dict['saitama']['人口'].apply(lambda x: x*2) # 埼玉の人口を2倍にする
print(dict['saitama'])

実行結果

   Unnamed: 0  都市      人口
0           0  青梅  132549
1           1  檜原    2194
   Unnamed: 0   都市     人口
0           0  東秩父   5402
1           1   長瀞  13676

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。