1

実行環境

Windows 10
Python 3.X
pandas

データの説明

次のようなdfを使用してデータ加工を行いたいと考えています。
こちらはid,数値,分類というカラムで構成されています。
複数のidが重複しており、三つの分類これらのidは必ず三つの分類(type1,type2,type3)に分かれています。
columnの分類に書かれているのですが、そのデータは重複したデータのいずれかの行に書かれています。(どこに書かれているかはそれぞれ)
カラムの数値には、重複したidの最後の行に整数で数値が書かれています。

やりたいこと

分類ごとに数値を取得し、最終的には三つの分類のそれぞれで数値の平均、最大値、最小値を求めたいと考えております。そのため、aaaの時の分類が何であるか、bbbの時の分類は何であるかを取得し、それらの数値をtype1,type2,type3のリストに入れていきたいと考えているのですが、pandasに使い慣れていないため、どのよう具体的にどのような流れでコードを書けばよいかがわかりません。pandasのどの機能を使えばうまく数値取得まで行けるでしょうか?

id 数値 分類
aaa
aaa
aaa 111 type2
bbb
bbb type1
bbb 222
ccc type3
ccc
ccc 333
2
  • id はここでは 3種類だけど, 他にもあるのでしょうか? (例示のデータでは 1:1 なので他のパターンがあるのか知りたいのですが)
    – oriri
    Commented 2022年12月27日 6:05
  • はい。idは3種類だけでなくたくさんあります。
    – zumo1224
    Commented 2022年12月28日 1:56

2 件の回答 2

1

pandasに使い慣れていないため、どのよう具体的にどのような流れでコードを書けばよいかがわかりません。

分かりやすいかどうかわからないけど, ステップごと
ひとつずつ別の DataFrameにしてます

結果としてリストが必要ということなので, 辞書でリスト

update: agg指定を変更 lastや firstへ

df = pd.read_csv(tsvf)  #, keep_default_na=False)
# idでグループ
df2 = df.groupby('id', as_index=False).agg({'id': 'first', '数値': 'last', '分類': 'first'})
# 横並べ or 縦並べ
df3 = df2.pivot(index='分類', columns='id', values='数値').T

# idごとのリスト (辞書)
dct = {t: [int(n) for n in df3[t].to_list() if not pd.isnull(n)]
        for t in ('type1', 'type2', 'type3')}
dct
# {'type1': [222], 'type2': [111], 'type3': [333]}


['ddd', 444, 'type3'] の項目があったとするなら
'type3' のリストに追加した結果になるはず

2
  • グルーピングという概念があるのですね。 pandasを使い始めたばかりですが非常に便利なメソッドですね。こちらのコードを書き換え、実行したところ、思い通りの動作をいたしました。ありがとうございます。@oriri
    – zumo1224
    Commented 2022年12月28日 2:00
  • 1
    @zumo1224 pandas documentation 辿るの大変そうなら, pandas-cheat-sheet もあります
    – oriri
    Commented 2022年12月29日 14:13
1

※ テスト用に行を追加しています。

import pandas as pd
import io

csv_data = '''
id,数値,分類
aaa,,
aaa,,
aaa,111,type2
bbb,,
bbb,,type1
bbb,222,
ccc,,type3
ccc,,
ccc,333
ddd,,
ddd,,
ddd,1234,type2
'''
df = pd.read_csv(io.StringIO(csv_data))

#
dic = df.groupby('id').agg({'数値': 'last', '分類': 'first'})\
        .groupby('分類')['数値'].agg(list).to_dict()

print(dic)

# {'type1': [222.0], 'type2': [111.0, 1234.0], 'type3': [333.0]}

pandas.core.groupby.GroupBy.first — pandas 1.5.2 documentation

final GroupBy.first(numeric_only=False, min_count=- 1)

Compute the first non-null entry of each column.

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。