0

やりたいこと

表1に 定刻[変更] のように同じ列を含む行が複数あった場合、表2のように1行にまとめたいです。

Pandasのgroupbyを使ってみましたが、実現したい結果と上手くいかないです。

コードでは何がいけないのか、もしくは他に簡単な方法がありましたら、教えていただけると嬉しいです。お手数ですが、よろしくお願い致します。

表1.csv

定刻[変更],出発地,経由地,航空会社,便名,機種,ターミナル,運航状況
00:15[ - ],マニラ,,フィリピン航空,PR0424,321,T3,欠航
05:00[05:06],ロサンゼルス,,ANA,NH0105,77N,T3,到着済み
05:00[05:06],ロサンゼルス,,ユナイテッド航空,UA7983,77N,T3,到着済み
05:00[ - ],サンフランシスコ,,ANA,NH0107,78I,T3,欠航
05:35[04:44],デリー,,ANA,NH0838,78I,T3,到着済み
05:40[05:31],シドニー,,ANA,NH0880,78E,T3,到着済み
05:40[05:31],シドニー,,ニュージーランド航空,NZ4158,78E,T3,到着済み
05:50[05:26],バンコク(BKK),,ANA,NH0850,78I,T3,到着済み
05:50[05:26],バンコク(BKK),,エア・カナダ,AC6272,78I,T3,到着済み
05:50[05:26],バンコク(BKK),,エチオピア航空,ET1403,78I,T3,到着済み
05:50[05:26],バンコク(BKK),,タイ国際航空,TG6107,78I,T3,到着済み
06:10[05:42],バンコク(BKK),,日本航空,JL0034,789,T3,到着済み
06:10[05:42],バンコク(BKK),,バンコクエアウェイズ,PG4153,789,T3,到着済み
06:10[05:42],バンコク(BKK),,スリランカ航空,UL3360,789,T3,到着済み
06:10[05:42],バンコク(BKK),,アメリカン航空,AA8465,789,T3,到着済み

実現した処理の結果

今回は表2のように複数コードシェアがある場合、 05:00[05:06],ロサンゼルス05:50[05:26],バンコク(BKK)06:10[05:42],バンコク(BKK)が重複しています。

重複している場合、先頭行を見て 定刻[変更] から 運航状況 までを1行でまとめたいです。

航空会社と便名は、カンマ区切りで同じように順番でソートさせたいです。

05:00[05:06],ロサンゼルス,,ANA ユナイテッド航空,NH0105,UA7983,77N,T3,到着済み
05:50[05:26],バンコク(BKK),,"ANA,エア・カナダ,エチオピア航空,タイ国際航空","NH0850,AC6272,ET1403,TG6107",78I,T3,到着済み
06:10[05:42],バンコク(BKK),,"日本航空,バンコクエアウェイズ,スリランカ航空,アメリカン航空","JL0034,PG4153,UL3360,AA8465",789,T3,到着済み

表2.csv

定刻[変更],出発地,経由地,航空会社,便名,機種,ターミナル,運航状況
00:15[ - ],マニラ,,フィリピン航空,PR0424,321,T3,欠航
05:00[05:06],ロサンゼルス,,ANA,NH0105,77N,T3,到着済み
05:00[05:06],ロサンゼルス,,ユナイテッド航空,UA7983,77N,T3,到着済み
05:00[ - ],サンフランシスコ,,ANA,NH0107,78I,T3,欠航
05:35[04:44],デリー,,ANA,NH0838,78I,T3,到着済み
05:40[05:31],シドニー,,ANA,NH0880,78E,T3,到着済み
05:40[05:31],シドニー,,ニュージーランド航空,NZ4158,78E,T3,到着済み
05:50[05:26],バンコク(BKK),,"ANA,エア・カナダ,エチオピア航空,タイ国際航空","NH0850,AC6272,ET1403,TG6107",78I,T3,到着済み
06:10[05:42],バンコク(BKK),,"日本航空,バンコクエアウェイズ,スリランカ航空,アメリカン航空","JL0034,PG4153,UL3360,AA8465",789,T3,到着済み


現在の df_after の結果は1行でまとめておりますが、上記のように実現したい処理にならないです。
機種,ターミナル,運航状況の行などの行が重複されます。
また、なぜか経由地のセルに 0.0 が入力されています。

定刻[変更]
00:15[ - ]                                     マニラ  0.0                       フィリピン航空                    PR0424           321        T3                欠航
05:00[ - ]                                サンフランシスコ  0.0                           ANA                    NH0107           78I        T3                欠航
05:00[05:06]                          ロサンゼルスロサンゼルス  0.0                   ANAユナイテッド航空              NH0105UA7983        77N77N      T3T3          到着済み到
着済み
05:35[04:44]                                   デリー  0.0                           ANA                    NH0838           78I        T3              到着済み
05:40[05:31]                              シドニーシドニー  0.0                 ANAニュージーランド航空              NH0880NZ4158        78E78E      T3T3          到着済み到着
済み
05:50[05:26]  バンコク(BKK)バンコク(BKK)バンコク(BKK)バンコク(BKK)  0.0        ANAエア・カナダエチオピア航空タイ国際航空  NH0850AC6272ET1403TG6107  78I78I78I78I  T3T3T3T3  到着済み到着済み到着済み到着済み
06:10[05:42]  バンコク(BKK)バンコク(BKK)バンコク(BKK)バンコク(BKK)  0.0  日本航空バンコクエアウェイズスリランカ航空アメリカン航空  JL0034PG4153UL3360AA8465  789789789789  T3T3T3T3  到着済み到着済み到着済み到着済み>

コード

import pandas as pd

#ファイル読み込み
df = pd.read_csv(r"test.csv")
print(df)

# #データフレーム
# df = pd.DataFrame(df1)
# print(df)

#参考ページ
#https://qiita.com/propella/items/a9a32b878c77222630ae
# a=df.groupby(['定刻[変更]','出発地','経由地','航空会社','便名','機種']).mean()
# print(a)

#After
df_after = df.groupby('定刻[変更]').apply(lambda x: x.sum()).drop('定刻[変更]',axis=1).reset_index()
print(df_after)

回答後のプログラく

2
  • 「表2のように1行に」が具体的ではありません。"ユナイテッド航空"は重複行の後側で "NH0105" は重複の先頭です。
    – oriri
    Commented 2022年5月25日 3:23
  • コメントありがとうございます。もう少し分かりやすくにしました。
    – 幸589
    Commented 2022年5月25日 3:55

2 件の回答 2

1
dfx = df.drop_duplicates(subset='定刻[変更]').fillna('').set_index('定刻[変更]')
dfx[['航空会社', '便名']] = df.groupby('定刻[変更]')[['航空会社', '便名']].agg(','.join)
dfx.reset_index(inplace=True)

print(dfx.to_markdown(index=False))
定刻[変更] 出発地 経由地 航空会社 便名 機種 ターミナル 運航状況
00:15[ - ] マニラ フィリピン航空 PR0424 321 T3 欠航
05:00[05:06] ロサンゼルス ANA,ユナイテッド航空 NH0105,UA7983 77N T3 到着済み
05:00[ - ] サンフランシスコ ANA NH0107 78I T3 欠航
05:35[04:44] デリー ANA NH0838 78I T3 到着済み
05:40[05:31] シドニー ANA,ニュージーランド航空 NH0880,NZ4158 78E T3 到着済み
05:50[05:26] バンコク(BKK) ANA,エア・カナダ,エチオピア航空,タイ国際航空 NH0850,AC6272,ET1403,TG6107 78I T3 到着済み
06:10[05:42] バンコク(BKK) 日本航空,バンコクエアウェイズ,スリランカ航空,アメリカン航空 JL0034,PG4153,UL3360,AA8465 789 T3 到着済み
1
  • いつもありがとうございます。上記の方法シンプルで、問題なくできました!!
    – 幸589
    Commented 2022年5月25日 9:23
1

「pandas groupby 文字列」などで検索し以下のサイトを参考に作成しました。

python – pandas groupbyで文字列をリスト化

import pandas as pd

#ファイル読み込み
df = pd.read_csv(r"test.csv")

df_after = df.groupby('定刻[変更]').agg(lambda x: ','.join(sorted(set(list(x))))).reset_index()

 print(df_after)

listになっているところにset()を挟んで重複排除しています。
しかし、2点の問題が発生しました。

・groupby出来ない列が勝手に削除される。(nanのみの列や、数字と文字が混ざる列)
・上記列削除の際に、Warningが発生する。

それを素人ながら、無理やり改善したコードがこちらです。

import pandas as pd

#ファイル読み込み
df = pd.read_csv(r"test.csv")

# df加工
df = df.fillna('')  # nanを''に置き換え
df['機種'] = df['機種'].astype(str)  # intとstrが混ざる列をstrに統一

def rm_null(tup):
    # ['', 'hoge'] の''を除外
    ls = list(tup)
    if ls != ['',]:
        ls = [a for a in ls if a != '']
    return ls

df_after = df.groupby('定刻[変更]').agg(lambda x: ','.join(sorted(rm_null(set(list(x)))))).reset_index()
print(df_after)

nanを無理やり''に置き換えています。
また機種列の要素を全てstr型に変換しています。
''が混ざると「'',サンフランシスコ」のようなデータになってしまうので、rm_null()関数を作成し、無理やり排除しました。
最終結果として、nanが''になっている問題が残っています。

私も力不足で申し訳ないです。

3
  • 回答ありがとうございます。上記の方法でできそうです。今から試してみます。
    – 幸589
    Commented 2022年5月25日 7:03
  • @hukurousagiさん 回答ありがとうございます。度々、すいません。先ほど追加したバンコクのデータが入ってしまうと上記のコードだと航空会社と便名は、カンマ区切りで同じ順番にならないです。同じ順番になるようにsorted外しましたがなりませんでした。 表2のように同じ順番でソート可能でしょうか。もし分かりましたら、教えていただけると幸いです。
    – 幸589
    Commented 2022年5月25日 7:22
  • @Happy 無駄なお時間を取らせてしまい申し訳ないです...お恥ずかしい。私も勉強になりました。ありがとうございます! Commented 2022年5月25日 9:38

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。