実行環境
Windows 10
Python 3.X
pandas
データの説明
下記の元データはログをcsv化したものの一部の例になります。
こちらはid,timestampというカラムで構成されています。
timestampは昇順で並べられており、それに沿ってidが並べられています。
idは基本的にはまとまっておりますが、遅延などにより、別のidが先に割り込む形で出力されることがあり、その部分のログとなっております。
やりたいこと
こちらの元データを下記の加工したいデータのようにsortしたいと考えております。
同一idはまとめて出力し、そのうえでtimestamp順に出力したいと考えています。
各idの先頭のtimestampでソートできればと考えております。
どのようにするとsortが可能でしょうか?
元データ
id | timestamp |
---|---|
idefs | 2022-12-15T00:00:01.0000000Z |
idefs | 2022-12-15T00:00:02.0000000Z |
idefs | 2022-12-15T00:00:03.0000000Z |
idefs | 2022-12-15T00:00:04.0000000Z |
aaefsd | 2022-12-15T00:00:05.0000000Z |
idefs | 2022-12-15T00:00:06.0000000Z |
aaefsd | 2022-12-15T00:00:07.0000000Z |
aaefsd | 2022-12-15T00:00:08.0000000Z |
qwerty | 2022-12-15T00:00:09.0000000Z |
aaefsd | 2022-12-15T00:00:10.0000000Z |
aaefsd | 2022-12-15T00:00:11.0000000Z |
qwerty | 2022-12-15T00:00:12.0000000Z |
qwerty | 2022-12-15T00:00:13.0000000Z |
qwerty | 2022-12-15T00:00:14.0000000Z |
qwerty | 2022-12-15T00:00:15.0000000Z |
加工したいデータ
id | timestamp |
---|---|
idefs | 2022-12-15T00:00:01.0000000Z |
idefs | 2022-12-15T00:00:02.0000000Z |
idefs | 2022-12-15T00:00:03.0000000Z |
idefs | 2022-12-15T00:00:04.0000000Z |
idefs | 2022-12-15T00:00:06.0000000Z |
aaefsd | 2022-12-15T00:00:05.0000000Z |
aaefsd | 2022-12-15T00:00:07.0000000Z |
aaefsd | 2022-12-15T00:00:08.0000000Z |
aaefsd | 2022-12-15T00:00:10.0000000Z |
aaefsd | 2022-12-15T00:00:11.0000000Z |
qwerty | 2022-12-15T00:00:09.0000000Z |
qwerty | 2022-12-15T00:00:12.0000000Z |
qwerty | 2022-12-15T00:00:13.0000000Z |
qwerty | 2022-12-15T00:00:14.0000000Z |
qwerty | 2022-12-15T00:00:15.0000000Z |
試したこと
sort_valuesを使用しsortを行いました。
こちらは同じidでデータをまとめ、sortが可能ですが、idも昇順で並び替えてしまうため、
原則timestamp順で並び替えることができませんでした。
csv_data = '''
id,timestamp
idefs,2022-12-15T00:00:01.0000000Z
idefs,2022-12-15T00:00:02.0000000Z
idefs,2022-12-15T00:00:03.0000000Z
idefs,2022-12-15T00:00:04.0000000Z
aaefsd,2022-12-15T00:00:05.0000000Z
idefs,2022-12-15T00:00:06.0000000Z
aaefsd,2022-12-15T00:00:07.0000000Z
aaefsd,2022-12-15T00:00:08.0000000Z
qwerty,2022-12-15T00:00:09.0000000Z
aaefsd,2022-12-15T00:00:10.0000000Z
aaefsd,2022-12-15T00:00:11.0000000Z
qwerty,2022-12-15T00:00:12.0000000Z
qwerty,2022-12-15T00:00:13.0000000Z
qwerty,2022-12-15T00:00:14.0000000Z
qwerty,2022-12-15T00:00:15.0000000Z
'''
df = pd.read_csv(csv_data)
df.sort_values(['id', 'timestamp'])
結果
id timestamp
4 aaefsd 2022-12-15T00:00:05.0000000Z
6 aaefsd 2022-12-15T00:00:07.0000000Z
7 aaefsd 2022-12-15T00:00:08.0000000Z
9 aaefsd 2022-12-15T00:00:10.0000000Z
10 aaefsd 2022-12-15T00:00:11.0000000Z
0 idefs 2022-12-15T00:00:01.0000000Z
1 idefs 2022-12-15T00:00:02.0000000Z
2 idefs 2022-12-15T00:00:03.0000000Z
3 idefs 2022-12-15T00:00:04.0000000Z
5 idefs 2022-12-15T00:00:06.0000000Z
8 qwerty 2022-12-15T00:00:09.0000000Z
11 qwerty 2022-12-15T00:00:12.0000000Z
12 qwerty 2022-12-15T00:00:13.0000000Z
13 qwerty 2022-12-15T00:00:14.0000000Z
14 qwerty 2022-12-15T00:00:15.0000000Z
追加質問
下記のようにidに空白がある場合に下記の加工後データにしたい場合、先ほどと同じようにグルーピング化して処理を行うことは可能でしょうか?
元データ(csv形式)
id,timestamp
idefs,2022-12-15T00:00:01.0000000Z
idefs,2022-12-15T00:00:02.0000000Z
idefs,2022-12-15T00:00:03.0000000Z
idefs,2022-12-15T00:00:04.0000000Z
aaefsd,2022-12-15T00:00:05.0000000Z
idefs,2022-12-15T00:00:06.0000000Z
,2022-12-15T00:00:07.0000000Z
aaefsd,2022-12-15T00:00:08.0000000Z
aaefsd,2022-12-15T00:00:09.0000000Z
qwerty,2022-12-15T00:00:10.0000000Z
aaefsd,2022-12-15T00:00:11.0000000Z
aaefsd,2022-12-15T00:00:12.0000000Z
qwerty,2022-12-15T00:00:13.0000000Z
qwerty,2022-12-15T00:00:14.0000000Z
qwerty,2022-12-15T00:00:15.0000000Z
qwerty,2022-12-15T00:00:16.0000000Z
加工後データ(csv形式)
id,timestamp
idefs,2022-12-15T00:00:01.0000000Z
idefs,2022-12-15T00:00:02.0000000Z
idefs,2022-12-15T00:00:03.0000000Z
idefs,2022-12-15T00:00:04.0000000Z
idefs,2022-12-15T00:00:06.0000000Z
aaefsd,2022-12-15T00:00:05.0000000Z
aaefsd,2022-12-15T00:00:08.0000000Z
aaefsd,2022-12-15T00:00:09.0000000Z
aaefsd,2022-12-15T00:00:11.0000000Z
aaefsd,2022-12-15T00:00:12.0000000Z
,2022-12-15T00:00:07.0000000Z
qwerty,2022-12-15T00:00:10.0000000Z
qwerty,2022-12-15T00:00:13.0000000Z
qwerty,2022-12-15T00:00:14.0000000Z
qwerty,2022-12-15T00:00:15.0000000Z
qwerty,2022-12-15T00:00:16.0000000Z
timestamp
の秒以下の部分が全て0
だと、同じ時刻のログが複数記録される可能性が高そうですが、質問の例は簡略化のためで実際には有効なデータなのでしょうか?