0

下記のデータに対してtag 'a'のstart-endのデータに対して 'b'のstart-endで重複する部分を削除したいのですがどのような処理をしたら良いでしょうか。

import pandas as pd

data = [
    ['a', 1, 10],
    ['b', 2, 3],
    ['b', 4, 6],
    ['b', 9, 11]
]
columns = ['tag', 'start', 'end']
df = pd.DataFrame(data, columns=columns)

期待する結果:

result = [
    ['a', 1, 2]
    ['b', 2, 3]
    ['a', 3, 4]
    ['b', 4, 6]
    ['a', 6, 9]
    ['b', 9, 11]
]
result_df = pd.DataFrame(result, columns=columns)
2
  • pandasには便利なメソッド多数あるけど, ピンポイントでそういった機能はないと思います。'b' がオーバーラップしない条件なら, ソートして, 該当する範囲に絞れば取り出すことできそうです
    – oriri
    Commented 2023年6月30日 13:50
  • なので, そのような手順(あるいは独自の手法) で作ってみてはどうでしょう? 質問に追記する際は 途中まででも構わないので。 ここではどのようなトピックについて質問できますか? なども参考にするとよいかも
    – oriri
    Commented 2023年7月1日 5:47

2 件の回答 2

0

以下のようにオーバーラップがあるとその後の処理が大変そうなので
そのようなオーバーラップも隣り合うデータもないものとして回答します

tag start end
0 b 2 5
1 b 3 4
2 b 3 6
3 b 6 7

Pythonで zipなど用いる方法

>>> lst = sorted([(2, 3), (4, 6), (9, 11)], key=lambda v: v[0])
>>> lst
[(2, 3), (4, 6), (9, 11)]
>>> stop, start = zip(*lst)
>>> start
(3, 6, 11)
>>> stop
(2, 4, 9)
>>> list(zip((1,) +start, stop))
[(1, 2), (3, 4), (6, 9)]

既存の dfと合成

>>> df[df.tag == 'b']
  tag  start  end
1   b      2    3
2   b      4    6
3   b      9   11
>>> tmp = pd.DataFrame(list(zip((1,) +start, stop)), columns=['start', 'end'])
>>> tmp['tag'] = 'a'
>>> ndf = pd.concat([df[df.tag == 'b'], tmp])
>>> ndf.sort_values('start')
  tag  start  end
0   a      1    2
1   b      2    3
1   a      3    4
2   b      4    6
2   a      6    9
3   b      9   11

上のコードでは (1, 10) 固定なので, こんな風に

>>> r = range(1, 10)
>>> if stop[0] > r.start:
...     start = (r.start,) +start
... else:
...     stop = stop[1:]
...
>>> if start[-1] < r.stop:
...     stop += (r.stop,)
...
>>> list(zip(start, stop))
[(1, 2), (3, 4), (6, 9)]
>>>
0

a も b もオーバーラップがある場合

import pandas as pd

data = [
    ['a', 1, 4],
    ['a', 3, 5],
    ['a', 6, 10],
    ['b', 2, 5],
    ['b', 3, 4],
    ['b', 3, 6],
    ['b', 6, 7],
    ['b', 9, 11]
]
columns = ['tag', 'start', 'end']
df = pd.DataFrame(data, columns=columns)
df = df.sort_values('start').reset_index(drop=True)

def get_part_a(dft, start, end):
    ans = []
    for idx, row in dft.iterrows():
        if start < row['start']:
            if row['start'] <= end:
                ans.append(['a', start, row['start']])
            elif start < end:
                ans.append(['a', start, end])
        if start < row['end']:
            start = row['end']
    if start < end:
        ans.append(['a', start, end])
    return ans

df_a = df[df['tag']=='a']
lst_a = [[df_a['start'].iloc[0], df_a['end'].iloc[0]]]
for i in range(len(df_a)):
    if i > 0:
        if df_a['start'].iloc[i] <= lst_a[-1][1]:
            if df_a['end'].iloc[i] > lst_a[-1][1]:
                lst_a[-1][1] = df_a['end'].iloc[i]
        else:
            lst_a.append([df_a['start'].iloc[i], df_a['end'].iloc[i]])

df_b = df[df['tag']=='b']
lst = [get_part_a(df_b, lst_a[i][0], lst_a[i][1]) for i in range(len(lst_a))]
result = df_b
for df_ in lst:
    result = pd.concat([result, pd.DataFrame(df_, columns=columns)])
result = result.sort_values('start').reset_index(drop=True)
print(result)
"""
  tag  start  end
0   a      1    2
1   b      2    5
2   b      3    4
3   b      3    6
4   b      6    7
5   a      7    9
6   b      9   11
"""

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。