それほど高速ではないけれど pandas使う方法
import pandas as pd
# 1日分の日時の場合
# dt = pd.Timestamp('2022/4/1 23:50:00')
# 開始日時から連続した 10日分の日時
dt = pd.date_range('2022/4/1 23:50:00', periods=10, freq='D')
dt += pd.Timedelta('20 min')
dt += pd.offsets.BDay(0) # 営業日加算, 月曜から金曜に合わせる
dt
結果
DatetimeIndex(['2022-04-04 00:10:00', '2022-04-04 00:10:00',
'2022-04-04 00:10:00', '2022-04-05 00:10:00',
'2022-04-06 00:10:00', '2022-04-07 00:10:00',
'2022-04-08 00:10:00', '2022-04-11 00:10:00',
'2022-04-11 00:10:00', '2022-04-11 00:10:00'],
dtype='datetime64[ns]', freq=None)
(追記) NumPy 使用の場合
(pandasのコードに比較的近い) NumPyで試してみました。
34128000 件の arrayに対し 30 BusinessDay & 20分の日時加算で
colabでの確認では 2秒ほどの処理時間
1億の場合, 3回分で合計 5〜6秒ほど (一度にすべて保持が難しい場合 を想定)
pandasの BusinessDay
と NumPyの np.busday_*
について
NumPyでは roll='forward'
などオプションが指定でき, 細かい指定が可能
pandasに合わせるなら, 加算日 > 0 は roll='backward'
, 0なら roll='forward'
にするとよさそう
pandas NumPyどちらも, BusinessDayと時間の同時加算はムリ。利用時の手順に委ねられる (先に時間を加算するか後にするか)
加算する日数がそれぞれ異なる場合は, (pandasでは無理そうで) NumPyのみ可能
import numpy as np
arr = np.arange('2022-04', '2023-05', dtype='datetime64[s]')
display(len(arr))
# 加算値
minutes = 20
days = 30
arr += np.timedelta64(minutes, 'm')
# 営業日加算&補正と 時刻の分離・復元
dts = arr.astype('datetime64[D]')
# pandasに合わせる場合: roll=days and 'backward' or 'forward'
r = np.busday_offset(dts, days, roll='backward') +(arr -dts)
# 時刻の検証
#from datetime import datetime, timedelta, timezone
#for n, dt in enumerate(np.arange('2022-04', '2023-05', dtype='datetime64[s]')):
# dt = dt.item() # datetime.fromtimestamp(random.randint(*daterange), tz=JST)
# v = addtimedelta(dt, days=days, minutes=minutes)
# assert r[n].item() == v, f'{dt} => {r[n].item()} {v}'
(追記2) 日数だけ加算時のベンチマーク
- 一日未満の時間は, 先に加算しておくとよい
- 結果からわかること
- pandasでの普通の加算と NumPy での演算が高速
- apply/map を使った加算だとかなり遅くなる。高速化を試みても pandasでの普通の加算よりも遅い。
#!pip install perfplot
#!pip install swifter
import pandas as pd
import numpy as np
import swifter
import perfplot
# 加算値
days = 30
def pd_offsets_BDay(x):
return x +pd.offsets.BDay(days)
bd = pd.offsets.BDay(days)
def pd_offsets(x):
return x +bd
def series_map(x):
return x.map(bd.apply)
def apply_add(x):
return x.apply(lambda dt: dt +bd)
from operator import add
import functools
addbd = functools.partial(add, bd)
def apply_opadd(x):
return x.apply(addbd)
def swifter_apply_add(x):
return x.swifter.apply(lambda dt: dt +bd)
def np_busday_offset(x):
arr = x.to_numpy()
dates = arr.astype('datetime64[D]')
return pd.Series(np.busday_offset(dates, days, roll='forward') +(arr -dates), index=x.index)
out = perfplot.bench(
setup=lambda n: pd.date_range('2022/4/1', periods=n, freq='s').to_series() +pd.offsets.BDay(0),
n_range=10 ** np.arange(7),
kernels=[
pd_offsets_BDay,
pd_offsets,
series_map,
apply_add,
apply_opadd,
swifter_apply_add,
np_busday_offset,
],
equality_check=lambda ser, ser2: ser.equals(ser2),
xlabel="len(x)",
)
out.show()
out.save("perf.png")
素の Python
ちなみに素の Pythonで(ランダムな日時で) NumPy処理同等のことをループ使うと
10000_0000 件で 500秒ほど
質問に明記されてなかった点 (判明したこと)
- 時間の加算が先か後かで, 営業日 => 土日, あるいは土日 => 営業日に切り替わる場合に 演算に影響出そう
素の Pythonでは同時に加算可能であり, 問題出そう?
土日で始まる場合があるかどうか。その場合 1日の加算は月曜になるのか, (営業日にしたあと加算で)火曜になるのか
from datetime import datetime, timedelta, timezone
JST = timezone(timedelta(hours=+9), 'JST')
# 加算日時を timedeltaへ変換
def addtimedelta(dt, days=0, **kwargs):
q, mod = divmod(days, 5)
dt += timedelta(weeks=q, **kwargs)
w = dt.weekday()
if not mod:
# 週末なら加え過ぎた分を元に戻す, もしくは週を加えなかった場合には次の週へ
return dt if w < 5 else dt +timedelta(days=(q and 4 or 7) -w)
elif w >= 5: # 土日始まりなら
return dt +timedelta(days=7-1-w +mod)
if w + mod >= 5:
mod += 2
return dt +timedelta(days=mod)
import pandas as pd
import random
drange = [pd.Timestamp(dt).timestamp()for dt in
('2022-4-1 10:00:00', '2022-7-1 20:00:00')]
for _ in range(10000_0000):
dt = datetime.fromtimestamp(random.randint(*drange), tz=JST)
r = addtimedelta(dt, days=30, hours=1, minutes=23, seconds=4)
#print(dt, '=>', r)
<<<
回答をもとに質問者が作成したコード
import pandas as pd
#from pandas.tseries.offsets import BDay
from pandas.tseries.offsets import BDay as offsets_BDay
#import pandas.tseries.offsets as offsets # あるいは
from datetime import datetime, timedelta
dt = pd.date_range('2000/1/3 00:00:00', periods=100000, freq='min').to_series(name="datetime")
def hoge(x, offset_minutes):
return x + timedelta(minutes=offset_minutes % 1440) + offsets_BDay(offset_minutes // 1440)
dt.apply(hoge, offset_minutes=1)
結果 (左の列は計算前、右の列は計算後の日時)
2000-01-03 00:00:00 2000-01-03 00:01:00
2000-01-03 00:01:00 2000-01-03 00:02:00
2000-01-03 00:02:00 2000-01-03 00:03:00
2000-01-03 00:03:00 2000-01-03 00:04:00
2000-01-03 00:04:00 2000-01-03 00:05:00
...
2000-03-12 10:35:00 2000-03-13 10:36:00
2000-03-12 10:36:00 2000-03-13 10:37:00
2000-03-12 10:37:00 2000-03-13 10:38:00
2000-03-12 10:38:00 2000-03-13 10:39:00
2000-03-12 10:39:00 2000-03-13 10:40:00
Freq: T, Name: datetime, Length: 100000, dtype: datetime64[ns]
上記コードで10万回計算していますが、実行時間は3秒でした。1億回計算しても現実的な時間で収まりそうです。
祝日を考慮する場合、BDayの代わりにpandas.tseries.offsets.CustomBusinessDayを使うとよさそうです。試してはいません。
<<<
編集提案がありましたが, 少し加工しています
- 例えば
dt += pd.offsets.BDay(0)
では 0日なので変化無しに思えて, 実際には月曜から金曜に収まるよう 1〜2日加算される
- 他に
dt - pd.offsets.MonthEnd()
では, dt
の日付に応じて先月月末に合わせる結果になる
offsets
では普通の加算・減算とは異なり, 内部では別の処理に置き換えられている
高速化を図るなら .
のアトリビュートを減らすのはある程度有効
とは言え, BDay
ではなく, 明示的に(それを利用していると判るように) offsets.BDay
(もしくは offsets_BDay
など)のように修飾したほうがよいでしょう (なので加工しました)