4

土日を無いものとしてdatetimeに加算をするいい方法はありませんか?
計算を1億回以上するので、高速な方法がいいです。
よろしくお願いいたします。

計算例:

datetime.datetime(2022, 4, 1, 23, 50, 00) # 2022年4月1日は金曜日

上記に20分を足して以下の結果を得たい。

datetime.datetime(2022, 4, 1, 23, 50, 00) + 20分
> datetime.datetime(2022, 4, 4, 00, 10, 00)

10日を足した場合は以下の結果を得たい。
4/2(土),4/3(日),4/9(土),4/10(日)はカウントせずに、10日後の日時。

datetime.datetime(2022, 4, 1, 23, 50, 00) + 10日
> datetime.datetime(2022, 4, 15, 23, 50, 00)

必要な要件:

  • 最小単位は分。分単位での加算ができること。
  • 加算する値は1分~100日。
  • 例えば100日足した場合は、その間に現れる土日は全て存在しないものとして計算する。
  • 1億回計算しても現実的な時間で完了すること。
  • 祝日は考慮しない。(追記)
  • 加算前が土日であることは無いものとする。(追記)
4
  • 2
    「高速な方法がいいです」とのことですが、高速でない方法なら書けますか?
    – merino
    Commented 2022年4月17日 2:57
  • 自力で処理を書くのはまだ試していませんが、難しそうだと思いました。私の力では時間がかかりそうです。
    – aiew
    Commented 2022年4月17日 6:25
  • 祝日の扱いはどうなりますか? / "business day" または working day" などで調べてみるとよいかもしれません。
    – cubick
    Commented 2022年4月17日 6:41
  • 祝日は考慮せず、曜日だけに着目します。
    – aiew
    Commented 2022年4月17日 6:48

4 件の回答 4

6

月曜日0:00であれば、7day * (add_time / 5day) + add_time % 5day を加算すれば求まるので、あとは月曜日にあわせて計算すればいいんじゃないでしょうか。

# coding: utf-8

import random, time
from datetime import datetime, timedelta

ONE_WEEK = 60 * 60 * 24 * 7
WEEKEND = 60 * 60 * 24 * 2
WEEKDAY = 60 * 60 * 24 * 5

NUM_DATA = 1000000
# とりあえず、タイムスタンプで最小の月曜日を求める
# 60 * 60 * 24 * (7 - datetime.fromtimestamp(0).weekday()) で求まるかと思ったけど、
# 日本時間だとずれる。
BASE = datetime(1970, 1, 1, 0, 0, 0)
BASE += timedelta(7 - BASE.weekday())
BASE = BASE.timestamp()

if __name__ == '__main__':
    # ランダムでデータを作成
    data = []
    add_time = []
    for i in range(NUM_DATA):
        data.append(datetime.fromtimestamp(datetime(2022, 1, 1).timestamp() + random.randrange(0, 60 * 60 * 24 * 365)))
        #add_time.append(random.randrange(1, 60 * 24 * 100))
        add_time.append(random.randrange(60 * 24 * 5, 60 * 24 * 10))

    start = time.time()

    result = []
    for d, a in zip(data, add_time):
        # タイムスタンプなので、秒単位にする。
        a *= 60
        t = int(d.timestamp())
        # 月曜日からの時間を求める
        n = (t - BASE) % ONE_WEEK
        # 計算を月曜日基準にする。
        a += n
        t -= n
        result.append(datetime.fromtimestamp(t + ONE_WEEK * (a // WEEKDAY) + a % WEEKDAY))
    print('time = %.5f.' % (time.time() - start))

    for i in range(5):
        print('(%s, %d) + (%d, %d) => (%s, %d).' % (repr(data[i]), data[i].weekday(), add_time[i] // (60 * 24), add_time[i] % (60 * 24), repr(result[i]), result[i].weekday()))

1
  • モジュールを使うよりも、とても速く処理が完了しました。素晴らしいです。
    – aiew
    Commented 2022年4月18日 5:14
1

それほど高速ではないけれど pandas使う方法

import pandas as pd

# 1日分の日時の場合
# dt = pd.Timestamp('2022/4/1 23:50:00')
# 開始日時から連続した 10日分の日時
dt = pd.date_range('2022/4/1 23:50:00', periods=10, freq='D')

dt += pd.Timedelta('20 min')
dt += pd.offsets.BDay(0) # 営業日加算, 月曜から金曜に合わせる
dt

結果

DatetimeIndex(['2022-04-04 00:10:00', '2022-04-04 00:10:00',
               '2022-04-04 00:10:00', '2022-04-05 00:10:00',
               '2022-04-06 00:10:00', '2022-04-07 00:10:00',
               '2022-04-08 00:10:00', '2022-04-11 00:10:00',
               '2022-04-11 00:10:00', '2022-04-11 00:10:00'],
              dtype='datetime64[ns]', freq=None)

(追記) NumPy 使用の場合

(pandasのコードに比較的近い) NumPyで試してみました。
34128000 件の arrayに対し 30 BusinessDay & 20分の日時加算で
colabでの確認では 2秒ほどの処理時間
1億の場合, 3回分で合計 5〜6秒ほど (一度にすべて保持が難しい場合 を想定)

pandasの BusinessDay と NumPyの np.busday_* について

  • NumPyでは roll='forward' などオプションが指定でき, 細かい指定が可能

  • pandasに合わせるなら, 加算日 > 0 は roll='backward', 0なら roll='forward'にするとよさそう

  • pandas NumPyどちらも, BusinessDayと時間の同時加算はムリ。利用時の手順に委ねられる (先に時間を加算するか後にするか)

  • 加算する日数がそれぞれ異なる場合は, (pandasでは無理そうで) NumPyのみ可能

import numpy as np
arr = np.arange('2022-04', '2023-05', dtype='datetime64[s]')
display(len(arr))
# 加算値
minutes = 20
days = 30

arr += np.timedelta64(minutes, 'm')

# 営業日加算&補正と 時刻の分離・復元
dts = arr.astype('datetime64[D]')
# pandasに合わせる場合: roll=days and 'backward' or 'forward'
r = np.busday_offset(dts, days, roll='backward') +(arr -dts)

# 時刻の検証
#from datetime import datetime, timedelta, timezone
#for n, dt in enumerate(np.arange('2022-04', '2023-05', dtype='datetime64[s]')):
#    dt = dt.item()   # datetime.fromtimestamp(random.randint(*daterange), tz=JST)
#    v = addtimedelta(dt, days=days, minutes=minutes)
#    assert r[n].item() == v, f'{dt} => {r[n].item()} {v}'

(追記2) 日数だけ加算時のベンチマーク

  • 一日未満の時間は, 先に加算しておくとよい
  • 結果からわかること
    • pandasでの普通の加算と NumPy での演算が高速
    • apply/map を使った加算だとかなり遅くなる。高速化を試みても pandasでの普通の加算よりも遅い。
#!pip install perfplot
#!pip install swifter

import pandas as pd
import numpy as np
import swifter
import perfplot

# 加算値
days = 30

def pd_offsets_BDay(x):
    return x +pd.offsets.BDay(days)

bd = pd.offsets.BDay(days)
def pd_offsets(x):
    return x +bd

def series_map(x):
    return x.map(bd.apply)

def apply_add(x):
    return x.apply(lambda dt: dt +bd)

from operator import add
import functools
addbd = functools.partial(add, bd)
def apply_opadd(x):
    return x.apply(addbd)

def swifter_apply_add(x):
    return x.swifter.apply(lambda dt: dt +bd)

def np_busday_offset(x):
    arr = x.to_numpy()
    dates = arr.astype('datetime64[D]')
    return pd.Series(np.busday_offset(dates, days, roll='forward') +(arr -dates), index=x.index)

out = perfplot.bench(
    setup=lambda n: pd.date_range('2022/4/1', periods=n, freq='s').to_series() +pd.offsets.BDay(0),
    n_range=10 ** np.arange(7),
    kernels=[
        pd_offsets_BDay,
        pd_offsets,
        series_map,
        apply_add,
        apply_opadd,
        swifter_apply_add,
        np_busday_offset,
    ],
    equality_check=lambda ser, ser2: ser.equals(ser2),
    xlabel="len(x)",
)
out.show()
out.save("perf.png")

ベンチマーク


素の Python

ちなみに素の Pythonで(ランダムな日時で) NumPy処理同等のことをループ使うと
10000_0000 件で 500秒ほど

質問に明記されてなかった点 (判明したこと)

  • 時間の加算が先か後かで, 営業日 => 土日, あるいは土日 => 営業日に切り替わる場合に 演算に影響出そう
    素の Pythonでは同時に加算可能であり, 問題出そう?
  • 土日で始まる場合があるかどうか。その場合 1日の加算は月曜になるのか, (営業日にしたあと加算で)火曜になるのか
from datetime import datetime, timedelta, timezone
JST = timezone(timedelta(hours=+9), 'JST')

# 加算日時を timedeltaへ変換
def addtimedelta(dt, days=0, **kwargs):
    q, mod = divmod(days, 5)
    dt += timedelta(weeks=q, **kwargs)
    w = dt.weekday()
    if not mod:
        # 週末なら加え過ぎた分を元に戻す, もしくは週を加えなかった場合には次の週へ
        return dt if w < 5 else dt +timedelta(days=(q and 4 or 7) -w)
    elif w >= 5:    # 土日始まりなら
        return dt +timedelta(days=7-1-w +mod)
    if w + mod >= 5:
        mod += 2
    return dt +timedelta(days=mod)

import pandas as pd
import random
drange = [pd.Timestamp(dt).timestamp()for dt in
        ('2022-4-1 10:00:00', '2022-7-1 20:00:00')]
for _ in range(10000_0000):
    dt = datetime.fromtimestamp(random.randint(*drange), tz=JST)
    r = addtimedelta(dt, days=30, hours=1, minutes=23, seconds=4)
    #print(dt, '=>', r)

<<<
回答をもとに質問者が作成したコード

import pandas as pd
#from pandas.tseries.offsets import BDay
from pandas.tseries.offsets import BDay as offsets_BDay
#import pandas.tseries.offsets as offsets   # あるいは
from datetime import datetime, timedelta

dt = pd.date_range('2000/1/3 00:00:00', periods=100000, freq='min').to_series(name="datetime")

def hoge(x, offset_minutes):
    return x + timedelta(minutes=offset_minutes % 1440) + offsets_BDay(offset_minutes // 1440)

dt.apply(hoge, offset_minutes=1)

結果 (左の列は計算前、右の列は計算後の日時)

2000-01-03 00:00:00   2000-01-03 00:01:00
2000-01-03 00:01:00   2000-01-03 00:02:00
2000-01-03 00:02:00   2000-01-03 00:03:00
2000-01-03 00:03:00   2000-01-03 00:04:00
2000-01-03 00:04:00   2000-01-03 00:05:00
                              ...        
2000-03-12 10:35:00   2000-03-13 10:36:00
2000-03-12 10:36:00   2000-03-13 10:37:00
2000-03-12 10:37:00   2000-03-13 10:38:00
2000-03-12 10:38:00   2000-03-13 10:39:00
2000-03-12 10:39:00   2000-03-13 10:40:00
Freq: T, Name: datetime, Length: 100000, dtype: datetime64[ns]

上記コードで10万回計算していますが、実行時間は3秒でした。1億回計算しても現実的な時間で収まりそうです。
祝日を考慮する場合、BDayの代わりにpandas.tseries.offsets.CustomBusinessDayを使うとよさそうです。試してはいません。
<<<


編集提案がありましたが, 少し加工しています

  • 例えば dt += pd.offsets.BDay(0) では 0日なので変化無しに思えて, 実際には月曜から金曜に収まるよう 1〜2日加算される
  • 他に dt - pd.offsets.MonthEnd() では, dtの日付に応じて先月月末に合わせる結果になる
  • offsets では普通の加算・減算とは異なり, 内部では別の処理に置き換えられている

高速化を図るなら . のアトリビュートを減らすのはある程度有効
とは言え, BDay ではなく, 明示的に(それを利用していると判るように) offsets.BDay (もしくは offsets_BDayなど)のように修飾したほうがよいでしょう (なので加工しました)

10
  • この方法だと、例えば30日を足した場合に何度か現れる土日を無視できないように思います。
    – aiew
    Commented 2022年4月17日 6:18
  • なぜそう思うのでしょう? BusinessDay(30) 加えると, '2022-05-13 23:50:00'になるけど間違いですか?
    – oriri
    Commented 2022年4月17日 6:37
  • 回答の方法だと、「dt += pd.Timedelta('20 min')」の部分で時間を足していたので、30日足す場合は「dt += pd.Timedelta('30 day')」になると思いました。
    – aiew
    Commented 2022年4月17日 6:49
  • 1日以上の加算は「BDay()」で足して、その後1日未満の加算「dt += pd.Timedelta('20 min') dt += pd.offsets.BDay(0)」をすれば目標を達成できそうですね!これでやってみます。 ありがとうございます。
    – aiew
    Commented 2022年4月17日 6:56
  • 先に 1日未満を Timedelta で加え, 次に日数を BusinessDay (BDay)で加えると手順が少なくなります
    – oriri
    Commented 2022年4月17日 9:23
1

datetimeを使う方法です。

コード

import datetime
def addTime(base, add):
    friday = 4 #金曜日
    weekEndDays = 2 #土日の2日 
    toWeekend = datetime.timedelta(days = friday - base.weekday(), hours = 23 - base.hour, minutes = 59 - base.minute + 1)
    num = ((add - toWeekend).days // (7 - weekEndDays)) #加算日数 翌週初からの土日の回数、当該週は-1
    #無条件にweekEndDaysを加算しているが当該週はnumが-1となるため相殺
    cadd = datetime.timedelta(days=weekEndDays + add.days + weekEndDays * num, seconds=add.seconds)
    return base + cadd

呼び出し方

    #起点
    year = 2022
    month = 4
    day = 4
    hour = 0
    minute = 1
    basetime = datetime.datetime(year, month, day, hour, minute)

    #加算時刻
    days = 14
    hours = 23
    minutes = 59
    addtime = datetime.timedelta(days=days, hours=hours, minutes=minutes)

    result = addTime(basetime, addtime)

1億回計算しても現実的な時間で完了すること。

100000000回呼び出したときの経過時間は543秒でした。
単にdatetimeとtimedeltaを加算したときの経過時間は218秒です。
ちなみに100000000回の空ループは15秒です。

実行環境

  • Python 3.10.4
  • Ubuntu 20.04.4 LTS (WSL2)
  • プロセッサ Intel(R) Core(TM) i5-6300U CPU @ 2.40GHz 2.50 GHz
4
  • 何となく近いような計算考えてました。wq, wmod = divmod(day, 5); return timedelta(weeks=wq, days=wmod, …。ただ, +1 してるのは計算違うかもです
    – oriri
    Commented 2022年4月18日 13:14
  • @oririさんご指摘ありがとうございます。加算後週末越えのロジックが越えないときにも使えると単純に考えていました。(add.days - toWeekend.days) // 5が負になるので大丈夫かなと。週末を越えるときと越えないときのロジックを共通することはあきらめて場合分けしました。 Commented 2022年4月19日 0:23
  • @oriri 検算したところ結果が正しくない場合がありました。デバッグの時間とれず回答は取り下げます。せっかくコメントくださったのにすみませんでした。 Commented 2022年4月19日 12:52
  • 1
    @oriri デバッグが終了したので取り下げを取り消しました。 Commented 2022年4月20日 0:33
0

更新

その後、時分秒にも対応していそうな(説明のある)モジュールを見つけました。
世界の休日(祝日)にも対応しているようです。

businesstimedelta 1.0.1

Python's timedelta for business time. This module helps you calculate the exact working time between two datetimes. It supports common scenarios such as custom schedules, holidays, and time zones.

business-duration 0.66

Calculates business duration in days, hours, minutes and seconds by excluding weekends, public holidays and non-business hours

上記で休日対応のために使えると書いてあるモジュールがこちら。
holidays 0.13

A fast, efficient Python library for generating country- and subdivision- (e.g. state or province) specific sets of government-designated holidays on the fly. It aims to make determining whether a specific date is a holiday as fast and flexible as possible.

もう一つありました。
businesstime 0.3.0

A simple utility for calculating business time aware timedeltas between two datetimes

ただし どうもいずれのモジュールも就業時刻(開始・終了)を設定しなければならないようなので、土日だけを排除したいという使い方は出来ないかもしれませんね。
あと2つの時刻の差分計算が主で、時間の加算/減算に使う意識は無いか少ないように見えます。

公開されたソースコードを基に自分で作ってみるのも手かもしれません。


>>ここから
回答をもとに質問者が作成したコード

dt = pd.date_range('2000/1/3 00:00:00', periods=100000, freq='min').to_series(name="datetime").reset_index(drop=True)

workday = businesstimedelta.WorkDayRule(
    start_time=time(0),
    end_time=time(23, 59, 59, 999999),
    working_days=[0, 1, 2, 3, 4])

def hoge(x, offset_minutes):
    return x + businesstimedelta.BusinessTimeDelta(workday, timedelta=timedelta(minutes=offset_minutes))

dt.apply(hoge, offset_minutes=1)

結果

0        2000-01-03 00:01:00+00:00
1        2000-01-03 00:02:00+00:00
2        2000-01-03 00:03:00+00:00
3        2000-01-03 00:04:00+00:00
4        2000-01-03 00:05:00+00:00
                    ...           
999995   2001-11-27 10:36:00+00:00
999996   2001-11-27 10:37:00+00:00
999997   2001-11-27 10:38:00+00:00
999998   2001-11-27 10:39:00+00:00
999999   2001-11-27 10:40:00+00:00
Name: datetime, Length: 1000000, dtype: datetime64[ns, UTC]

上記コードで10万回計算していますが、実行時間は4秒でした。ただし、applyではなくfor文を使うと2分かかりました。別回答のBDayを使った方法だとfor文でも3秒でした。
<<ここまで:質問者が実験結果を挿入


以下は必要とする機能が無いとのコメントがあり、情報としてだけ残します

時刻まで考慮されているかは不明ですが、日付だけならばこの辺の記事やモジュールが使えるかもしれません。
Most recent previous business day in Python

import datetime
# BDay is business day, not birthday...
from pandas.tseries.offsets import BDay

today = datetime.datetime.today()
print(today - BDay(4))

明確に時刻も扱っている記事は、回答が未承認ですがこちら。
Python Business hours calculation - add hours and result should be business opening hours
一応コメントでは動作する回答だと認められているようですが、質問者の望むものでは無かったようです。

1
  • 提示いただいた記事、モジュールを確認しましたが、どれも分単位の計算に対応していないようです。
    – aiew
    Commented 2022年4月17日 6:16

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。