1

freq='D'のDateTimeIndexで、ニューヨーク時刻の2022/02/07を92日前にずらすとAmbiguousTimeErrorが発生します。

freq属性をNoneにすればエラーを回避できることが確認できましたが、現在の振る舞い/仕様が不可解で納得できずにいます。
タイムゾーンを変換するときに、夏時間によるあいまいさが発生するのは理解でできたのですが、freq属性の有無で振る舞いが変わることが理解できません。
この振る舞いは仕様(期待どおりの振る舞い)なのでしょうか?
もし仕様だとしたら、それを裏付ける背景/理由などがご存じでしょうか?

Windows10, Python 3.9.1, Pandas 1.4.1 で100%再現しました。

import platform
import pandas as pd
print(f'- Python:[{platform.python_version()}], Pandas:[{pd.__version__}]')

datetime_index = pd.DatetimeIndex([pd.Timestamp('2022-02-07',tz='America/New_York')], freq='D')
# datetime_index.freq = None # <---この行を実行するとエラー回避できた
print('入力:', datetime_index)

datetime_index = datetime_index.shift(periods=-92, freq='D')
print('出力:', datetime_index)

画像の説明をここに入力

1
  • 1
    エラーメッセージも画面キャプチャではなく、文字のまま質問に貼り付けて下さい。
    – cubick
    Commented 2022年2月27日 16:16

2 件の回答 2

0

この振る舞いは仕様(期待どおりの振る舞い)なのでしょうか?

ソースコードの通りに動作しているので仕様と言えるのでしょう、おそらく。。。
※ 本来であれば shift メソッドに ceilfloor メソッドと同様に ambiguous キーワードが用意されているとよいのですけれども。

最初に、pandas.core.indexes.datetimelike.DatetimeIndexOpsMixin.shift メソッドのソースコードは以下になります。

pandas/datetimelike.py at 1.4.x · pandas-dev/pandas

def shift(self: _T, periods: int = 1, freq=None) -> _T:
                  :

    arr = self._data.view()
    arr._freq = self.freq
    result = arr._time_shift(periods, freq=freq)
    return type(self)._simple_new(result, name=self.name)

ここで、pandas.core.arrays.datetimelike.DatetimeLikeArrayMixin._time_shift を呼び出しています。

pandas/datetimelike.py at 1.4.x · pandas-dev/pandas

def _time_shift(
        self: DatetimeLikeArrayT, periods: int, freq=None
) -> DatetimeLikeArrayT:
                  :

    if freq is not None and freq != self.freq:
        if isinstance(freq, str):
            freq = to_offset(freq)
        offset = periods * freq
        return self + offset
                  :

今回の場合、freqshift の parameter で -92 です。そして、

    datetime_index.freq = None

を実行した場合、self.freqNone になります。つまり、この if statement が成立して(True)、

>>> datetime_index + (-92) * pd._libs.tslibs.to_offset('D')
DatetimeIndex(['2021-11-07 01:00:00-04:00'], dtype='datetime64[ns, America/New_York]', freq=None)

が戻される事になります(DST は考慮されません)。

1
  • ありがとうございます。コードどおりの動作であることを知ることができてよかったです。
    – Sasaki
    Commented 2022年2月27日 23:19
0

freq属性の有無 よりも freq属性が'D'である ことと、時刻を指定していないので 00:00:00 を指定したと見做される ことの組み合わせが原因と思われます。

DateOffset objects - Time series / date functionality
pandasの上記説明に書かれている'D'より細かい単位の'H','T','S','L','U','N'freq=に指定するとエラーは発生しません。

またfreq='D'のままでpd.Timestamp('2022-02-07',tz='America/New_York')'2022-02-07'の部分に午前2時以後の時刻を指定して'2022-02-07 02:00''2022-02-07 23:59:59.999999999'にするとエラーは発生しません。
しかし時刻部分に00:00から01:59:59.999999999までを指定していると同様のエラーになります。

こちらの記事で、'Europe/Berlin'のタイムゾーンだと02:00から02:59:59.999999999までが同様に曖昧な時間として扱われるようです。
Why do I get 'Cannot infer dst time from '2017-10-29 02:04:15', try using the 'ambiguous' argument?

この辺のIssueが関連してそうで修正されているケースもあるようですね。
Fix naive-datetime timezone conversion when marshaling dataframes #1061
Fix datetime timezone handling in data frames #2784
BUG: round() on tz-aware DateTimeIndex (spanning DST switch) throws AmbiguousTimeError as if tz-unaware #37485
BUG: Timestamp.floor() method not able to handle DST change in local time #44287

だからまだ修正しきれていないバグの可能性もありそうです。
Issuesを検索して同様の物が無ければIssueを発行してみてはどうでしょう?

1

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。