背景
時系列データの分析を行おうと思っております。
各時刻ごとにseriesを作ってcorrを出そうとしているのですが、NaNになってうまく参照できません。(おそらくデータフレームのインデックスが悪さをしているものと思われます)
row_dataは以下で指定したデータフレームです。
ドル円の価格データ、時刻(UTC)を格納してます。
row_data = pd.DataFrame()
row_data.index = pd.to_datetime( a_time ,unit='s' )
以下はrow_dataの中身です。
(黒塗りしている部分は学習させようとしているとある特徴量です、秘密となって申し訳ありません)
欲しいもの
お尋ねしたいことは、インデックスを置き換えて各時間帯ごとのドル円の動きの相関を計算する方法です。
相関を計算したい背景としては、以下の二つがございます。
- 「この時間帯は売られている傾向にある」「この時間帯は価格がほとんど動かない」といった時間帯別の動きを分析したい
- 「この時間帯で売りだったら、同じ日の別の時間帯でも売りだな」といった同じ日のプライスアクションの推定に使いたい
時間帯別に分けるために、あえてrow_data.query('time.dt.hour % 24 == ??')としてmodを計算しております。
もし叶うなら、price0 ~ price23という指定方法もスマートな記法でないので直したいです。
よろしくお願いいたします。
以下、問題のコード
price0 = row_data.query('time.dt.hour % 24 == 0')["price"]
price1 = row_data.query('time.dt.hour % 24 == 1')["price"]
price2 = row_data.query('time.dt.hour % 24 == 2')["price"]
price3 = row_data.query('time.dt.hour % 24 == 3')["price"]
price4 = row_data.query('time.dt.hour % 24 == 4')["price"]
price5 = row_data.query('time.dt.hour % 24 == 5')["price"]
price6 = row_data.query('time.dt.hour % 24 == 6')["price"]
price7 = row_data.query('time.dt.hour % 24 == 7')["price"]
price8 = row_data.query('time.dt.hour % 24 == 8')["price"]
price9 = row_data.query('time.dt.hour % 24 == 9')["price"]
price10 = row_data.query('time.dt.hour % 24 == 10')["price"]
price11 = row_data.query('time.dt.hour % 24 == 11')["price"]
price12 = row_data.query('time.dt.hour % 24 == 12')["price"]
price13 = row_data.query('time.dt.hour % 24 == 13')["price"]
price14 = row_data.query('time.dt.hour % 24 == 14')["price"]
price15 = row_data.query('time.dt.hour % 24 == 15')["price"]
price16 = row_data.query('time.dt.hour % 24 == 16')["price"]
price17 = row_data.query('time.dt.hour % 24 == 17')["price"]
price18 = row_data.query('time.dt.hour % 24 == 18')["price"]
price19 = row_data.query('time.dt.hour % 24 == 19')["price"]
price20 = row_data.query('time.dt.hour % 24 == 20')["price"]
price21 = row_data.query('time.dt.hour % 24 == 21')["price"]
price22 = row_data.query('time.dt.hour % 24 == 22')["price"]
price23 = row_data.query('time.dt.hour % 24 == 23')["price"]
timedata = pd.DataFrame()
timedata["price0"] = price0
timedata["price1"] = price1
timedata["price2"] = price2
timedata["price3"] = price3
timedata["price4"] = price4
timedata["price5"] = price5
timedata["price6"] = price6
timedata["price7"] = price7
timedata["price8"] = price8
timedata["price9"] = price9
timedata["price10"] = price10
timedata["price11"] = price11
timedata["price12"] = price12
timedata["price13"] = price13
timedata["price14"] = price14
timedata["price15"] = price15
timedata["price16"] = price16
timedata["price17"] = price17
timedata["price18"] = price18
timedata["price19"] = price19
timedata["price20"] = price20
timedata["price21"] = price21
timedata["price22"] = price22
timedata["price23"] = price23
timedata.corr()
追記1
出力結果の画像:
下図参照。対話型の環境で timedata.corr() と一文のみ叩いた結果です。
(Google Colab使用)
追記2
以下のコマンドを実行した結果を貼ります
print(timedata.dtypes)
price0 float64
price1 float64
price2 float64
price3 float64
price4 float64
price5 float64
price6 float64
price7 float64
price8 float64
price9 float64
price10 float64
price11 float64
price12 float64
price13 float64
price14 float64
price15 float64
price16 float64
price17 float64
price18 float64
price19 float64
price20 float64
price21 float64
price22 float64
price23 float64
dtype: object
print(timedata.head())
price0 price1 price2 ... price21 price22 price23
2020-02-14 00:04:53 107.592214 NaN NaN ... NaN NaN NaN
2020-02-15 00:04:03 108.605378 NaN NaN ... NaN NaN NaN
2020-02-16 00:03:05 104.148801 NaN NaN ... NaN NaN NaN
2020-02-17 00:04:56 104.670248 NaN NaN ... NaN NaN NaN
2020-02-18 00:02:49 102.353737 NaN NaN ... NaN NaN NaN
追記3
oriri様のコマンドを試したところ、同じく望む結果が得られました。ありがとうございました!
#print(timedata.head())
row_data['hour'] = row_data.time.dt.hour; row_data['idx'] = row_data.groupby(['hour']).cumcount(); t_df = row_data.pivot(index='idx', columns='hour', values='price');
t_df
---------------------------------------------------------------------------
hour 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
idx
0 101.466057 100.736002 100.613901 100.550625 100.040697 99.336579 99.565088 99.802942 99.615076 101.952404 101.723916 101.457435 101.356704 101.084811 101.348601 100.937615 100.536535 98.637930 99.698924 100.006355 99.449476 99.796364 99.678555 100.546013
1 99.220459 98.619188 99.204835 98.989250 99.203553 99.896366 99.901667 99.571404 99.957212 100.023744 100.018346 99.273064 98.484291 98.480936 97.399156 98.063215 98.525274 98.860104 98.408608 98.352853 98.606536 98.449535 98.447897 98.291042
2 103.406300 102.998132 103.018872 103.494632 103.299935 103.028391 103.057140 102.373089 102.546459 99.522024 99.020597 99.059842 99.045411 98.607208 98.365976 98.904512 100.218330 100.846127 101.373579 101.751316 102.223781 103.480178 102.521503 103.394961
3 98.220579 98.334953 98.081711 97.962889 97.777987 97.718834 97.682106 98.161300 98.175861 103.356480 103.129635 103.046662 103.508397 102.966195 103.054323 103.265744 103.266786 103.617703 103.332107 103.747723 103.449175 102.776059 97.755187 98.859030
4 98.042543 97.974252 98.381533 98.380449 98.831023 98.775352 98.675039 98.685778 98.556643 97.510241 98.027801 98.031343 97.685927 97.426084 97.828133 97.839126 97.759634 98.404448 97.237050 97.201989 97.516242 97.767862 98.191744 98.138238
... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...
row_data
を元にして, corr() 直前の DataFrame に, これで作ることができるかどうか, ということでした。timedata
ではなくrow_data
に対して行ってみてください