次のタグが付いている話題の回答:

4
承認済み

pandas, numpyでの積分・線形保管の処理を高速化したい

scipy.interpolate.InterpolatedUnivariateSpline — SciPy v1.9.3 Manual と scipy.interpolate.InterpolatedUnivariateSpline.integral を使う場合。(~8倍程度の高速化) ※ 「時刻tとその時の状態xを記録したデータがあるとき、ある時刻 t = t1 ...
metropolis's user avatar
  • 5,800
3
承認済み

Pandas 2.0 の melt メソッドでタイムゾーンが変わってしまう

問題の箇所は以下です。 melt() in melt.py if frame.shape[1] > 0: mdata[value_name] = concat( [frame.iloc[:, i] for i in range(frame.shape[1])] ).values else: : ...
metropolis's user avatar
  • 5,800
2

pandas, numpyでの積分・線形保管の処理を高速化したい

回答頂いた内容を元のコードに埋め込み時間を測定し直したところ以下の通り高速化しました。 元のコード:integrate: 15.3秒 / 全体: 56.2秒 改良版 : integrate: 0.454秒 / 全体: 41.2秒 (interpolateの方は修正箇所がかなり多くなってしまうため手が回りませんでしたが、 ロジックはあまり変わらないので同様に早くなりそうです。) ...
Stack User's user avatar
2

pandas, numpyでの積分・線形保管の処理を高速化したい

他の (metropolis さんの)回答でかなり高速化されてそうなので それ以外の部分です x, y, z を同時に演算することで, colabで微妙に速くなったようですが … 実際の環境で比較したほうがよいかも? def integrate(matrix, t, start_time=0.0): time, xyz = np.split(matrix, [1]) time = ...
oriri's user avatar
  • 5,302
2
承認済み

pandasで同一idはまとめて出力し、そのうえでtimestamp順に出力したい。

こちら、カラムがid,timestamp以外に複数あり、そちらのすべてを復元したい場合、どのような記載ができますでしょうか? こちら複数の空白行がある場合、一か所に固まってしまいます。これらの空白行もidのまとまりを崩さないようにtimestampで昇順に並べることは可能でしょうか? id が空欄のデータに何の意味があるのか不明ですが(ログデータを出力しているシステムの不備でしょう)、...
metropolis's user avatar
  • 5,800
1
承認済み

PandasのDataFrame.applyメソッドで、データがゼロ件のときの処理方法について

コメントでのアドバイスを参考に、以下のようにresult_type='reduce'を指定することでゼロ件の場合はapplyを適用する関数は呼び出されなくなりました。 さらに、applyの結果はゼロ件のSeriesを戻すようになり、期待した結果が得られました。 series = df.apply(concat_col, axis='columns', result_type='reduce')
Sasaki.dc's user avatar
1
承認済み

pandasの時間引き算について、時間の表示の問題

※ df_e.index は Timestamp 型ではなく、str 型になります df_e = df_sum.copy() df_e.index = pd.to_datetime(df_e.index) df_e.index = df_e.index - timedelta(minutes=30) print(type(df_e.index[0])) df_e.index = df_e....
metropolis's user avatar
  • 5,800
1
承認済み

ソートされてないMultiIndexの列を持つDataFrameに対して、PerformanceWarningが発生するケースと発生しないケースの差は何でしょうか?

当該のエラーメッセージは以下の drop() メソッドで表示されています。(引用コードの最後の部分) pandas/multi.py at 2.0.x · pandas-dev/pandas def drop( # type: ignore[override] self, codes, level: Index | np.ndarray | Iterable[...
metropolis's user avatar
  • 5,800
1
承認済み

PandasのDataFrame.concatメソッドのsort引数の意味、効果は?

行のソートではなく列の表示順をソートするかしないかを指定できるようです。 import pandas as pd df1 = pd.DataFrame( data={ 'B': ['B2', 'B3'], 'A': ['A2', 'A3'], }, index=[2, 3] ) df2 = pd.DataFrame( data={ ...
merino's user avatar
  • 1,202
1
承認済み

Pythonで特定の文字列を含むかをcontains()を使って判断する関数

def test_kansu1(s): # if s.contains('aaa'): # <-- str 型インスタンスに contains メソッドが無いのでエラー if 'aaa' in s: return 1 else: return 0 def test_kansu2(s): # if s.str.contains(...
metropolis's user avatar
  • 5,800
1
承認済み

pandasでの特定の条件下でのデータ取得ができない。

pandasに使い慣れていないため、どのよう具体的にどのような流れでコードを書けばよいかがわかりません。 分かりやすいかどうかわからないけど, ステップごと ひとつずつ別の DataFrameにしてます 結果としてリストが必要ということなので, 辞書でリスト update: agg指定を変更 lastや firstへ df = pd.read_csv(tsvf) #, ...
oriri's user avatar
  • 5,302
1

pandasでの特定の条件下でのデータ取得ができない。

※ テスト用に行を追加しています。 import pandas as pd import io csv_data = ''' id,数値,分類 aaa,, aaa,, aaa,111,type2 bbb,, bbb,,type1 bbb,222, ccc,,type3 ccc,, ccc,333 ddd,, ddd,, ddd,1234,type2 ''' df = pd.read_csv(io....
metropolis's user avatar
  • 5,800
1

matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'

import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv("csvファイルのパス") df.head() plt.plot(df['x'], df['y'], 'o') plt.show() また、pandas.DataFrame クラスには pandas.DataFrame.plot — ...
metropolis's user avatar
  • 5,800
1

時系列のフォーマットを変更と描画

datetime 項目が既に日時データである場合 @kunif 氏がコメントで記しているように dt アクセサで変換可能 (ちなみに pd.to_datetime(STRING, formt='') は文字列を日時データに変換する方法) import pandas as pd import numpy as np rng = pd.date_range(start="2023-3-20&...
oriri's user avatar
  • 5,302
1
承認済み

複数条件の抽出方法

dfx = df[df['日付+エリア'].str.contains(r'^1月1日_(?:東京|神奈川)_')] print(dfx) 種類 日付+エリア 1 1月1日_東京_新宿 1 1月1日_東京_八王子 1 1月1日_神奈川_横浜 1 1月1日_神奈川_藤沢 追記 もし"日付とエリア"に変更したら、 import pandas as pd df = ...
metropolis's user avatar
  • 5,800
1

時系列の横結合(merge)の質問について

df3 = pd.merge(df1, df2, left_index=True, right_index=True, how='outer') 余談 削除されてしまった「シェルスクリプト(bash)で複数ファイルの結合」ですが、シェルスクリプトでは join コマンドを使います。 $ join -t, -j 1 -a 1 -a 2 -o auto -e '' area1.csv area2....
metropolis's user avatar
  • 5,800
1

時系列の横結合の質問について

index_col=0, parse_dates=Trueを指定することで時間列をインデックスとして読み込めますので、あとはそのまま結合すればよいです。 そしてto_csv時はインデックスも出力するようにします。 さらに時間フォーマットを入力と合わせるためにはdate_formatを指定すればよいです。 import pandas as pd from io import StringIO s1 ...
can110's user avatar
  • 506
1

それぞれの列の値が、文面に含まれているかを判定する

ほぼループに近いけどこんな感じに記述できます df['flag'] = df.apply(lambda s: s['キーワード'] in s['コンテキスト'], axis=1) display(df)
oriri's user avatar
  • 5,302
1
承認済み

Excelデータで条件に合致しないデータを除外して取り込む方法

import pandas as pd df = pd.read_excel('test.xlsx') # 必須項目 required = ['No', 'Name', 'type'] # Model: 規定の文字列 models = ['N-1', 'N-2'] idx = df[required].notna().all(axis=1) dfx = df[idx].query('No &...
metropolis's user avatar
  • 5,800
1
承認済み

データフレームで1つの列の要素の一部に2をかけたい

import pandas as pd import io csv_data = ''' 2022/1/1 0:30,250 2022/1/1 1:00,220 ''' df = pd.read_csv(io.StringIO(csv_data), header=None) # print(df) df.iloc[:,1] *= 2 print(df) # 0 ...
metropolis's user avatar
  • 5,800
1

データフレームで1つの列の要素の一部に2をかけたい

列名を指定しない場合、0から始まる連番の列名が自動的に生成されますので、列名に1を指定することで2列目の値を書き換えることができます。 サンプルコード import pandas as pd from io import StringIO s = """ 2022/01/01 0:30:00,250 2022/01/01 1:00:00,200 "&...
payaneco's user avatar
  • 1.2万
1

dtypeをobjectからint64に変更する方法を教えてください

使っているCSVデータファイルの内容を提示すると助言・回答が出やすいでしょう。 関連する列だけを抽出すれば、おそらくこんなデータになっているのでは? Name,Production,Exports 2013,"248,453",22 2014,"249,764",13 2015,"264,992",4 2016,"263,613&...
kunif's user avatar
  • 1.7万
1

最大値、最小値の時のidを求めたい。

midx = pd.MultiIndex.from_product([['max', 'min'], dfx.columns[:2]]) dfx_max_min = dfx.groupby('分類')['数値'].agg(['idxmax', 'idxmin'])\ .apply(lambda x: dfx.loc[x, dfx.columns[:2]]....
metropolis's user avatar
  • 5,800
1
承認済み

最大値、最小値の時のidを求めたい。

多少 結果の順序が異なります Update (前とあまり変わらないが, とりあえず agg 使用してみた) def fn(sdf): df = pd.concat([dfx.loc[dfx['数値'] == v, ['id', '数値']].iloc[0] for v in sdf['数値'].agg(['max', 'min'])]) df.index = ...
oriri's user avatar
  • 5,302
1
承認済み

dataframeのcolumnsを変更するとindexの上に0が入る

CSV 側にヘッダー行が実質 2 行分あって、2 行目は無視したいが、そのための処理を書いたとき意図しない位置にも名前が入ってしまうということですね。 pd.read_csv をする際に skiprows=2 で先頭の 2 行を無視するのではなくて、skiprows=[1] で 2 行目だけ無視するようにするのが早いです。 df = pd.read_csv('test_data.csv', ...
nekketsuuu's user avatar
  • 2.3万
1
承認済み

pandas グルーピング化を使用してデータ取得ができるかが知りたい。

typ = ('type1', 'type2', 'type3') dfx = df.groupby('id', group_keys=False)\ .apply(lambda x: x.assign(数値=x.iloc[-1]['数値']).dropna())\ .astype({'数値': int}).query('分類 in @typ')....
metropolis's user avatar
  • 5,800
1
承認済み

pandas .agg(['mean'])で正確な値を求めることができない。

agg(['mean']) の結果だけが可怪しいのであれば, その処理を(何らかの要因で)書き換えてしまった可能性があります。 dfxの内容を(例えば) CSVなどの形式で保存し, 別環境で読み込み agg(['mean']) が正しい値で得られるならば, 原因は 「処理が置き換わった」ことでしょう 可能性があります。 (別環境でも失敗するのであれば手順を質問に追記してみてください) 追記 ...
oriri's user avatar
  • 5,302
1

pandasで同一idはまとめて出力し、そのうえでtimestamp順に出力したい。

「加工したいデータ」の id順 は 「元データ」の id の出現順である、との仮定で回答します。 ※ pandasのバージョンが1.1.0であること import pandas as pd import io data = """ id,timestamp idefs,2022-12-15T00:00:01.0000000Z idefs,2022-12-15T00:...
merino's user avatar
  • 1,202

Only top scored, non community-wiki answers of a minimum length are eligible