4
票
承認済み
pandas, numpyでの積分・線形保管の処理を高速化したい
scipy.interpolate.InterpolatedUnivariateSpline — SciPy v1.9.3 Manual と scipy.interpolate.InterpolatedUnivariateSpline.integral を使う場合。(~8倍程度の高速化)
※
「時刻tとその時の状態xを記録したデータがあるとき、ある時刻 t = t1 ...
3
票
承認済み
Pandas 2.0 の melt メソッドでタイムゾーンが変わってしまう
問題の箇所は以下です。
melt() in melt.py
if frame.shape[1] > 0:
mdata[value_name] = concat(
[frame.iloc[:, i] for i in range(frame.shape[1])]
).values
else:
:
...
2
票
pandas, numpyでの積分・線形保管の処理を高速化したい
回答頂いた内容を元のコードに埋め込み時間を測定し直したところ以下の通り高速化しました。
元のコード:integrate: 15.3秒 / 全体: 56.2秒
改良版 : integrate: 0.454秒 / 全体: 41.2秒
(interpolateの方は修正箇所がかなり多くなってしまうため手が回りませんでしたが、
ロジックはあまり変わらないので同様に早くなりそうです。)
...
2
票
pandas, numpyでの積分・線形保管の処理を高速化したい
他の (metropolis さんの)回答でかなり高速化されてそうなので
それ以外の部分です
x, y, z を同時に演算することで, colabで微妙に速くなったようですが …
実際の環境で比較したほうがよいかも?
def integrate(matrix, t, start_time=0.0):
time, xyz = np.split(matrix, [1])
time = ...
2
票
承認済み
pandasで同一idはまとめて出力し、そのうえでtimestamp順に出力したい。
こちら、カラムがid,timestamp以外に複数あり、そちらのすべてを復元したい場合、どのような記載ができますでしょうか?
こちら複数の空白行がある場合、一か所に固まってしまいます。これらの空白行もidのまとまりを崩さないようにtimestampで昇順に並べることは可能でしょうか?
id が空欄のデータに何の意味があるのか不明ですが(ログデータを出力しているシステムの不備でしょう)、...
1
票
承認済み
PandasのDataFrame.applyメソッドで、データがゼロ件のときの処理方法について
コメントでのアドバイスを参考に、以下のようにresult_type='reduce'を指定することでゼロ件の場合はapplyを適用する関数は呼び出されなくなりました。
さらに、applyの結果はゼロ件のSeriesを戻すようになり、期待した結果が得られました。
series = df.apply(concat_col, axis='columns', result_type='reduce')
1
票
承認済み
pandasの時間引き算について、時間の表示の問題
※ df_e.index は Timestamp 型ではなく、str 型になります
df_e = df_sum.copy()
df_e.index = pd.to_datetime(df_e.index)
df_e.index = df_e.index - timedelta(minutes=30)
print(type(df_e.index[0]))
df_e.index = df_e....
1
票
承認済み
ソートされてないMultiIndexの列を持つDataFrameに対して、PerformanceWarningが発生するケースと発生しないケースの差は何でしょうか?
当該のエラーメッセージは以下の drop() メソッドで表示されています。(引用コードの最後の部分)
pandas/multi.py at 2.0.x · pandas-dev/pandas
def drop( # type: ignore[override]
self,
codes,
level: Index | np.ndarray | Iterable[...
1
票
承認済み
PandasのDataFrame.concatメソッドのsort引数の意味、効果は?
行のソートではなく列の表示順をソートするかしないかを指定できるようです。
import pandas as pd
df1 = pd.DataFrame(
data={
'B': ['B2', 'B3'],
'A': ['A2', 'A3'],
},
index=[2, 3]
)
df2 = pd.DataFrame(
data={
...
1
票
承認済み
Pythonで特定の文字列を含むかをcontains()を使って判断する関数
def test_kansu1(s):
# if s.contains('aaa'): # <-- str 型インスタンスに contains メソッドが無いのでエラー
if 'aaa' in s:
return 1
else:
return 0
def test_kansu2(s):
# if s.str.contains(...
1
票
承認済み
pandasでの特定の条件下でのデータ取得ができない。
pandasに使い慣れていないため、どのよう具体的にどのような流れでコードを書けばよいかがわかりません。
分かりやすいかどうかわからないけど, ステップごと
ひとつずつ別の DataFrameにしてます
結果としてリストが必要ということなので, 辞書でリスト
update: agg指定を変更 lastや firstへ
df = pd.read_csv(tsvf) #, ...
1
票
pandasでの特定の条件下でのデータ取得ができない。
※ テスト用に行を追加しています。
import pandas as pd
import io
csv_data = '''
id,数値,分類
aaa,,
aaa,,
aaa,111,type2
bbb,,
bbb,,type1
bbb,222,
ccc,,type3
ccc,,
ccc,333
ddd,,
ddd,,
ddd,1234,type2
'''
df = pd.read_csv(io....
1
票
matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'
import pandas as pd
import matplotlib.pyplot as plt
df = pd.read_csv("csvファイルのパス")
df.head()
plt.plot(df['x'], df['y'], 'o')
plt.show()
また、pandas.DataFrame クラスには pandas.DataFrame.plot — ...
1
票
時系列のフォーマットを変更と描画
datetime 項目が既に日時データである場合
@kunif 氏がコメントで記しているように dt アクセサで変換可能
(ちなみに pd.to_datetime(STRING, formt='') は文字列を日時データに変換する方法)
import pandas as pd
import numpy as np
rng = pd.date_range(start="2023-3-20&...
1
票
承認済み
複数条件の抽出方法
dfx = df[df['日付+エリア'].str.contains(r'^1月1日_(?:東京|神奈川)_')]
print(dfx)
種類
日付+エリア
1
1月1日_東京_新宿
1
1月1日_東京_八王子
1
1月1日_神奈川_横浜
1
1月1日_神奈川_藤沢
追記
もし"日付とエリア"に変更したら、
import pandas as pd
df = ...
1
票
時系列の横結合(merge)の質問について
df3 = pd.merge(df1, df2, left_index=True, right_index=True, how='outer')
余談
削除されてしまった「シェルスクリプト(bash)で複数ファイルの結合」ですが、シェルスクリプトでは join コマンドを使います。
$ join -t, -j 1 -a 1 -a 2 -o auto -e '' area1.csv area2....
1
票
時系列の横結合の質問について
index_col=0, parse_dates=Trueを指定することで時間列をインデックスとして読み込めますので、あとはそのまま結合すればよいです。
そしてto_csv時はインデックスも出力するようにします。
さらに時間フォーマットを入力と合わせるためにはdate_formatを指定すればよいです。
import pandas as pd
from io import StringIO
s1 ...
1
票
それぞれの列の値が、文面に含まれているかを判定する
ほぼループに近いけどこんな感じに記述できます
df['flag'] = df.apply(lambda s: s['キーワード'] in s['コンテキスト'], axis=1)
display(df)
1
票
承認済み
Excelデータで条件に合致しないデータを除外して取り込む方法
import pandas as pd
df = pd.read_excel('test.xlsx')
# 必須項目
required = ['No', 'Name', 'type']
# Model: 規定の文字列
models = ['N-1', 'N-2']
idx = df[required].notna().all(axis=1)
dfx = df[idx].query('No &...
1
票
承認済み
データフレームで1つの列の要素の一部に2をかけたい
import pandas as pd
import io
csv_data = '''
2022/1/1 0:30,250
2022/1/1 1:00,220
'''
df = pd.read_csv(io.StringIO(csv_data), header=None)
#
print(df)
df.iloc[:,1] *= 2
print(df)
# 0 ...
1
票
データフレームで1つの列の要素の一部に2をかけたい
列名を指定しない場合、0から始まる連番の列名が自動的に生成されますので、列名に1を指定することで2列目の値を書き換えることができます。
サンプルコード
import pandas as pd
from io import StringIO
s = """
2022/01/01 0:30:00,250
2022/01/01 1:00:00,200
"&...
1
票
dtypeをobjectからint64に変更する方法を教えてください
使っているCSVデータファイルの内容を提示すると助言・回答が出やすいでしょう。
関連する列だけを抽出すれば、おそらくこんなデータになっているのでは?
Name,Production,Exports
2013,"248,453",22
2014,"249,764",13
2015,"264,992",4
2016,"263,613&...
1
票
最大値、最小値の時のidを求めたい。
midx = pd.MultiIndex.from_product([['max', 'min'], dfx.columns[:2]])
dfx_max_min = dfx.groupby('分類')['数値'].agg(['idxmax', 'idxmin'])\
.apply(lambda x: dfx.loc[x, dfx.columns[:2]]....
1
票
承認済み
最大値、最小値の時のidを求めたい。
多少 結果の順序が異なります
Update (前とあまり変わらないが, とりあえず agg 使用してみた)
def fn(sdf):
df = pd.concat([dfx.loc[dfx['数値'] == v, ['id', '数値']].iloc[0]
for v in sdf['数値'].agg(['max', 'min'])])
df.index = ...
1
票
承認済み
dataframeのcolumnsを変更するとindexの上に0が入る
CSV 側にヘッダー行が実質 2 行分あって、2 行目は無視したいが、そのための処理を書いたとき意図しない位置にも名前が入ってしまうということですね。
pd.read_csv をする際に skiprows=2 で先頭の 2 行を無視するのではなくて、skiprows=[1] で 2 行目だけ無視するようにするのが早いです。
df = pd.read_csv('test_data.csv', ...
1
票
承認済み
pandas グルーピング化を使用してデータ取得ができるかが知りたい。
typ = ('type1', 'type2', 'type3')
dfx = df.groupby('id', group_keys=False)\
.apply(lambda x: x.assign(数値=x.iloc[-1]['数値']).dropna())\
.astype({'数値': int}).query('分類 in @typ')....
1
票
承認済み
pandas .agg(['mean'])で正確な値を求めることができない。
agg(['mean']) の結果だけが可怪しいのであれば, その処理を(何らかの要因で)書き換えてしまった可能性があります。
dfxの内容を(例えば) CSVなどの形式で保存し, 別環境で読み込み agg(['mean']) が正しい値で得られるならば, 原因は 「処理が置き換わった」ことでしょう 可能性があります。
(別環境でも失敗するのであれば手順を質問に追記してみてください)
追記
...
1
票
pandasで同一idはまとめて出力し、そのうえでtimestamp順に出力したい。
「加工したいデータ」の id順 は 「元データ」の id の出現順である、との仮定で回答します。
※ pandasのバージョンが1.1.0であること
import pandas as pd
import io
data = """
id,timestamp
idefs,2022-12-15T00:00:01.0000000Z
idefs,2022-12-15T00:...
Only top scored, non community-wiki answers of a minimum length are eligible
関連するタグ
pandas × 420python × 400
python3 × 95
numpy × 31
matplotlib × 28
csv × 26
seaborn × 6
json × 5
正規表現 × 4
機械学習 × 4
excel × 4
web-scraping × 4
google-colaboratory × 4
r × 3
jupyter-notebook × 3
anaconda × 3
selenium × 3
dataframe × 3
postgresql × 2
pip × 2
mecab × 2
scikit-learn × 2
テキストファイル × 2
scipy × 2
openpyxl × 2