すべての質問
32 件の質問
0
票
1
回答
166
閲覧数
復元抽出と非復元抽出を切り替えて実行できる関数を定義したい
targetに格納されている値について、population内からこれに近似した値とindexを出力したいです。
抽出方法は復元抽出と非復元で、抽出関数の中で方法を切り替えたいと思っています。
以下のコードは、復元抽出だけ可能です。
% python
Python 3.9.12
>>> import pandas as pd
>>> import numpy ...
0
票
1
回答
133
閲覧数
無相関検定をしたいのですがやりかたを教えてください
import numpy as np
import pandas as pd
df_maize = pd.read_csv("PSD online data maize.csv", thousands=',')]
df_maize.corr()
相関係数の計算まではできましたが以下の検定でエラーが起きました
import pandas as pd
import ...
0
票
2
回答
291
閲覧数
dtypeをobjectからint64に変更する方法を教えてください
import numpy as np
import pandas as pd
df_maize = pd.read_csv("PSD online data maize.csv")
print(df_maize["Name"])
print(df_maize["Production"])
print(df_maize["...
0
票
1
回答
325
閲覧数
matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'
VSCodeで以下のプログラムを実行するとエラーメッセージが表示されグラフが表示されません。解決法がありましたら教えて下さい
エラー
例外が発生しました: TypeError unhashable type: 'numpy.ndarray'
コード:
import pandas as pd
df =pd.read_csv("csvファイルのパス")
df.head()
x = ...
5
票
3
回答
533
閲覧数
pandas, numpyでの積分・線形保管の処理を高速化したい
Pythonで数値解析のソフトウェアを作成しているのですが、処理に時間が掛かっており高速化したいと考えています。
cProfileで解析したところ、以下のintegrate()とscipyのinterp1dという2つの関数で全体の約47%の処理時間を占めていることが分かりました(total: 54.4 s, integrate: 14.7 s, interp1d: 11.2 s)。
...
0
票
1
回答
550
閲覧数
pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処
KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。
>>> train.info()
<class 'pandas.core.frame.DataFrame'>
Index: 458913 entries, ...
0
票
1
回答
451
閲覧数
DataFrame.queryの使い方について
https://note.nkmk.me/python-pandas-query/
にある、
print(df.query('name.str.contains("li")', engine='python'))
を真似してコーディングしているのですが、
raise NotImplementedError(f"'{node_name}' nodes are not ...
0
票
2
回答
340
閲覧数
DataFrameで各行毎に処理をした結果を1つのリストにまとめる方法
DataFrameで各行毎に処理をした結果を1つのリストにまとめたいです。
下記のように書くことはできたのですが、可読性向上のために、myfunc内で関数外のリストに要素を追加しているのをやめて、別の方法で書くことはできないでしょうか?
apply以外の方法でも構わないのですが、iterrowsは使わずに書きたいです。
import pandas as pd
df = pd.DataFrame(
...
0
票
1
回答
1,233
閲覧数
DataFrameで条件に一致した文字から始まる列の値が条件に一致した文字以外であれば抽出する方法
DataFrameで「条件に一致した文字("input")から始まる列の値が条件に一致した文字("a")以外であれば抽出」したいです。
下記のように書くことはできたのですが、もう少し簡潔に書けないでしょうか?
import pandas as pd
df = pd.DataFrame(
[["Yamada", "a&...
0
票
1
回答
1,255
閲覧数
pandasのリスト要素を加算するときにNaNになることを避ける方法
DateFrameの複数の列にそれぞれリストが格納されているときに、リスト内の値を結合して1つのリストを生成したいです。列の値としてNaNが含まれていない場合は列同時を結合すれば実現できたのですが、NaNが含まれる場合に結果がNaNとなってしまいます。NaNを除いて処理を行うにはどうすればよいでしょうか?
import pandas as pd
import numpy as np
...
0
票
1
回答
2,036
閲覧数
pythonとcsvファイルを使って3次元グラフを作りたい
pythonとcsvファイルを用いて3次元グラフを作りたいです。
画像のようなCSVファイルを用いて三次元グラフを作ることを目標としています。(エクセルで開いているのでコンマの位置でセル分けされています。)
pos=768,列はAMKまで存在しています。
この画像中の9行目がx軸、A列がy軸に該当し、中のデータがz軸で表現される量に該当します。
...
0
票
1
回答
6,299
閲覧数
Python でのValueError: Length mismatchへの対処が分かりません。
以下のコードで突然ValueError: Length mismatchが出てきて、対処の方法が分かりません。同じ証券コードを繰り返し取得したからかと思ったのですがそうではなく、昨日までは問題なく動作していたためどこを改善してよいかも不明です。
解決策を教えていただけますでしょうか。
%matplotlib inline
import pandas as pd
import matplotlib....
0
票
2
回答
100
閲覧数
リストを作るときに、必要な要素数になるまで回したい
データセットを作成したい。そこで以下のコードに改良を加えたい。
コードで計算されているDisが、1<Dis<2の間に収まるようにしたい。
つまり、それ以外の値を取るDisの行の組み合わせは捨てたいです。
しかし、最終的に得られるP_sample_2のデータは10×6の行列になるようにしたい。
どのように考えるのがよいでしょうか?
P_sample = []
PP_sample = []
...
0
票
1
回答
337
閲覧数
クロス表で集計軸(columns)を水平方向に複数並べる方法。
【質問文修正】
「stock_a」と1つの変数を軸にした集計表の出力はできましたが、
例えば「stock_a」「industry_a」等、複数の変数を同じレベルで並べた集計表の出力ができません。どのようなコードが適切でしょうか。
コード
import pandas as pd
df = pd.DataFrame({
'id':['id00001','id00002','id00003','...
0
票
0
回答
447
閲覧数
過去ログ、ヒストリーを確認したい
python spyder の過去ログ、ヒストリーを確認したい。前回やったコマンドと結果の記録がない。
0
票
1
回答
365
閲覧数
得られたデータ(deque)を書式に合わせてcsvに出力したいです.
現在,筋電センサを用いて動作推定するプログラムを作っているのですが,個人学習する際に得られるデータをトーレーニングデータの書式(csv)と同じようにcsvに出力したいと考えています.使用している筋電センサは8電極あり,8行1列の行列値でデータが取得できます.
例 deque([160067619223897, [-12, 13, 2, 4, 1, 4, 0, 0])のような形式で表示されます.
...
1
票
2
回答
753
閲覧数
年齢を区間ごとにダミー変数化したい
初めまして、Pythonおよびデータ分析初心者です。主にPandasとNumpy,Sklearnを使ってkaggle等のコンペに挑戦している最中の者です。
データセットをロジスティック回帰によって分析したいのですが、質的データであればpd.getdummies()で簡単にダミー変数を作ることができることを最近学びました。...
4
票
2
回答
258
閲覧数
pandasの2次元配列から、1の値が入っている行、列番号を列挙する方法
2値の値が入っているnumpy arrayがあります。
そのarrayから1の値が入っている行と列番号を列挙したいです。
イメージ
以下のようなdataframeデータがあるとします
df = pd.DataFrame(np.array([[0,0,1],[1,0,1],[4,0,1]]))
df.index = [0, 1, 4]
これは以下のような表になると思います。
...
0
票
1
回答
182
閲覧数
以下のリストデータがあり、さらにカラムの中に辞書型のデータがあります。これを以下の形に変換したいのですが、やり方が不明
現在以下の形のリストデータを抽出しました。
[['A (S)' 'B (M)']
['1234'
'{ "voltage" : { "name" : { "S" : "R00070" }, "button" : { "L" : [ { "N" : "29" }, { "N" : "0" } ] }']
['5678'
'{ "voltage" : { "name" : { "...
0
票
1
回答
4,856
閲覧数
複数のdataframeをfor文で回したい
df_1, df_2, df_3 とカラムがすべて同じなデータフレームがあるとき、
df_1['year'].shape
df_2['year'].shape
df_3['year'].shape
上記を for 文で回したく、
for i in (1,2,3):
df_(i)['year'].shape
のように実現したいのですが、どのようにすれば自動化できますでしょうか?
0
票
1
回答
402
閲覧数
要素がlist型であるpandasのdataframeをndarrayの2次元配列にしたい
dataframe e.g)
date vec
2019-01-04 [-0.08072768, -0.061041858, 0.09872102]
2019-01-04 [-0.07853928, -0.058681224, 0.10971683]
こういったdataframeがあった場合に、...
0
票
2
回答
1万
閲覧数
pandasにて一次元へというエラーがでる
array([[-1, 0, 1, 1, 1, 0, 2, 3, 4, 5, 6, 7, 8, 7, 0],
[-1, 9, 10, 11, 12, 11, 13, 11, 14, 11, 15, 12, 16, 17, 18],
[-1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,...
0
票
2
回答
282
閲覧数
pythonを使用して複数のcsvデータを操作
pythonを使用して2つのcsvファイルを一つにまとめたいと考えております。
【list1】
route_node,X,Y
50775,-7882.7599,-43837.4058
50774,-7886.58284,-43851.12686
50772,-7895.8552,-43835.9677
【list2】
id,x,y
57136,-10171.54496,-44468.08496
...
1
票
2
回答
1,193
閲覧数
numpy配列をdataframeに変換する際に、インデックスを付与する方法について
n次元のnumpy配列をdataframeに変換する際、dataframeの1列目には1次元目のインデックス、2列目には2次元目のインデックス、・・・n列目にはn次元目のインデックス、n+1列目に配列の要素、となるようなデータフレームの作成方法をご教示賜りたいと存じます。
今までは、以下のとおり、行数が配列の要素数、列数がn+1列の2次元のnumpy配列を用意しておき、...
1
票
1
回答
1,091
閲覧数
Python3で各サンプルごとに相関係数を算出する方法
前提条件・実装したい事
Pythonを使用して、既存のDataFrame(下記の「加工前のデータセット(df)」)を基に相関係数
を排出したいと思っています。
具体的なデータセットのイメージとしては、下記の「加工後のデータセット」の様な感じです。
加工前のデータセット(df)
|Weight(g)|Long axis|Short axis|Grain thickness|Sumple_vert|...
0
票
2
回答
464
閲覧数
matplotlib / pandasを用いた部分的に階層構造を持つデータの棒グラフプロット
4つのアルゴリズム:A,B,C,Dの結果の棒グラフをプロットしようとしています.
次の例に示すように,A,Bの結果は1つの数値です.一方でCとDはアルゴリズム内に1つのパラメータkを持ち,パラメータ毎に結果があります.
例)
A: 66%
B: 68.5%
C: k=1: 69%
k=2: 73%
k=3: 80%
D: k=1: 72%
k=2: 78%
k=...
1
票
1
回答
264
閲覧数
pythonでの正規表現について教えてください
いろいろと調べてみましたが、なかなか理解に苦しんでおります。
下記のような条件の場合の正規表現を教えてください。
対象ファイル名について
1.n番目からm番目の文字列を抜き出す
2.n番目からm番目の文字列を削除する
3.最初からn番目までを抜き出す
4.最後からn番目までを抜き出す
例えば
"sample12345_abc_181022.txt"
から、...
1
票
2
回答
4,407
閲覧数
pandas.read_csv読み込んだCSVファイルのファイル名を出力する画像ファイル名に追加したい
次のようにして読み込んだファイル"sample12345.csv"
df = pd.read_csv("./sample12345.csv", sep=',' , encoding="UTF-8")
自動的に下記のようなファイル名で出力する方法はありますか?
(sampleだけを抜き出して,"saveimage_"の後ろに追加している)
plt.savefig("./...
0
票
2
回答
4,231
閲覧数
pandas.dataframeからilocを用いて必要なデータだけを抜き出した際に表示されるワーニングについて教えてください。
pandasのデータフレーム(df2)から必要な行列だけを抜き出すために、下記のような操作をした際に表示されるワーニングについて。
df2 = df.iloc[0:3201,:]
#必要なデータだけ抜き出し
df2 = df2.astype(float)
#データ型変更:実数
df_index = df2.iloc[:,0]
df_alfa = df2.iloc[:,np.arange(1, ...
0
票
1
回答
7,835
閲覧数
Matplotlibで、たくさんの列データから必要な複数データを選択してを一つのグラフに一度に描画する賢い方法
たとえば、df.shape = (200, 1000)のpandasデータがあるとします。
下記のようなグラフを描写したいのです。
横軸:行(200)
縦軸:データの範囲
グラフ種類:折れ線
ライン数:1000
1000の列データ(各200行)を一度に指定してグラフにプロットする場合、
どのようにするとシンプルにできますか?
今までは、下記のように直接指定して描いておりましたが、
...
-1
票
1
回答
1,649
閲覧数
Pythonでforループを使ってDataFrameを作成すると、異なる変数が全て同じ結果になる。
Pythonとpandasの以下のプログラムに関する質問です。
以下の6つの変数は異なる期間とデータを持つ、index が datetimeindex の Series です。
1~3の違いは期間が異なり、aとbはデータが異なります。
season_a1
season_b1
season_a2
season_b2
season_a3
season_b3
from pandas ...
0
票
1
回答
831
閲覧数
Pythonでfortran形式のデータを読み込む方法
pythonでデータを読み込みこむ方法について質問します。
読み込むデータは、下記のようなfortran 80カラムのフォーマットで10f8.3の形式です。
0.010 0.010 0.031 0.024 0.027 -0.030 -0.026 0.020 -0.119 -0.154
-0.015 -0.081 -0.045 -0.016 -0....