Skip to main content

すべての質問

でタグ付けされた
絞り込み
並べ替え
タグ付けされた
0
1 回答
166 閲覧数

復元抽出と非復元抽出を切り替えて実行できる関数を定義したい

targetに格納されている値について、population内からこれに近似した値とindexを出力したいです。 抽出方法は復元抽出と非復元で、抽出関数の中で方法を切り替えたいと思っています。 以下のコードは、復元抽出だけ可能です。 % python Python 3.9.12 >>> import pandas as pd >>> import numpy ...
yoshi's user avatar
  • 37
0
1 回答
133 閲覧数

無相関検定をしたいのですがやりかたを教えてください

import numpy as np import pandas as pd df_maize = pd.read_csv("PSD online data maize.csv", thousands=',')] df_maize.corr() 相関係数の計算まではできましたが以下の検定でエラーが起きました import pandas as pd import ...
keyri's user avatar
  • 39
0
2 回答
291 閲覧数

dtypeをobjectからint64に変更する方法を教えてください

import numpy as np import pandas as pd df_maize = pd.read_csv("PSD online data maize.csv") print(df_maize["Name"]) print(df_maize["Production"]) print(df_maize["...
keyri's user avatar
  • 39
0
1 回答
325 閲覧数

matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'

VSCodeで以下のプログラムを実行するとエラーメッセージが表示されグラフが表示されません。解決法がありましたら教えて下さい エラー 例外が発生しました: TypeError unhashable type: 'numpy.ndarray' コード: import pandas as pd df =pd.read_csv("csvファイルのパス") df.head() x = ...
user avatar
5
3 回答
533 閲覧数

pandas, numpyでの積分・線形保管の処理を高速化したい

Pythonで数値解析のソフトウェアを作成しているのですが、処理に時間が掛かっており高速化したいと考えています。 cProfileで解析したところ、以下のintegrate()とscipyのinterp1dという2つの関数で全体の約47%の処理時間を占めていることが分かりました(total: 54.4 s, integrate: 14.7 s, interp1d: 11.2 s)。 ...
Stack User's user avatar
0
1 回答
550 閲覧数

pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処

KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。 >>> train.info() <class 'pandas.core.frame.DataFrame'> Index: 458913 entries, ...
onishichi's user avatar
0
1 回答
451 閲覧数

DataFrame.queryの使い方について

https://note.nkmk.me/python-pandas-query/ にある、 print(df.query('name.str.contains("li")', engine='python')) を真似してコーディングしているのですが、 raise NotImplementedError(f"'{node_name}' nodes are not ...
 BrainOverflow's user avatar
0
2 回答
340 閲覧数

DataFrameで各行毎に処理をした結果を1つのリストにまとめる方法

DataFrameで各行毎に処理をした結果を1つのリストにまとめたいです。 下記のように書くことはできたのですが、可読性向上のために、myfunc内で関数外のリストに要素を追加しているのをやめて、別の方法で書くことはできないでしょうか? apply以外の方法でも構わないのですが、iterrowsは使わずに書きたいです。 import pandas as pd df = pd.DataFrame( ...
shimmy0619's user avatar
0
1 回答
1,233 閲覧数

DataFrameで条件に一致した文字から始まる列の値が条件に一致した文字以外であれば抽出する方法

DataFrameで「条件に一致した文字("input")から始まる列の値が条件に一致した文字("a")以外であれば抽出」したいです。 下記のように書くことはできたのですが、もう少し簡潔に書けないでしょうか? import pandas as pd df = pd.DataFrame( [["Yamada", "a&...
shimmy0619's user avatar
0
1 回答
1,255 閲覧数

pandasのリスト要素を加算するときにNaNになることを避ける方法

DateFrameの複数の列にそれぞれリストが格納されているときに、リスト内の値を結合して1つのリストを生成したいです。列の値としてNaNが含まれていない場合は列同時を結合すれば実現できたのですが、NaNが含まれる場合に結果がNaNとなってしまいます。NaNを除いて処理を行うにはどうすればよいでしょうか? import pandas as pd import numpy as np ...
shimmy0619's user avatar
0
1 回答
2,036 閲覧数

pythonとcsvファイルを使って3次元グラフを作りたい

pythonとcsvファイルを用いて3次元グラフを作りたいです。 画像のようなCSVファイルを用いて三次元グラフを作ることを目標としています。(エクセルで開いているのでコンマの位置でセル分けされています。) pos=768,列はAMKまで存在しています。 この画像中の9行目がx軸、A列がy軸に該当し、中のデータがz軸で表現される量に該当します。 ...
milk's user avatar
  • 73
0
1 回答
6,299 閲覧数

Python でのValueError: Length mismatchへの対処が分かりません。

以下のコードで突然ValueError: Length mismatchが出てきて、対処の方法が分かりません。同じ証券コードを繰り返し取得したからかと思ったのですがそうではなく、昨日までは問題なく動作していたためどこを改善してよいかも不明です。 解決策を教えていただけますでしょうか。 %matplotlib inline import pandas as pd import matplotlib....
user47011's user avatar
0
2 回答
100 閲覧数

リストを作るときに、必要な要素数になるまで回したい

データセットを作成したい。そこで以下のコードに改良を加えたい。 コードで計算されているDisが、1<Dis<2の間に収まるようにしたい。 つまり、それ以外の値を取るDisの行の組み合わせは捨てたいです。 しかし、最終的に得られるP_sample_2のデータは10×6の行列になるようにしたい。 どのように考えるのがよいでしょうか? P_sample = [] PP_sample = [] ...
焼き物's user avatar
0
1 回答
337 閲覧数

クロス表で集計軸(columns)を水平方向に複数並べる方法。

【質問文修正】 「stock_a」と1つの変数を軸にした集計表の出力はできましたが、 例えば「stock_a」「industry_a」等、複数の変数を同じレベルで並べた集計表の出力ができません。どのようなコードが適切でしょうか。 コード import pandas as pd df = pd.DataFrame({ 'id':['id00001','id00002','id00003','...
Hidenori's user avatar
0
0 回答
447 閲覧数

過去ログ、ヒストリーを確認したい

python spyder の過去ログ、ヒストリーを確認したい。前回やったコマンドと結果の記録がない。
user41011's user avatar
0
1 回答
365 閲覧数

得られたデータ(deque)を書式に合わせてcsvに出力したいです.

現在,筋電センサを用いて動作推定するプログラムを作っているのですが,個人学習する際に得られるデータをトーレーニングデータの書式(csv)と同じようにcsvに出力したいと考えています.使用している筋電センサは8電極あり,8行1列の行列値でデータが取得できます. 例 deque([160067619223897, [-12, 13, 2, 4, 1, 4, 0, 0])のような形式で表示されます. ...
tazawa's user avatar
  • 1
1
2 回答
753 閲覧数

年齢を区間ごとにダミー変数化したい

初めまして、Pythonおよびデータ分析初心者です。主にPandasとNumpy,Sklearnを使ってkaggle等のコンペに挑戦している最中の者です。 データセットをロジスティック回帰によって分析したいのですが、質的データであればpd.getdummies()で簡単にダミー変数を作ることができることを最近学びました。...
2 Y's user avatar
  • 45
4
2 回答
258 閲覧数

pandasの2次元配列から、1の値が入っている行、列番号を列挙する方法

2値の値が入っているnumpy arrayがあります。 そのarrayから1の値が入っている行と列番号を列挙したいです。 イメージ 以下のようなdataframeデータがあるとします df = pd.DataFrame(np.array([[0,0,1],[1,0,1],[4,0,1]])) df.index = [0, 1, 4] これは以下のような表になると思います。 ...
ktakita's user avatar
  • 199
0
1 回答
182 閲覧数

以下のリストデータがあり、さらにカラムの中に辞書型のデータがあります。これを以下の形に変換したいのですが、やり方が不明

現在以下の形のリストデータを抽出しました。 [['A (S)' 'B (M)'] ['1234' '{ "voltage" : { "name" : { "S" : "R00070" }, "button" : { "L" : [ { "N" : "29" }, { "N" : "0" } ] }'] ['5678' '{ "voltage" : { "name" : { "...
tabo0073's user avatar
0
1 回答
4,856 閲覧数

複数のdataframeをfor文で回したい

df_1, df_2, df_3 とカラムがすべて同じなデータフレームがあるとき、 df_1['year'].shape df_2['year'].shape df_3['year'].shape 上記を for 文で回したく、 for i in (1,2,3): df_(i)['year'].shape のように実現したいのですが、どのようにすれば自動化できますでしょうか?
m_t_p's user avatar
  • 1
0
1 回答
402 閲覧数

要素がlist型であるpandasのdataframeをndarrayの2次元配列にしたい

dataframe e.g) date vec 2019-01-04 [-0.08072768, -0.061041858, 0.09872102] 2019-01-04 [-0.07853928, -0.058681224, 0.10971683] こういったdataframeがあった場合に、...
berry_summer's user avatar
0
2 回答
1万 閲覧数

pandasにて一次元へというエラーがでる

array([[-1, 0, 1, 1, 1, 0, 2, 3, 4, 5, 6, 7, 8, 7, 0], [-1, 9, 10, 11, 12, 11, 13, 11, 14, 11, 15, 12, 16, 17, 18], [-1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,...
user avatar
0
2 回答
282 閲覧数

pythonを使用して複数のcsvデータを操作

pythonを使用して2つのcsvファイルを一つにまとめたいと考えております。 【list1】 route_node,X,Y 50775,-7882.7599,-43837.4058 50774,-7886.58284,-43851.12686 50772,-7895.8552,-43835.9677 【list2】 id,x,y 57136,-10171.54496,-44468.08496 ...
Daaaaai39's user avatar
1
2 回答
1,193 閲覧数

numpy配列をdataframeに変換する際に、インデックスを付与する方法について

n次元のnumpy配列をdataframeに変換する際、dataframeの1列目には1次元目のインデックス、2列目には2次元目のインデックス、・・・n列目にはn次元目のインデックス、n+1列目に配列の要素、となるようなデータフレームの作成方法をご教示賜りたいと存じます。 今までは、以下のとおり、行数が配列の要素数、列数がn+1列の2次元のnumpy配列を用意しておき、...
yoshitaka sasase's user avatar
1
1 回答
1,091 閲覧数

Python3で各サンプルごとに相関係数を算出する方法

前提条件・実装したい事 Pythonを使用して、既存のDataFrame(下記の「加工前のデータセット(df)」)を基に相関係数 を排出したいと思っています。 具体的なデータセットのイメージとしては、下記の「加工後のデータセット」の様な感じです。 加工前のデータセット(df) |Weight(g)|Long axis|Short axis|Grain thickness|Sumple_vert|...
Daniel's user avatar
  • 11
0
2 回答
464 閲覧数

matplotlib / pandasを用いた部分的に階層構造を持つデータの棒グラフプロット

4つのアルゴリズム:A,B,C,Dの結果の棒グラフをプロットしようとしています. 次の例に示すように,A,Bの結果は1つの数値です.一方でCとDはアルゴリズム内に1つのパラメータkを持ち,パラメータ毎に結果があります. 例) A:    66% B:    68.5% C: k=1: 69%   k=2: 73%   k=3: 80% D: k=1: 72%   k=2: 78%   k=...
Yuki's user avatar
  • 23
1
1 回答
264 閲覧数

pythonでの正規表現について教えてください

いろいろと調べてみましたが、なかなか理解に苦しんでおります。 下記のような条件の場合の正規表現を教えてください。 対象ファイル名について 1.n番目からm番目の文字列を抜き出す 2.n番目からm番目の文字列を削除する 3.最初からn番目までを抜き出す 4.最後からn番目までを抜き出す 例えば  "sample12345_abc_181022.txt" から、...
nsgui tarns's user avatar
1
2 回答
4,407 閲覧数

pandas.read_csv読み込んだCSVファイルのファイル名を出力する画像ファイル名に追加したい

次のようにして読み込んだファイル"sample12345.csv" df = pd.read_csv("./sample12345.csv", sep=',' , encoding="UTF-8") 自動的に下記のようなファイル名で出力する方法はありますか? (sampleだけを抜き出して,"saveimage_"の後ろに追加している) plt.savefig("./...
nsgui tarns's user avatar
0
2 回答
4,231 閲覧数

pandas.dataframeからilocを用いて必要なデータだけを抜き出した際に表示されるワーニングについて教えてください。

pandasのデータフレーム(df2)から必要な行列だけを抜き出すために、下記のような操作をした際に表示されるワーニングについて。 df2 = df.iloc[0:3201,:] #必要なデータだけ抜き出し df2 = df2.astype(float) #データ型変更:実数 df_index = df2.iloc[:,0] df_alfa = df2.iloc[:,np.arange(1, ...
nsgui tarns's user avatar
0
1 回答
7,835 閲覧数

Matplotlibで、たくさんの列データから必要な複数データを選択してを一つのグラフに一度に描画する賢い方法

たとえば、df.shape = (200, 1000)のpandasデータがあるとします。 下記のようなグラフを描写したいのです。 横軸:行(200) 縦軸:データの範囲 グラフ種類:折れ線 ライン数:1000 1000の列データ(各200行)を一度に指定してグラフにプロットする場合、 どのようにするとシンプルにできますか? 今までは、下記のように直接指定して描いておりましたが、 ...
nsgui tarns's user avatar
-1
1 回答
1,649 閲覧数

Pythonでforループを使ってDataFrameを作成すると、異なる変数が全て同じ結果になる。

Pythonとpandasの以下のプログラムに関する質問です。 以下の6つの変数は異なる期間とデータを持つ、index が datetimeindex の Series です。 1~3の違いは期間が異なり、aとbはデータが異なります。 season_a1 season_b1 season_a2 season_b2 season_a3 season_b3 from pandas ...
muu's user avatar
  • 1
0
1 回答
831 閲覧数

Pythonでfortran形式のデータを読み込む方法

pythonでデータを読み込みこむ方法について質問します。 読み込むデータは、下記のようなfortran 80カラムのフォーマットで10f8.3の形式です。 0.010 0.010 0.031 0.024 0.027 -0.030 -0.026 0.020 -0.119 -0.154 -0.015 -0.081 -0.045 -0.016 -0....
TYS's user avatar
  • 1