[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
417
質問
0
票
1
回答
115
閲覧数
numpy.core._exceptions._UFuncNoLoopErrorというエラーメッセージ
折れ線グラフを描画したいですけど、以下のエラーメッセージが出ました。
どう書き換えたらいいですか?
ご教示いただきたいです。よろしくお願いします。
エラーメッセージ:
numpy.core._exceptions._UFuncNoLoopError: ufunc 'add' did not contain a loop with signature matching types (dtype('&...
0
票
0
回答
46
閲覧数
データフレームのqueryに渡す引数を変数で設定する方法について
python の queryに渡す引数に、変数を指定する方法
この
https://nekoyukimmm.hatenablog.com/entry/2016/06/21/100821
辺りを見ながら作業しています。
こういう感じの定義、
lst_colm = dfSample.colums
for key in lst_colm:
dfSample = dfSample.query('@key =...
0
票
2
回答
215
閲覧数
pythonでのデータ処理
下記のデータに対してtag 'a'のstart-endのデータに対して 'b'のstart-endで重複する部分を削除したいのですがどのような処理をしたら良いでしょうか。
import pandas as pd
data = [
['a', 1, 10],
['b', 2, 3],
['b', 4, 6],
['b', 9, 11]
]
columns = ['...
0
票
1
回答
85
閲覧数
キーがユニークでないDataFrameをunstackする方法
PandasのDataFrameを、unstackしたいのですが、
エラー「ValueError: Index contains duplicate entries, cannot reshape」が発生し困っています。
エラーメッセージより、unstackするDataFrameは、unstack後のインデックスがユニークでないといけないようなのです。
以下のような、データ変換をしたいのですが、...
0
票
1
回答
70
閲覧数
pandas DataFrameで座標が入れ子になっているデータセットの分割
複数の座標から線分の組合せパターンを抽出した後、各線分と一つ一つの座標との組み合わせを一つの行にまとめたデータセットを作成したいです。
(その後、行ごとに線分と座標の関係を計算することが目的です)
例えば3つの座標の場合、重複をまったく考慮せずにすべての組合わせを考える場合、
線分の組合わせは3*3、これに対してそれぞれの線分に各座標との組み合わせ*3の、
3*3*...
0
票
0
回答
200
閲覧数
VSCode上のJupyter Notebookで、sklearn配下のメンバーを呼び出そうとすると静的解析ではエラーが出るけど実行できる
状況
Pythonを使ったデータ分析関連。Pandas-Profilingを使おうとしてます。
Pandas-Profilingに渡すデータを作るのにsklearnを使おうとしたんですが、そこでpylanceがエラーを吐く。でも、実行できます。
と、思ったら、実際にPandas-Profilingにデータを渡して実行するとipython側でエラーが出ます。
...
0
票
2
回答
179
閲覧数
pandas dataframeはなるべく使いまわしたほうが良いのでしょうか?
pandasに限らないと思うのですが、大きなサイズのdataframeを扱う場合、加工後は代入して使いまわしたほうが良いのでしょうか?
df = df.drop()
または
df2 = df.drop()
補足
代入したほうがガベージコレクションによってメモリを開放してくれるのかなと思いました。
0
票
4
回答
229
閲覧数
PandasのDataFrame(Series)で、Decimal型を含む列を検出する方法
Decimal型の数値を含むDataFrame(Series)を、matplotlibでグラフ表示したいのですが、
Decimal型そのままのデータではエラーとなり、グラフ表示できないようです。
そこで、float型に変換しグラフ表示したいのですが、それぞれの列がDecimal型であるか判定するにはどうしたらよいでしょうか?
pd.Series.dtypeでは、...
0
票
1
回答
94
閲覧数
データの結合と合算
2つのデータを結合して、重複するデータがあれば合算したい。
# データ1
df1 = pd.DataFrame({"送信元IP": [1.1.1.1, 3.3.3.3, 5.5.5.5],
"宛先IP": [2.2.2.2, 4.4.4.4, 6.6.6.6],
"...
0
票
1
回答
63
閲覧数
時系列のデータフレームの作成
1点目
時系列のデータフレームについて、一日単位の時系列がわかりますが:
pd.date_range(start='2022-01-01', end='2022-01-31', freq='D')
output:
DatetimeIndex(['2022-01-01', '2022-01-02', '2022-01-03', '2022-01-04',
'2022-...
0
票
1
回答
96
閲覧数
列名無い、同じ構造のdataframeの値を足し算
列名無い、同じ構造のデータフレームの足し算、
私はこう書きましたが、
names=['time','交通量']
df1= pd.read_csv(r'file1.csv', index_col= 0 ,names=cols_name)
df2= pd.read_csv(r'file2.csv', index_col= 0 ,names=cols_name)
df_sum = (df1....
0
票
1
回答
92
閲覧数
無相関検定をしたいのですがやりかたを教えてください
import numpy as np
import pandas as pd
df_maize = pd.read_csv("PSD online data maize.csv", thousands=',')]
df_maize.corr()
相関係数の計算まではできましたが以下の検定でエラーが起きました
import pandas as pd
import ...
0
票
1
回答
147
閲覧数
CSVの特定の列に特定の桁の値を抽出するには?
CSVのファイル、学籍番号の右からの2つ目の数字1の行を抽出したいなら、どうしたらよいですか
df = pd.read_excel(r"C:成績表.csv", index_col= 0 , header = [0],names=cols_name)
df01 = df.drop(['クラス'],axis=1)
df01[["学籍番号"] ==
0
票
1
回答
151
閲覧数
時系列の凡例のフォーマット (日時表示) を変更したい
以下を実行して、折れ線グラフを生成しました。
凡例の中の時間 YYYY-MM-DD のフォーマット(日付のみ、時間なし)にしたいなら、どこを直せばいですか?
for i in range(0,10) :
df04.plot(figsize=(8, 6))
plt.legend(loc='upper left', bbox_to_anchor=(1, 1))
plt....
0
票
2
回答
118
閲覧数
relativedelta使用時のilocについて
ilocについて教えてください。
for i in range(len(predict_data)): とした場合、i に入るのは整数なので、.iloc[i] とすべきだと思ったのですが、解答では iloc を使わず、下記のようになっておりました。
なぜ、iloc 省略なのでしょうか。
できれば初学者用に分かりやすく教えていただけると幸いです。
よろしくお願いいたします。
for i in ...
0
票
1
回答
347
閲覧数
PandasのDataFrameのデータの抽出について(Seriesが返されるケースと値が取得できるケースの違い)
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧'],
'HP':[2,50,100,600,60,72,1000,np.nan]})
df1
上記のようなdf1から「うさぎ」の「HP」...
0
票
2
回答
280
閲覧数
データフレームである列の値に特定の文字列を含む場合、追加した列に指定した文字列を表示したい
どのようにコードを書き換えれば「期待する結果」のような出力がだせるのかわかりません。
お知恵をいただければ幸いです。
データセット
import pandas as pd
import numpy as np
df = pd.DataFrame([["tanaka", 81], ["naka", 63], ["ka", 89], [&...
0
票
2
回答
472
閲覧数
エクセルから読み込んだ数値データが形が変わって出力される
エクセルから読み込んだ数値データをvscode上で表示すると、小数点まで表示される。
例えば2という値だと、2.0と表示される。こちらを小数点を抜きにしたいと考えています。0001が1.0と表示されるのを0001のまま出力したい。
・エクセルデータの値をそのまま出力したい
・vscode上の出力[.0]を表示されないようにしたい。
どちらもExcelの設定の問題であれば、...
0
票
5
回答
607
閲覧数
エクセルのデータを数字か数字以外かでチェックしたい
エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。
条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
0
票
0
回答
187
閲覧数
x軸のラベルがdatetimeの日付形式のまま出力されてしまう
概要
csvデータからmatplotlibを使用し、棒グラフを作成しているのですが
日付形式がdatetimeの型のまま出力されてしまいます。(yyyy-mm-dd hh:ss:mm)
出力されているデータ自体は問題ないのですが、x軸のラベルだけ修正したいと考えてます。(yyyy/mm/ddに変えたい。)
試してみたこと
csvデータを読み込んで、、とありますが元データはExcel形式となります。
...
0
票
0
回答
116
閲覧数
Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい
Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて
CSVで出力したいと考えています。
Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら
教えていただけますと幸いです。以下が試したことになります。
1.Big queryにテーブルstringsA, strinsBを2つ作成
stringsA
id
name
...
0
票
1
回答
107
閲覧数
find_element(By)にURLによって変わる要素を入れたい
以下のような2つのデータフレームから各URLのIDと一致するtxtを抜き出してfind_element(By.LINK_TEXT)に入れ込むようなことは可能でしょうか?df2のtxt部分は重複する場合もあります。よろしくお願い致します。
df1:
URL ID
aaa 1
bbb 2
ccc 3
ddd 4
... ...
df2:
ID txt
1 xxx
2 yyy
3 zzz
4 ...
0
票
1
回答
96
閲覧数
PandasのDataframeにあるデータを対象に分位数を使った足切りをしたい
概要
PandasのDataframeにあるデータを、列のラベルごとに集計し、特定の分位数を使って外れ値の除外をするにはどのようなコードを書けばよいでしょうか?
詳細
環境はpython3.6です
対象となるDataframeは以下のような内容です
sensor_name temperature Humidity Pressure
sensor1 15.5 67 1001
sensor1 15.8 ...
0
票
1
回答
219
閲覧数
データフレームを結合し、名前の変更と加重平均を算出する
前提
材料開発においてMIを使用したいと考えております。言語はpythonを使用しています。
材料a,b,cを比率a : b : c=A:B:Cで混合する実験を想定しています。a,b,cには種類があり、例えばaはa_1とa_2があります。
a,b,cにはそれぞれx,y,zという特性値をもっており、別のデータフレームにまとまっています。
目標
...
0
票
2
回答
546
閲覧数
辞書配列のデータをdfに変換するには?
辞書からデータフレームを作成したいのですが、一列のデータフレームになってしまいます。どのようにして、辞書のキーをカラム名にしたデータフレームを作るのか教えていただけないでしょうか?
dictlist = [[{'viewCount': '1387827', 'likeCount': '48171', 'favoriteCount': '0', 'commentCount': '6352'}], [{...
0
票
1
回答
789
閲覧数
DataFrameセル内のリストを列方向に展開したい
今、以下のような各セルにリストが入ったDataFrameがあります。
import pandas as pd
df = pd.DataFrame(
{'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]},
index=[1, 2, 3])
このDataFrameを以下のように加工をしたいです。
x1, x2 ...
0
票
1
回答
66
閲覧数
Pythonのデータ結合についての質問です。
Pythonのデータ結合についての質問です。
seriesに対し、日付をkeyにしてdf1を左外部結合するやり方を教えていただけませんか。
series=pd.series ([‘1/1’,’1/2’,…..’1/10’],name=‘日付’)
df1=pd.DataFrame ({‘日付’:[‘1/1’,’1/2’,…..’1/7’], {‘天気’:[‘晴れ,’’曇り’,…..’曇り’]})
0
票
0
回答
1,322
閲覧数
pandasでエクセル読み込み時のエラーの解決方法を教えてください
pandasでエクセル(xlsx)を読み込んでcsvファイルを書き出す、というプログラムを作っています。
pandasでエクセルファイル読み込み時にエラーがでるようで、それについて調べてみると pip install xlrd で解決、ということでしたがインストールしても解決しません。
コマンドプロンプトを開いて python test.py でプログラムは動きます。
しかし、test....
0
票
1
回答
1万
閲覧数
Pandas でCSV ファイルの読み込み時にエラー UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81
CSVファイルの読み込みができません。
import pandas as pd
import matplotlib.pyplot as plt
#data input
df_2021 = pd.read_csv('2021.csv',engine="python")
df_2021
結果
>>> #data input
>>> ...
0
票
2
回答
128
閲覧数
pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい
pandasの縦方向の計算が苦手で、教えていただければと思います。
シミュレーション用のデータを作成したいと考えているのですが、顧客ごとに、5つの行動をします。その5つの行動によって、顧客の認知レベルが上がるということを想定します。行動1から行動5まであった場合に、顧客ステージを0~5の6段階に分けて、初期状態では、まず顧客ステージが0を入れます。表は時系列になっています。
・顧客ステージが0の時、...
0
票
0
回答
194
閲覧数
pandasguiの表示がウィンドウ内に収まらない
当方pythonをあまり使用した経験がなく、初歩的な質問でしたら大変申し訳ございません。
知っている範囲で検索してみたのですが、解決できずこちらで質問させていただきます。
pandasguiを起動したところ、
以下のようなエラーとともに、起動したアプリの表示が添付の画像のようにアプリ全体がwindow内に収まらない状態となってしまっています。
パッケージのバージョンも確かめて、...
0
票
1
回答
291
閲覧数
DataFrame.queryの使い方について
https://note.nkmk.me/python-pandas-query/
にある、
print(df.query('name.str.contains("li")', engine='python'))
を真似してコーディングしているのですが、
raise NotImplementedError(f"'{node_name}' nodes are not ...
0
票
1
回答
179
閲覧数
pandas.plotにおいてstring indexの場合のvlines()がうまく機能しない
文字列のindexを持つpandas.Dataframeにおいて、縦の補助線を引く場合にindex(x軸)をうまく指定できないです。
plotしたいpandas.Dataframeは以下のようになります。indexがobjectなのは確認できています。
print(df_occ_test.index.dtype)
object
print(df_occ_test)
a ...
0
票
1
回答
1,249
閲覧数
concatの使い方について。(pandasのappendでやっている作業をconcatに置き換えたい)
データフレームに関する作業をしていたら、
FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.
というのがでたので、concatに変えた方がよいのかなと思っていますが、...
0
票
0
回答
201
閲覧数
日本郵便の住所とe-Statの住所を紐づける方法
日本郵便が配布している郵便番号,住所テーブルとe-Statが提供しているshpファイルを用いて郵便番号-緯度経度テーブルを作成したいと考えてます。しかし、日本郵便とe-Statの住所表記に数多くの表記揺れが存在しており、簡単にジョインできない状況です。住所以外に共通するユニークなカラムが存在しないためどのようにすれば上手く結合できるかアイデアをいただきたく思い質問しました。...
0
票
0
回答
289
閲覧数
JSON-LD を Pandas の DataFrame へ変換する方法
JSON-LDで値を返す RESTful API を使って、r = requests.get( <API> ) で受け取った
r の type は <class 'requests.models.Response'> です。
JSON を Pandas DataFrame に変換する のページを見ながら真似してみたのですが、エラーとなってしまいます。
json.loads(...
0
票
1
回答
377
閲覧数
最終的に、ilocで取得した列を新しいDataFrameへ横にappendする処理を繰り返したい
下記のコードを実行することで行いたい処理は次のとおりです。
フォルダ内にあるcsvファイルを全取得する
ファイル構成(カラム名や行数)は同じなので最初に開いたcsvファイル(data_r)の列名から抽出したいカラム番号を選択する
data_rからilocで欲しい列を全行取得(data_c)する(このとき欲しい列は選択したカラム番号になる)
カラム名はどのファイルでも同名のため、...
0
票
2
回答
3,111
閲覧数
pandasで別のデータフレームへのappendがうまくできません
特定の行の最大値を調べ、その最大値が存在する行を別のデータフレームにappendさせたいのですが、
上手くappendできません。どうすればいいのでしょうか?
import pandas as pd
df1 = pd.DataFrame({'col1': [0, 3, 2, 3], 'col2': [5, 0, 2, 1]})
print(df)
print(df["col2"...
0
票
1
回答
218
閲覧数
pandasでindexの値を取り出したい
pandasで指定した行のindexの取り出し方を知りたいです。
Name Type
0 blue Raptors
1 delta Raptors
2 echo Raptors
3 charlie Raptors
4 alpha ...
0
票
0
回答
1,441
閲覧数
Python3.8.3でpandasが使えない
現在VScodeで作業をしているのですが、pandasライブラリがPython3.8.8では使えるのに対し、3.8.3の環境では使えず困っています。ライブラリのインストールはpipコマンドで行いました。
自分なりに調べましたが、pandasのバージョンを変更すべきか再インストールすべきかも分かりませんでした。対処法を教えていただけると幸いです。
エラーメッセージ:
Import "...
0
票
1
回答
81
閲覧数
読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したい
プログラミング初心者です。
読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したいです。
イメージとしては、
ファイル1つ目:2020/01/01 - 2020/04/01
ファイル2つ目:2020/01/01 - 2020/07/01
ファイル3つ目:2020/01/01 - 2020/10/01
など
エラーメッセージは出ないのですが、...
0
票
1
回答
239
閲覧数
マルチインデックスの複数の列の値を、他の列の条件に基づき、一括で更新する方法
列がマルチインデックスなDataFrameの複数の列の値を、
他の列の条件に合わせて変更する方法を教えていただけないでしょうか。
それぞれのAA列、BB列の大小比較結果を新しい列に追加したいです。列方向は可変長を想定しています。
slice(None)を利用して考えたのですが、うまくいきませんでした。
df.loc[ (slice(None), 'AA') > (slice(None), '...
0
票
2
回答
1,643
閲覧数
マルチインデックスの列名をまとめて変更する方法
上段のようなDataFrameから、列名を変更して下段のようにしたいです。
行、列ともに件数が多く、可変長なため、
可能であれば、一括して変更したいのですが、forループを利用せずに列名を一括して変更することはできないでしょうか?
import io
import pandas as pd
# 変更前のDataFrame
data = """\
level_0,...
0
票
1
回答
117
閲覧数
Python Pandasでのデータ処理を簡潔に書きたい
困っていること
例のようなデータを入力としてもっています。
Pythonコードの中で、以下の "実現したい処理" を書きたいが、明らかに冗長な方法しか思いつきません。
どなたかスマートな書き方を思いつく方、お力を貸してください。
入力データ
"小分類ごとの数"と"中分類ごとの上限"が与えられている。
中分類 小分類 数量 中分類_上限
...
0
票
1
回答
146
閲覧数
Pandasでmode()の結果のみをfor文で取得する方法
以下のコードを実行した結果、最頻値をseries型で取得できたのですが、「大字仲原」や「大字鉄輪」など実際のデータだけを取得するためにはどうすればいいでしょうか?
▼コード
null_stationAreas = df["地区名"].isnull()
for null_stationArea in list(df.loc[null_stationAreas,"最寄駅:...
0
票
1
回答
175
閲覧数
マルチインデックスでidxmaxを利用する方法
マルチインデックスなDataFrameから、最大値と、そのインデックスを取得するにはどうしたらよいでしょうか?
最大値は、df.max(axis='columns', level='種別')で取得できそうなのですが、
idxmaxは引数にlevelを指定できないようで、困っています。
以下の方法が思いついたのですが、どちらもパフォーマンスを損なう気がしています。
...
0
票
2
回答
189
閲覧数
期間を含むDataFrameの条件抽出
以下のような期間を含むDataFrameで、指定した日付が期間内に含まれる行を抽出するには、どうしたらよいでしょうか?
例えば、'2021/08/05'を検索条件としたとき、りんごの行を抽出することは可能でしょうか?(applyや行ループするしかないのでしょうか?)
よろしくお願いします。
import pandas as pd
df = pd.DataFrame(
data={ '品名':...
0
票
0
回答
207
閲覧数
Pandasのdataframeでcsvファイルの値を扱う際の"..."による省略が行われてしまう
以下の写真のように、csvファイルのある値(1枚目)を用いて、関数内で処理を行う際に、長すぎるためか2枚目の写真のように途中から"..."で省略が行われ、それがそのまま値として扱われてしまいます。
3枚目にエラーの内容も載せます。これを解決する方法はあるのでしょうか。
表示に関しては調べたら出てきましたが、自分が悩む問題に関しては関係なさそうでした。
宜しくお願いします。
0
票
0
回答
5,660
閲覧数
import pandas as pdと入れて実行するとNo module named 'pandas'とエラーが出る
Python始めたての初心者です。わからない用語も多く悪戦苦闘しています。
タイトルの通り、import pandas as pd と実行すると No module named 'pandas' とエラーが出てしまいます。
「No module named 'pandas'」でGoogle検索をしたのですが、なかなかどうして対処法がわからず困っています。
お力添えくださいますと幸いです。...
0
票
1
回答
429
閲覧数
seabornで(エラーバー付きの)棒グラフを描くには
seabornにて、(エラーバー付きの)棒グラフを描きたいと思っています。
目標は、以下のdf.plot.bar()のように、「体育会出身」「その他」ふたつの項目を棒グラフとして表示させることです。
ご教示のほど、よろしくお願いいたします。
a=[[63,237,300],[37,163,200],[100,400,500]]
import pandas as pd
df=pd....