[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
0
1 回答
115 閲覧数

numpy.core._exceptions._UFuncNoLoopErrorというエラーメッセージ

折れ線グラフを描画したいですけど、以下のエラーメッセージが出ました。 どう書き換えたらいいですか? ご教示いただきたいです。よろしくお願いします。 エラーメッセージ: numpy.core._exceptions._UFuncNoLoopError: ufunc 'add' did not contain a loop with signature matching types (dtype('&...
Snow's user avatar
  • 1
0
0 回答
46 閲覧数

データフレームのqueryに渡す引数を変数で設定する方法について

python の queryに渡す引数に、変数を指定する方法 この https://nekoyukimmm.hatenablog.com/entry/2016/06/21/100821 辺りを見ながら作業しています。 こういう感じの定義、 lst_colm = dfSample.colums for key in lst_colm: dfSample = dfSample.query('@key =...
 BrainOverflow's user avatar
0
2 回答
215 閲覧数

pythonでのデータ処理

下記のデータに対してtag 'a'のstart-endのデータに対して 'b'のstart-endで重複する部分を削除したいのですがどのような処理をしたら良いでしょうか。 import pandas as pd data = [ ['a', 1, 10], ['b', 2, 3], ['b', 4, 6], ['b', 9, 11] ] columns = ['...
山本貴弘's user avatar
0
1 回答
85 閲覧数

キーがユニークでないDataFrameをunstackする方法

PandasのDataFrameを、unstackしたいのですが、 エラー「ValueError: Index contains duplicate entries, cannot reshape」が発生し困っています。 エラーメッセージより、unstackするDataFrameは、unstack後のインデックスがユニークでないといけないようなのです。 以下のような、データ変換をしたいのですが、...
Sasaki's user avatar
  • 452
0
1 回答
70 閲覧数

pandas DataFrameで座標が入れ子になっているデータセットの分割

複数の座標から線分の組合せパターンを抽出した後、各線分と一つ一つの座標との組み合わせを一つの行にまとめたデータセットを作成したいです。 (その後、行ごとに線分と座標の関係を計算することが目的です) 例えば3つの座標の場合、重複をまったく考慮せずにすべての組合わせを考える場合、 線分の組合わせは3*3、これに対してそれぞれの線分に各座標との組み合わせ*3の、 3*3*...
Potemkin's user avatar
0
0 回答
200 閲覧数

VSCode上のJupyter Notebookで、sklearn配下のメンバーを呼び出そうとすると静的解析ではエラーが出るけど実行できる

状況 Pythonを使ったデータ分析関連。Pandas-Profilingを使おうとしてます。 Pandas-Profilingに渡すデータを作るのにsklearnを使おうとしたんですが、そこでpylanceがエラーを吐く。でも、実行できます。 と、思ったら、実際にPandas-Profilingにデータを渡して実行するとipython側でエラーが出ます。 ...
石のトンネル's user avatar
0
2 回答
179 閲覧数

pandas dataframeはなるべく使いまわしたほうが良いのでしょうか?

pandasに限らないと思うのですが、大きなサイズのdataframeを扱う場合、加工後は代入して使いまわしたほうが良いのでしょうか? df = df.drop() または df2 = df.drop() 補足 代入したほうがガベージコレクションによってメモリを開放してくれるのかなと思いました。
hogehoge's user avatar
0
4 回答
229 閲覧数

PandasのDataFrame(Series)で、Decimal型を含む列を検出する方法

Decimal型の数値を含むDataFrame(Series)を、matplotlibでグラフ表示したいのですが、 Decimal型そのままのデータではエラーとなり、グラフ表示できないようです。 そこで、float型に変換しグラフ表示したいのですが、それぞれの列がDecimal型であるか判定するにはどうしたらよいでしょうか? pd.Series.dtypeでは、...
Sasaki's user avatar
  • 452
0
1 回答
94 閲覧数

データの結合と合算

2つのデータを結合して、重複するデータがあれば合算したい。 # データ1 df1 = pd.DataFrame({"送信元IP": [1.1.1.1, 3.3.3.3, 5.5.5.5], "宛先IP": [2.2.2.2, 4.4.4.4, 6.6.6.6], "...
HoaHoa's user avatar
  • 19
0
1 回答
63 閲覧数

時系列のデータフレームの作成

1点目 時系列のデータフレームについて、一日単位の時系列がわかりますが: pd.date_range(start='2022-01-01', end='2022-01-31', freq='D') output: DatetimeIndex(['2022-01-01', '2022-01-02', '2022-01-03', '2022-01-04', '2022-...
Chen Stanley's user avatar
0
1 回答
96 閲覧数

列名無い、同じ構造のdataframeの値を足し算

列名無い、同じ構造のデータフレームの足し算、 私はこう書きましたが、 names=['time','交通量'] df1= pd.read_csv(r'file1.csv', index_col= 0 ,names=cols_name) df2= pd.read_csv(r'file2.csv', index_col= 0 ,names=cols_name) df_sum = (df1....
Chen Stanley's user avatar
0
1 回答
92 閲覧数

無相関検定をしたいのですがやりかたを教えてください

import numpy as np import pandas as pd df_maize = pd.read_csv("PSD online data maize.csv", thousands=',')] df_maize.corr() 相関係数の計算まではできましたが以下の検定でエラーが起きました import pandas as pd import ...
keyri's user avatar
  • 39
0
1 回答
147 閲覧数

CSVの特定の列に特定の桁の値を抽出するには?

CSVのファイル、学籍番号の右からの2つ目の数字1の行を抽出したいなら、どうしたらよいですか df = pd.read_excel(r"C:成績表.csv", index_col= 0 , header = [0],names=cols_name) df01 = df.drop(['クラス'],axis=1) df01[["学籍番号"] ==
Chen Stanley's user avatar
0
1 回答
151 閲覧数

時系列の凡例のフォーマット (日時表示) を変更したい

以下を実行して、折れ線グラフを生成しました。 凡例の中の時間 YYYY-MM-DD のフォーマット(日付のみ、時間なし)にしたいなら、どこを直せばいですか? for i in range(0,10) : df04.plot(figsize=(8, 6)) plt.legend(loc='upper left', bbox_to_anchor=(1, 1)) plt....
Chen Stanley's user avatar
0
2 回答
118 閲覧数

relativedelta使用時のilocについて

ilocについて教えてください。 for i in range(len(predict_data)): とした場合、i に入るのは整数なので、.iloc[i] とすべきだと思ったのですが、解答では iloc を使わず、下記のようになっておりました。 なぜ、iloc 省略なのでしょうか。 できれば初学者用に分かりやすく教えていただけると幸いです。 よろしくお願いいたします。 for i in ...
hasune's user avatar
  • 1
0
1 回答
347 閲覧数

PandasのDataFrameのデータの抽出について(Seriesが返されるケースと値が取得できるケースの違い)

import pandas as pd import numpy as np df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧'], 'HP':[2,50,100,600,60,72,1000,np.nan]}) df1 上記のようなdf1から「うさぎ」の「HP」...
ちゃんきよ's user avatar
0
2 回答
280 閲覧数

データフレームである列の値に特定の文字列を含む場合、追加した列に指定した文字列を表示したい

どのようにコードを書き換えれば「期待する結果」のような出力がだせるのかわかりません。 お知恵をいただければ幸いです。 データセット import pandas as pd import numpy as np df = pd.DataFrame([["tanaka", 81], ["naka", 63], ["ka", 89], [&...
domino's user avatar
  • 5
0
2 回答
472 閲覧数

エクセルから読み込んだ数値データが形が変わって出力される

エクセルから読み込んだ数値データをvscode上で表示すると、小数点まで表示される。 例えば2という値だと、2.0と表示される。こちらを小数点を抜きにしたいと考えています。0001が1.0と表示されるのを0001のまま出力したい。 ・エクセルデータの値をそのまま出力したい ・vscode上の出力[.0]を表示されないようにしたい。 どちらもExcelの設定の問題であれば、...
sawamura's user avatar
0
5 回答
607 閲覧数

エクセルのデータを数字か数字以外かでチェックしたい

エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。 条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
sawamura's user avatar
0
0 回答
187 閲覧数

x軸のラベルがdatetimeの日付形式のまま出力されてしまう

概要 csvデータからmatplotlibを使用し、棒グラフを作成しているのですが 日付形式がdatetimeの型のまま出力されてしまいます。(yyyy-mm-dd hh:ss:mm) 出力されているデータ自体は問題ないのですが、x軸のラベルだけ修正したいと考えてます。(yyyy/mm/ddに変えたい。) 試してみたこと csvデータを読み込んで、、とありますが元データはExcel形式となります。 ...
rakuda's user avatar
  • 11
0
0 回答
116 閲覧数

Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい

Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて CSVで出力したいと考えています。 Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら 教えていただけますと幸いです。以下が試したことになります。 1.Big queryにテーブルstringsA, strinsBを2つ作成 stringsA id name ...
hafuuu's user avatar
  • 7
0
1 回答
107 閲覧数

find_element(By)にURLによって変わる要素を入れたい

以下のような2つのデータフレームから各URLのIDと一致するtxtを抜き出してfind_element(By.LINK_TEXT)に入れ込むようなことは可能でしょうか?df2のtxt部分は重複する場合もあります。よろしくお願い致します。 df1: URL ID aaa 1 bbb 2 ccc 3 ddd 4 ... ... df2: ID txt 1 xxx 2 yyy 3 zzz 4 ...
kacha's user avatar
  • 3
0
1 回答
96 閲覧数

PandasのDataframeにあるデータを対象に分位数を使った足切りをしたい

概要 PandasのDataframeにあるデータを、列のラベルごとに集計し、特定の分位数を使って外れ値の除外をするにはどのようなコードを書けばよいでしょうか? 詳細 環境はpython3.6です 対象となるDataframeは以下のような内容です sensor_name temperature Humidity Pressure sensor1 15.5 67 1001 sensor1 15.8 ...
codeZ's user avatar
  • 409
0
1 回答
219 閲覧数

データフレームを結合し、名前の変更と加重平均を算出する

前提 材料開発においてMIを使用したいと考えております。言語はpythonを使用しています。 材料a,b,cを比率a : b : c=A:B:Cで混合する実験を想定しています。a,b,cには種類があり、例えばaはa_1とa_2があります。 a,b,cにはそれぞれx,y,zという特性値をもっており、別のデータフレームにまとまっています。 目標 ...
YUU's user avatar
  • 3
0
2 回答
546 閲覧数

辞書配列のデータをdfに変換するには?

辞書からデータフレームを作成したいのですが、一列のデータフレームになってしまいます。どのようにして、辞書のキーをカラム名にしたデータフレームを作るのか教えていただけないでしょうか? dictlist = [[{'viewCount': '1387827', 'likeCount': '48171', 'favoriteCount': '0', 'commentCount': '6352'}], [{...
domino's user avatar
  • 5
0
1 回答
789 閲覧数

DataFrameセル内のリストを列方向に展開したい

今、以下のような各セルにリストが入ったDataFrameがあります。 import pandas as pd df = pd.DataFrame( {'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]}, index=[1, 2, 3]) このDataFrameを以下のように加工をしたいです。 x1, x2 ...
Takumi Mukaiyama's user avatar
0
1 回答
66 閲覧数

Pythonのデータ結合についての質問です。

Pythonのデータ結合についての質問です。 seriesに対し、日付をkeyにしてdf1を左外部結合するやり方を教えていただけませんか。 series=pd.series ([‘1/1’,’1/2’,…..’1/10’],name=‘日付’) df1=pd.DataFrame ({‘日付’:[‘1/1’,’1/2’,…..’1/7’], {‘天気’:[‘晴れ,’’曇り’,…..’曇り’]})
kaeru's user avatar
  • 1
0
0 回答
1,322 閲覧数

pandasでエクセル読み込み時のエラーの解決方法を教えてください

pandasでエクセル(xlsx)を読み込んでcsvファイルを書き出す、というプログラムを作っています。 pandasでエクセルファイル読み込み時にエラーがでるようで、それについて調べてみると pip install xlrd で解決、ということでしたがインストールしても解決しません。 コマンドプロンプトを開いて python test.py でプログラムは動きます。 しかし、test....
Tani chan's user avatar
0
1 回答
1万 閲覧数

Pandas でCSV ファイルの読み込み時にエラー UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81

CSVファイルの読み込みができません。 import pandas as pd import matplotlib.pyplot as plt #data input df_2021 = pd.read_csv('2021.csv',engine="python") df_2021 結果 >>> #data input >>> ...
たこすけ's user avatar
0
2 回答
128 閲覧数

pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい

pandasの縦方向の計算が苦手で、教えていただければと思います。 シミュレーション用のデータを作成したいと考えているのですが、顧客ごとに、5つの行動をします。その5つの行動によって、顧客の認知レベルが上がるということを想定します。行動1から行動5まであった場合に、顧客ステージを0~5の6段階に分けて、初期状態では、まず顧客ステージが0を入れます。表は時系列になっています。 ・顧客ステージが0の時、...
Akira Onozuka's user avatar
0
0 回答
194 閲覧数

pandasguiの表示がウィンドウ内に収まらない

当方pythonをあまり使用した経験がなく、初歩的な質問でしたら大変申し訳ございません。 知っている範囲で検索してみたのですが、解決できずこちらで質問させていただきます。 pandasguiを起動したところ、 以下のようなエラーとともに、起動したアプリの表示が添付の画像のようにアプリ全体がwindow内に収まらない状態となってしまっています。 パッケージのバージョンも確かめて、...
user52271's user avatar
0
1 回答
291 閲覧数

DataFrame.queryの使い方について

https://note.nkmk.me/python-pandas-query/ にある、 print(df.query('name.str.contains("li")', engine='python')) を真似してコーディングしているのですが、 raise NotImplementedError(f"'{node_name}' nodes are not ...
 BrainOverflow's user avatar
0
1 回答
179 閲覧数

pandas.plotにおいてstring indexの場合のvlines()がうまく機能しない

文字列のindexを持つpandas.Dataframeにおいて、縦の補助線を引く場合にindex(x軸)をうまく指定できないです。 plotしたいpandas.Dataframeは以下のようになります。indexがobjectなのは確認できています。 print(df_occ_test.index.dtype) object print(df_occ_test) a ...
swkky's user avatar
  • 1
0
1 回答
1,249 閲覧数

concatの使い方について。(pandasのappendでやっている作業をconcatに置き換えたい)

データフレームに関する作業をしていたら、  FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead. というのがでたので、concatに変えた方がよいのかなと思っていますが、...
 BrainOverflow's user avatar
0
0 回答
201 閲覧数

日本郵便の住所とe-Statの住所を紐づける方法

日本郵便が配布している郵便番号,住所テーブルとe-Statが提供しているshpファイルを用いて郵便番号-緯度経度テーブルを作成したいと考えてます。しかし、日本郵便とe-Statの住所表記に数多くの表記揺れが存在しており、簡単にジョインできない状況です。住所以外に共通するユニークなカラムが存在しないためどのようにすれば上手く結合できるかアイデアをいただきたく思い質問しました。...
0018's user avatar
  • 367
0
0 回答
289 閲覧数

JSON-LD を Pandas の DataFrame へ変換する方法

JSON-LDで値を返す RESTful API を使って、r = requests.get( <API> ) で受け取った r の type は <class 'requests.models.Response'> です。 JSON を Pandas DataFrame に変換する のページを見ながら真似してみたのですが、エラーとなってしまいます。 json.loads(...
 BrainOverflow's user avatar
0
1 回答
377 閲覧数

最終的に、ilocで取得した列を新しいDataFrameへ横にappendする処理を繰り返したい

下記のコードを実行することで行いたい処理は次のとおりです。 フォルダ内にあるcsvファイルを全取得する ファイル構成(カラム名や行数)は同じなので最初に開いたcsvファイル(data_r)の列名から抽出したいカラム番号を選択する data_rからilocで欲しい列を全行取得(data_c)する(このとき欲しい列は選択したカラム番号になる) カラム名はどのファイルでも同名のため、...
manatsu's user avatar
  • 177
0
2 回答
3,111 閲覧数

pandasで別のデータフレームへのappendがうまくできません

特定の行の最大値を調べ、その最大値が存在する行を別のデータフレームにappendさせたいのですが、 上手くappendできません。どうすればいいのでしょうか? import pandas as pd df1 = pd.DataFrame({'col1': [0, 3, 2, 3], 'col2': [5, 0, 2, 1]}) print(df) print(df["col2"...
aaa's user avatar
  • 35
0
1 回答
218 閲覧数

pandasでindexの値を取り出したい

pandasで指定した行のindexの取り出し方を知りたいです。 Name Type 0 blue Raptors 1 delta Raptors 2 echo Raptors 3 charlie Raptors 4 alpha ...
aaa's user avatar
  • 35
0
0 回答
1,441 閲覧数

Python3.8.3でpandasが使えない

現在VScodeで作業をしているのですが、pandasライブラリがPython3.8.8では使えるのに対し、3.8.3の環境では使えず困っています。ライブラリのインストールはpipコマンドで行いました。 自分なりに調べましたが、pandasのバージョンを変更すべきか再インストールすべきかも分かりませんでした。対処法を教えていただけると幸いです。 エラーメッセージ: Import "...
Lightning's user avatar
0
1 回答
81 閲覧数

読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したい

プログラミング初心者です。 読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したいです。 イメージとしては、  ファイル1つ目:2020/01/01 - 2020/04/01  ファイル2つ目:2020/01/01 - 2020/07/01  ファイル3つ目:2020/01/01 - 2020/10/01  など エラーメッセージは出ないのですが、...
kitkat's user avatar
  • 1
0
1 回答
239 閲覧数

マルチインデックスの複数の列の値を、他の列の条件に基づき、一括で更新する方法

列がマルチインデックスなDataFrameの複数の列の値を、 他の列の条件に合わせて変更する方法を教えていただけないでしょうか。 それぞれのAA列、BB列の大小比較結果を新しい列に追加したいです。列方向は可変長を想定しています。 slice(None)を利用して考えたのですが、うまくいきませんでした。 df.loc[ (slice(None), 'AA') > (slice(None), '...
Sasaki's user avatar
  • 452
0
2 回答
1,643 閲覧数

マルチインデックスの列名をまとめて変更する方法

上段のようなDataFrameから、列名を変更して下段のようにしたいです。 行、列ともに件数が多く、可変長なため、 可能であれば、一括して変更したいのですが、forループを利用せずに列名を一括して変更することはできないでしょうか? import io import pandas as pd # 変更前のDataFrame data = """\ level_0,...
Sasaki's user avatar
  • 452
0
1 回答
117 閲覧数

Python Pandasでのデータ処理を簡潔に書きたい

困っていること 例のようなデータを入力としてもっています。 Pythonコードの中で、以下の "実現したい処理" を書きたいが、明らかに冗長な方法しか思いつきません。 どなたかスマートな書き方を思いつく方、お力を貸してください。 入力データ "小分類ごとの数"と"中分類ごとの上限"が与えられている。 中分類 小分類 数量 中分類_上限 ...
user avatar
0
1 回答
146 閲覧数

Pandasでmode()の結果のみをfor文で取得する方法

以下のコードを実行した結果、最頻値をseries型で取得できたのですが、「大字仲原」や「大字鉄輪」など実際のデータだけを取得するためにはどうすればいいでしょうか? ▼コード null_stationAreas = df["地区名"].isnull() for null_stationArea in list(df.loc[null_stationAreas,"最寄駅:...
Yuki Kubota's user avatar
0
1 回答
175 閲覧数

マルチインデックスでidxmaxを利用する方法

マルチインデックスなDataFrameから、最大値と、そのインデックスを取得するにはどうしたらよいでしょうか? 最大値は、df.max(axis='columns', level='種別')で取得できそうなのですが、 idxmaxは引数にlevelを指定できないようで、困っています。 以下の方法が思いついたのですが、どちらもパフォーマンスを損なう気がしています。 ...
Sasaki's user avatar
  • 139
0
2 回答
189 閲覧数

期間を含むDataFrameの条件抽出

以下のような期間を含むDataFrameで、指定した日付が期間内に含まれる行を抽出するには、どうしたらよいでしょうか? 例えば、'2021/08/05'を検索条件としたとき、りんごの行を抽出することは可能でしょうか?(applyや行ループするしかないのでしょうか?) よろしくお願いします。 import pandas as pd df = pd.DataFrame( data={ '品名':...
Sasaki's user avatar
  • 452
0
0 回答
207 閲覧数

Pandasのdataframeでcsvファイルの値を扱う際の"..."による省略が行われてしまう

以下の写真のように、csvファイルのある値(1枚目)を用いて、関数内で処理を行う際に、長すぎるためか2枚目の写真のように途中から"..."で省略が行われ、それがそのまま値として扱われてしまいます。 3枚目にエラーの内容も載せます。これを解決する方法はあるのでしょうか。 表示に関しては調べたら出てきましたが、自分が悩む問題に関しては関係なさそうでした。 宜しくお願いします。
Mtsn's user avatar
  • 3
0
0 回答
5,660 閲覧数

import pandas as pdと入れて実行するとNo module named 'pandas'とエラーが出る

Python始めたての初心者です。わからない用語も多く悪戦苦闘しています。 タイトルの通り、import pandas as pd と実行すると No module named 'pandas' とエラーが出てしまいます。 「No module named 'pandas'」でGoogle検索をしたのですが、なかなかどうして対処法がわからず困っています。 お力添えくださいますと幸いです。...
homer o's user avatar
0
1 回答
429 閲覧数

seabornで(エラーバー付きの)棒グラフを描くには

seabornにて、(エラーバー付きの)棒グラフを描きたいと思っています。 目標は、以下のdf.plot.bar()のように、「体育会出身」「その他」ふたつの項目を棒グラフとして表示させることです。 ご教示のほど、よろしくお願いいたします。 a=[[63,237,300],[37,163,200],[100,400,500]] import pandas as pd df=pd....
kintoki's user avatar
  • 41