[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
0
1 回答
842 閲覧数

json_normalize を使用してDFを作成したいのですが、keyエラーになってしまう。

以下のようにJSONファイルを読み込んでDFにしようすると「keyerror」になってしまいます。 なぜでしょうか。 元のJSONファイルは以下です。 [ { "creat_at": "2020-04-26T12:55:58+0900", "pay_id": "E86F0CD0B346", "pay": { "a":...
0
1 回答
792 閲覧数

PythonのStyleFrameでエクセルに上書きせず追記できるようにしたい

StyleFrame を使ってエクセルに上書きせずに保存したいのですがうまく行きません。 試したことは with StyleFrame.ExcelWriter(s_path,mode='a') as writer: です。 これではエラーになってしまって出来ませんでした。 教えていただけたら嬉しいです、よろしくお願いします。
1
1 回答
648 閲覧数

pandas-highcharts でグラフが描画されない

実現したいこと 取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。 該当のソースコード from pandas_highcharts.display import display_charts df = ... # ...
0
1 回答
759 閲覧数

pandasのデータフレームをスプレッドシートへ反映したい

スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。 やりたいこと データフレームをスプレッドシートの最下部に追加したい コード: import pandas as pd import gspread import csv import json from oauth2client.service_account ...
0
1 回答
126 閲覧数

numpy.core._exceptions._UFuncNoLoopErrorというエラーメッセージ

折れ線グラフを描画したいですけど、以下のエラーメッセージが出ました。 どう書き換えたらいいですか? ご教示いただきたいです。よろしくお願いします。 エラーメッセージ: numpy.core._exceptions._UFuncNoLoopError: ufunc 'add' did not contain a loop with signature matching types (dtype('&...
0
1 回答
94 閲覧数

キーがユニークでないDataFrameをunstackする方法

PandasのDataFrameを、unstackしたいのですが、 エラー「ValueError: Index contains duplicate entries, cannot reshape」が発生し困っています。 エラーメッセージより、unstackするDataFrameは、unstack後のインデックスがユニークでないといけないようなのです。 以下のような、データ変換をしたいのですが、...
0
1 回答
880 閲覧数

for文を使用して連続的にファイルを読み込みたい

pandasの read_text_file = pd.read_csv() を使用してテキストファイルを読み取っているのですが、ファイルが数百あるので連続的にfor文を使用して文中でテキストファイル名を変更して自動化できないかと考えています。 そこで、下記のコードのように試作として for i in range(1, 4): で i という変数を1~3まで連続的に変化させて、その次の行にある ...
2
1 回答
2,296 閲覧数

object 型データから int 型への変換でエラーが発生する

csvで読み込んだデータがobject型として読み込まれてしまい、int型への変換を実施したところ添付のようなエラーでつまずいてしまっております。 色々やり方は調べたのですがどうしても解決できないため、解決方法を教示いただけると幸いです。 おそらく空欄が影響してしまっているのでreplaceでnp.NaNにした上でastypeにてint型変換をかけたのですがうまくいっていない状況です。 ...
0
2 回答
216 閲覧数

pythonでのデータ処理

下記のデータに対してtag 'a'のstart-endのデータに対して 'b'のstart-endで重複する部分を削除したいのですがどのような処理をしたら良いでしょうか。 import pandas as pd data = [ ['a', 1, 10], ['b', 2, 3], ['b', 4, 6], ['b', 9, 11] ] columns = ['...
0
0 回答
46 閲覧数

データフレームのqueryに渡す引数を変数で設定する方法について

python の queryに渡す引数に、変数を指定する方法 この https://nekoyukimmm.hatenablog.com/entry/2016/06/21/100821 辺りを見ながら作業しています。 こういう感じの定義、 lst_colm = dfSample.colums for key in lst_colm: dfSample = dfSample.query('@key =...
0
0 回答
204 閲覧数

VSCode上のJupyter Notebookで、sklearn配下のメンバーを呼び出そうとすると静的解析ではエラーが出るけど実行できる

状況 Pythonを使ったデータ分析関連。Pandas-Profilingを使おうとしてます。 Pandas-Profilingに渡すデータを作るのにsklearnを使おうとしたんですが、そこでpylanceがエラーを吐く。でも、実行できます。 と、思ったら、実際にPandas-Profilingにデータを渡して実行するとipython側でエラーが出ます。 ...
0
1 回答
799 閲覧数

DataFrameセル内のリストを列方向に展開したい

今、以下のような各セルにリストが入ったDataFrameがあります。 import pandas as pd df = pd.DataFrame( {'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]}, index=[1, 2, 3]) このDataFrameを以下のように加工をしたいです。 x1, x2 ...
0
1 回答
1,351 閲覧数

pandas groupby で集計を行った列の列名

import pandas as pd import numpy as np df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧金','鎧銀'], 'カテゴリ':['戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','外部有識者','管理者','...
2
1 回答
75 閲覧数

ソートされてないMultiIndexの列を持つDataFrameに対して、PerformanceWarningが発生するケースと発生しないケースの差は何でしょうか?

環境 Python 3.11.2 pandas 2.0.2 列がMultiIndexで、列名がソートされていないDataFrameがあります。 In [474]: df = pandas.DataFrame({("x","a"):[1,2,3],("y",""):["a","b&...
0
2 回答
181 閲覧数

pandas dataframeはなるべく使いまわしたほうが良いのでしょうか?

pandasに限らないと思うのですが、大きなサイズのdataframeを扱う場合、加工後は代入して使いまわしたほうが良いのでしょうか? df = df.drop() または df2 = df.drop() 補足 代入したほうがガベージコレクションによってメモリを開放してくれるのかなと思いました。
0
1 回答
71 閲覧数

pandas DataFrameで座標が入れ子になっているデータセットの分割

複数の座標から線分の組合せパターンを抽出した後、各線分と一つ一つの座標との組み合わせを一つの行にまとめたデータセットを作成したいです。 (その後、行ごとに線分と座標の関係を計算することが目的です) 例えば3つの座標の場合、重複をまったく考慮せずにすべての組合わせを考える場合、 線分の組合わせは3*3、これに対してそれぞれの線分に各座標との組み合わせ*3の、 3*3*...
0
4 回答
247 閲覧数

PandasのDataFrame(Series)で、Decimal型を含む列を検出する方法

Decimal型の数値を含むDataFrame(Series)を、matplotlibでグラフ表示したいのですが、 Decimal型そのままのデータではエラーとなり、グラフ表示できないようです。 そこで、float型に変換しグラフ表示したいのですが、それぞれの列がDecimal型であるか判定するにはどうしたらよいでしょうか? pd.Series.dtypeでは、...
1
2 回答
3,985 閲覧数

自動生成したデータフレームを 繰り返し繋ぎ合わせる方法について教えてください。

例えば、下記のように繰り返しランダムにデータフレームxを自動生成し、 それを一つのデータフレームdfに自動的に繋げていく方法を教えてください。 import pandas as pd import numpy as np i = 0 arr = [] for i in range(3): x = pd.DataFrame(np.random.rand(3)) arr[i] = ...
0
2 回答
163 閲覧数

PandasのDataFrame.concatメソッドのsort引数の意味、効果は?

PandasのDataFrame.concatメソッドのsort引数にTrueを指定しても、(sort=Falseを指定しても) 実行結果に変化が見られないのですが、 どのような効果がるのでしょうか? Pandasの公式ドキュメントは読んだのですが、理解できませんでした。 https://pandas.pydata.org/docs/reference/api/pandas.concat.html ...
0
1 回答
99 閲覧数

Pandas 2.0 の melt メソッドでタイムゾーンが変わってしまう

新しい Pandas で melt を使用すると、日付のタイムゾーンが変わりました。 不具合でしょうか。 !pip3 install pandas !pip3 list | grep pandas import pandas as pd df = pd.DataFrame(data=[ {'type': 'A0', 'start_date': pd.Timestamp('2023/03/...
0
1 回答
94 閲覧数

データの結合と合算

2つのデータを結合して、重複するデータがあれば合算したい。 # データ1 df1 = pd.DataFrame({"送信元IP": [1.1.1.1, 3.3.3.3, 5.5.5.5], "宛先IP": [2.2.2.2, 4.4.4.4, 6.6.6.6], "...
-2
1 回答
111 閲覧数

時系列のフォーマットを変更と描画

1.時間のフォーマットを変更したいですが、 df['datetime'] = pd.to_datetime(df['datetime'],format='%Y年%m月%d日 %H時%M分') うまくいかないんです。 正しい書き方は何ですか。 2.散布図の作り方、 plt.plot_date(datetime, temp) うまくいかないんです。 正しい書き方は何ですか。 よろしくお願いします。
0
1 回答
63 閲覧数

時系列のデータフレームの作成

1点目 時系列のデータフレームについて、一日単位の時系列がわかりますが: pd.date_range(start='2022-01-01', end='2022-01-31', freq='D') output: DatetimeIndex(['2022-01-01', '2022-01-02', '2022-01-03', '2022-01-04', '2022-...
1
2 回答
5,989 閲覧数

Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2

複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。 1、データの確認をしました import pandas as pd file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv" df1 = pd.read_csv(file_path, ...
0
1 回答
101 閲覧数

列名無い、同じ構造のdataframeの値を足し算

列名無い、同じ構造のデータフレームの足し算、 私はこう書きましたが、 names=['time','交通量'] df1= pd.read_csv(r'file1.csv', index_col= 0 ,names=cols_name) df2= pd.read_csv(r'file2.csv', index_col= 0 ,names=cols_name) df_sum = (df1....
1
1 回答
190 閲覧数

複数条件の抽出方法

1月1日を抽出したい場合 df = df.query('日付+エリア.str.contains("1月1日")') 1月1日の東京を抽出したい場合 df = df.query('日付+エリア.str.contains("1月1日.+東京")') もし1月1日の東京と神奈川を抽出したい場合、どのようなコードを書けば良いでしょうか?
0
1 回答
72 閲覧数

時系列の横結合(merge)の質問について

2つCSVファイルがあります:area1.csv area2.csv 時間列の項目名はないので、 時間を基準に横結合したいなら、どうやって修正したら良いでしょうか? ご教示いただけましたら幸いですので、どうぞよろしくお願いします! df1 = pd.read_csv(area1.csv,index_col=0) df2 = pd.read_csv(area2.csv,index_col=0) ...
0
1 回答
52 閲覧数

時系列の横結合の質問について

2つCSVファイルがあります:area1.csv area2.csv 時間列の項目名はないので、 時間を基準に横結合したいなら、どうやって修正したら良いでしょうか? ご教示いただけましたら幸いですので、どうぞよろしくお願いします! df1 = pd.read_csv(area1.csv) df2 = pd.read_csv(area2.csv) df3 = pd.concat([df1, df2]...
1
2 回答
64 閲覧数

それぞれの列の値が、文面に含まれているかを判定する

それぞれの列の値が、文面に含まれているかを判定するには、どうすればよいでしょうか? import pandas as pd df = pd.DataFrame( data={ 'コンテキスト': ['東京は晴れ', '曇りの神奈川', '熱い沖縄の気候'], 'キーワード': ['福岡', '神奈川', '沖縄']}, index=['xx', '...
0
1 回答
78 閲覧数

Excelデータで条件に合致しないデータを除外して取り込む方法

やりたいこと エクセルファイルの特定シート(シート名前が決まっている)を読み込み、取り込むべきデータかを判断したいです。 例えば以下のような条件で不適合なデータを除く(適合するデータを抽出する)こと。 必須項目で空白はNG Noは1以上 Modelは既定の文字列以外はNG TypeがCのときにはoption文字列必須でなければNG Excelファイルを取り込むのにpandasを利用しましたが、...
0
2 回答
104 閲覧数

データフレームで1つの列の要素の一部に2をかけたい

以下のようなデータフレームあります 2列目の値を2倍にしたいですが、 インデックスと項目名はないので、 どのようなコードを書けば良いでしょうか? ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
0
1 回答
97 閲覧数

無相関検定をしたいのですがやりかたを教えてください

import numpy as np import pandas as pd df_maize = pd.read_csv("PSD online data maize.csv", thousands=',')] df_maize.corr() 相関係数の計算まではできましたが以下の検定でエラーが起きました import pandas as pd import ...
0
2 回答
145 閲覧数

dtypeをobjectからint64に変更する方法を教えてください

import numpy as np import pandas as pd df_maize = pd.read_csv("PSD online data maize.csv") print(df_maize["Name"]) print(df_maize["Production"]) print(df_maize["...
0
2 回答
160 閲覧数

最大値、最小値の時のidを求めたい。

〇実行環境 Windows 10 Python 3.X pandas こちらのリンクでの質問内容の続きになります。 pandasでの特定の条件下でのデータ取得ができない。 〇リンク先の質問 上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。 〇質問内容 ...
0
1 回答
152 閲覧数

CSVの特定の列に特定の桁の値を抽出するには?

CSVのファイル、学籍番号の右からの2つ目の数字1の行を抽出したいなら、どうしたらよいですか df = pd.read_excel(r"C:成績表.csv", index_col= 0 , header = [0],names=cols_name) df01 = df.drop(['クラス'],axis=1) df01[["学籍番号"] ==
0
1 回答
151 閲覧数

時系列の凡例のフォーマット (日時表示) を変更したい

以下を実行して、折れ線グラフを生成しました。 凡例の中の時間 YYYY-MM-DD のフォーマット(日付のみ、時間なし)にしたいなら、どこを直せばいですか? for i in range(0,10) : df04.plot(figsize=(8, 6)) plt.legend(loc='upper left', bbox_to_anchor=(1, 1)) plt....
1
1 回答
158 閲覧数

dataframeのcolumnsを変更するとindexの上に0が入る

タイトルにあるようにあるCSVデータをpd.csv_readで読み込み、 dataframeのcolumnsを変更するとindexの行の上に「0」が入ります。 そのままデータフレームのplot()を実行すると凡例に「0」が入ってしまいます。 この0の削除方法をご教示お願いします。 CSVデータは以下です。 import pandas as pd #pandasのインポート df = pd....
0
1 回答
181 閲覧数

pandas .agg(['mean'])で正確な値を求めることができない。

〇実行環境 Windows 10 Python 3.X pandas こちらのリンクでの質問内容の続きになります。 pandasでの特定の条件下でのデータ取得ができない。 〇リンク先の質問 上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。 〇質問内容 ...
0
1 回答
76 閲覧数

pandas グルーピング化を使用してデータ取得ができるかが知りたい。

〇実行環境 Windows 10 Python 3.X pandas こちらのリンクでの質問内容の続きになります。 pandasでの特定の条件下でのデータ取得ができない。 〇リンク先の質問 上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。 〇質問内容 ...
0
2 回答
104 閲覧数

pandasで同一idはまとめて出力し、そのうえでtimestamp順に出力したい。

実行環境 Windows 10 Python 3.X pandas データの説明 下記の元データはログをcsv化したものの一部の例になります。 こちらはid,timestampというカラムで構成されています。 timestampは昇順で並べられており、それに沿ってidが並べられています。 idは基本的にはまとまっておりますが、遅延などにより、別のidが先に割り込む形で出力されることがあり、...
0
1 回答
772 閲覧数

Pythonで特定の文字列を含むかをcontains()を使って判断する関数

Pythonでtrain['name']という文字列項目に対して、特定の文字列(例えば、"aaa")を含む場合は"1"、含まない場合は"0"となる項目(train['test'])を別で作りたいと思っています。その際、以下のような関数(kansu1やkansu2)を作り、apply関数でセットしようとしたのですが、...
4
3 回答
320 閲覧数

pandas, numpyでの積分・線形保管の処理を高速化したい

Pythonで数値解析のソフトウェアを作成しているのですが、処理に時間が掛かっており高速化したいと考えています。 cProfileで解析したところ、以下のintegrate()とscipyのinterp1dという2つの関数で全体の約47%の処理時間を占めていることが分かりました(total: 54.4 s, integrate: 14.7 s, interp1d: 11.2 s)。 ...
1
2 回答
116 閲覧数

pandasでの特定の条件下でのデータ取得ができない。

実行環境 Windows 10 Python 3.X pandas データの説明 次のようなdfを使用してデータ加工を行いたいと考えています。 こちらはid,数値,分類というカラムで構成されています。 複数のidが重複しており、三つの分類これらのidは必ず三つの分類(type1,type2,type3)に分かれています。 columnの分類に書かれているのですが、...
0
1 回答
122 閲覧数

matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'

VSCodeで以下のプログラムを実行するとエラーメッセージが表示されグラフが表示されません。解決法がありましたら教えて下さい エラー 例外が発生しました: TypeError unhashable type: 'numpy.ndarray' コード: import pandas as pd df =pd.read_csv("csvファイルのパス") df.head() x = ...
0
3 回答
173 閲覧数

python pandasによるデータ処理について

色々と調べてみたはいいものの、書き方がつかめずどうしても固まってしまいます。お力添えをよろしくお願いいたします。 各染色体について父由来か母由来どちらの染色体を子孫に渡すかによってどんな能力のパターンがある得るかのシミュレーションです。 chr_effect.txtのようなデータファイルがあります。 animal、pnt、chr1...chr29の31列あり、...
0
3 回答
318 閲覧数

pandasでuniqueを使用したいのですが、Dataframeでしか取り出せないためどうすればいいのか分かりません。

pandasでuniqueを使用したいのですが、Dataframeでしか取り出せないためどうすればいいのか分かりません。 pandasで読み込んでいるデータ(df) a b -0.2 -0.200 -0.2 -0.195 -0.2 -0.190 -0.2 -0.185 -0.2 -0.180 ...
1
1 回答
249 閲覧数

pandasをpdと略す意味とは?

pandas以外も同様ですが、短く省略することにどのような意味があるんでしょう? 何行もコードを書いているうちに正式名称を毎回入力するのが面倒になったとかそういう理由なんでしょうか?
0
1 回答
1,940 閲覧数

Pandas でのデータ結合時にエラーが発生する

seriesに対し、日付をkeyにしてmerge_df1を左外部結合の下記のプログラムを実行するとエラーが発生するのですがなぜなのでしょうか? import numpy as np import pandas as pd series = pd.Series(['1/1', '1/2', '1/3', '1/4', '1/5', '1/6','1/7', '1/8'...
1
1 回答
1,471 閲覧数

pandasで特定の列の値に基づき,その行を複製する方法

pandas.DataFrameで特定の列の値の回数分,行を複製する方法を探しています. 下に示すソースコードは,num列の値と同じ個数になるように,行を複製しています. しかしこれは恐らく最も効率が悪い方法です.効率的な方法が御座いましたらご教示下さい. なお、操作前のデータフレームに同一の行は含まれないことが保証されています. 現状のコード: # Python 3.10.5 import ...
1
3 回答
195 閲覧数

CSVファイル内の時系列データを1秒区切りで平均化するコードを書いているのですがエラーの解消方法を知りたいです

前提 各列にTIME(データ取得日時)、測定値が格納されたCSVファイルを読み込んで、1秒毎に平均化してCSVファイルに出力したいです。 コードを書いてみたのですがエラーが出てしまい対処方法が分からないので教えて頂けるとありがたいです。 下記は使用するCSVデータで名称は「test.csv」です。 [LOGGING],RD81DL96_1,2,3,4 DATETIME[YYYY/MM/DD hh:...

1
2 3 4 5
9