[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
429
件の質問
1
票
5
回答
1,330
閲覧数
エクセルのデータを数字か数字以外かでチェックしたい
エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。
条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
0
票
1
回答
1,028
閲覧数
DataFrameセル内のリストを列方向に展開したい
今、以下のような各セルにリストが入ったDataFrameがあります。
import pandas as pd
df = pd.DataFrame(
{'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]},
index=[1, 2, 3])
このDataFrameを以下のように加工をしたいです。
x1, x2 ...
0
票
2
回答
1,462
閲覧数
エクセルから読み込んだ数値データが形が変わって出力される
エクセルから読み込んだ数値データをvscode上で表示すると、小数点まで表示される。
例えば2という値だと、2.0と表示される。こちらを小数点を抜きにしたいと考えています。0001が1.0と表示されるのを0001のまま出力したい。
・エクセルデータの値をそのまま出力したい
・vscode上の出力[.0]を表示されないようにしたい。
どちらもExcelの設定の問題であれば、...
0
票
0
回答
64
閲覧数
python,SIRモデルを使用した感染力等の推定
実データに関して、SIRモデルにフィッティングをし、感染率と回復率を推定しようとしたのですが、うまくいかず、それぞれの値が10か0のみとなってしまいました。
以下がそのコードです。
import pandas as pd
import numpy as np
from scipy.integrate import odeint
from scipy.optimize import minimize
...
0
票
0
回答
160
閲覧数
pandasのcombine_firstメソッドで警告の発生を抑止する方法
pd.Seriesのcombine_firstメソッドを呼び出したら、FutureWarningの警告が発生しました。
全レコードが欠損値の場合に発生するようですが、どのように警告の発生を抑止するべきでしょうか?
combine_firstメソッドを実行する前に、
元のデータフレームのデータの欠損値チェックをしなければならないものなのでしょうか?
import pandas as pd
print(...
0
票
1
回答
1,074
閲覧数
PythonのStyleFrameでエクセルに上書きせず追記できるようにしたい
StyleFrame を使ってエクセルに上書きせずに保存したいのですがうまく行きません。
試したことは with StyleFrame.ExcelWriter(s_path,mode='a') as writer: です。
これではエラーになってしまって出来ませんでした。
教えていただけたら嬉しいです、よろしくお願いします。
2
票
2
回答
195
閲覧数
Pandas の plot と matplotlib の plot を併用時、実行順によって意図した通り描画されない
PandasのDataFrameのplotメソッドでDataFrameを描画した後に、matplotlibのplotメソッドで他のリストデータを描画したところ、DataFrameのグラフは表示されましたが、matplotlibのplotメソッドで描画したグラフは表示されませんでした。
描画順を変更([1]、[2]の実行順を逆にする)すると、正しく表示されました。
この振る舞いは仕様でしょうか、...
3
票
1
回答
177
閲覧数
pandas.DataFrameを継承した子クラスオブジェクトから親クラスメソッドを呼び出した場合返り値が親クラスの型になる
下記のように pandas.DataFrameを継承して新しくNewDataFrameクラスを作成します。NewDataFrameクラスのメソッドとしてmedianを定義しています。これは新たなNewDataFrameオブジェクトを返すものです。一方、NewDataFrameオブジェクトから親クラスpandas.DataFrameのメソッド(下記ではquery)を呼び出すと返り値がpandas....
1
票
2
回答
7,191
閲覧数
Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2
複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。
1、データの確認をしました
import pandas as pd
file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv"
df1 = pd.read_csv(file_path, ...
0
票
1
回答
411
閲覧数
列名が無い、同じ構造のDataFrameの値を足し算したい
列名が無い、同じ構造のデータフレームの足し算を以下のように書きましたが、エラーメッセージが出ました。
どのように修正したらよいでしょうか?
どうぞよろしくお願いいたします。
現状のコード:
names=['time','交通量']
df1= pd.read_csv(r'file1.csv', index_col= 0 ,names=cols_name)
df2= pd.read_csv(r'...
0
票
1
回答
1,073
閲覧数
json_normalize を使用してDFを作成したいのですが、keyエラーになってしまう。
以下のようにJSONファイルを読み込んでDFにしようすると「keyerror」になってしまいます。
なぜでしょうか。
元のJSONファイルは以下です。
[
{
"creat_at": "2020-04-26T12:55:58+0900",
"pay_id": "E86F0CD0B346",
"pay": {
"a":...
1
票
1
回答
282
閲覧数
`pandas.pivot_table(aggfunc=np.sum)`を実行したときのFutureWarningの内容について教えてください
環境
Python 3.11.7
pandas 2.2.0
何が起きたのか
以下のPythonスクリプトを実行したら、FutureWarningが発生しました。
import pandas as pd
import numpy as np
df = pd.DataFrame(
{
"A": ["foo", "foo&...
1
票
1
回答
146
閲覧数
行と列の時系列統合の問題
以下のデータフレームがあります。
A列を削除して、Bの日付と1行の時間を統合したいです:
このような感じ
プログラミングコードは以下となります。
df = pd.read_csv(r"ファイル.csv", header=None, encoding='shift-jis')
df.columns = df.iloc[0]
df = df[1:]
df['datetime'] ...
1
票
1
回答
688
閲覧数
pandas-highcharts でグラフが描画されない
実現したいこと
取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。
該当のソースコード
from pandas_highcharts.display import display_charts
df = ... # ...
1
票
1
回答
119
閲覧数
PandasのSeriesがawareかnaiveかを判定する方法
あるDataFrameの列(pd.Series)が日付型であるか、
また日付型であればawareなのか、naiveなのかを判定したいです。
以下のように、判定メソッドを作成したのですが、Seriesの先頭要素を取得して判定しています。
もっとスマートな方法ありましたら、教えていただけないでしょうか?
ゼロ件チェックした上に、先頭要素を参照しているところが気持ち悪く、気になっています。
(...
1
票
3
回答
164
閲覧数
PandasでエクセルのISNA関数と同等の条件文を書くには?
少しややこしい質問ですが、isnaとifの複合文の書き方の質問です。
元データはABCD列のデータのみです。
セルE2のようなisnaの条件文を作りたいですが、
df = read_csv("file.csv",index_col=0)
for i, r in df.iterrows():
if pd.isnull(r["city1"]):
...
0
票
3
回答
838
閲覧数
複数のファイルを読み取り、For(ループ)で簡潔に書きたいです。
以下のファイルがあります:
group01/data/area01.csv
group01/data/area02.csv
group01/data/area03.csv
group02/data/area01.csv
group02/data/area02.csv
group02/data/area03.csv
group03/data/area01.csv
group03/data/...
0
票
2
回答
163
閲覧数
Pandas 2.0 の melt メソッドでタイムゾーンが変わってしまう
新しい Pandas で melt を使用すると、日付のタイムゾーンが変わりました。
不具合でしょうか。
!pip3 install pandas
!pip3 list | grep pandas
import pandas as pd
df = pd.DataFrame(data=[
{'type': 'A0', 'start_date': pd.Timestamp('2023/03/...
0
票
2
回答
349
閲覧数
Pandasで複数条件を指定して抽出を行うには?
以下に示すデータフレームがあります。city2のTokyoを抽出したいのですが、エラーが出ました。
どのようなコードを書けば良いでしょうか?ご教授頂けると幸いです。
エラーメッセージ:
ValueError: iLocation based boolean indexing cannot use an indexable as a mask
実行したコード:
df1 = pd.read_csv(&...
0
票
1
回答
212
閲覧数
PandasのDataFrame.applyメソッドで、データがゼロ件のときの処理方法について
DataFrame.applyメソッドの戻り値の型が、
データがN件のときはSeries型が戻り、
データがN件のときはDataFrame型が戻るため困っています。
デバッグしたところ、データがゼロ件のときも、applyする関数が呼び出され、
例外が発生したことが原因でした。
ゼロ件のときは、どのような処理にするべきか、教えていただけないでしょうか。
(どのように修正するのが正しいでしょうか?)
...
1
票
2
回答
168
閲覧数
pandasの時間引き算について、時間の表示の問題
データフレームdf_sumは以下となります。
time flow
2021/08/01 00:30 1627248
2021/08/02 00:30 1629168
2021/08/03 00:30 1629521
2021/08/04 00:30 1629521
2021/08/05 00:30 1629521
df_e=df_sum
df_e.index= ...
0
票
1
回答
1,191
閲覧数
pandasのデータフレームをスプレッドシートへ反映したい
スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。
やりたいこと
データフレームをスプレッドシートの最下部に追加したい
コード:
import pandas as pd
import gspread
import csv
import json
from oauth2client.service_account ...
0
票
1
回答
879
閲覧数
numpy.core._exceptions._UFuncNoLoopErrorというエラーメッセージ
折れ線グラフを描画したいですけど、以下のエラーメッセージが出ました。
どう書き換えたらいいですか?
ご教示いただきたいです。よろしくお願いします。
エラーメッセージ:
numpy.core._exceptions._UFuncNoLoopError: ufunc 'add' did not contain a loop with signature matching types (dtype('&...
0
票
1
回答
612
閲覧数
キーがユニークでないDataFrameをunstackする方法
PandasのDataFrameを、unstackしたいのですが、
エラー「ValueError: Index contains duplicate entries, cannot reshape」が発生し困っています。
エラーメッセージより、unstackするDataFrameは、unstack後のインデックスがユニークでないといけないようなのです。
以下のような、データ変換をしたいのですが、...
0
票
1
回答
1,859
閲覧数
for文を使用して連続的にファイルを読み込みたい
pandasの read_text_file = pd.read_csv() を使用してテキストファイルを読み取っているのですが、ファイルが数百あるので連続的にfor文を使用して文中でテキストファイル名を変更して自動化できないかと考えています。
そこで、下記のコードのように試作として for i in range(1, 4): で i という変数を1~3まで連続的に変化させて、その次の行にある ...
2
票
1
回答
3,095
閲覧数
object 型データから int 型への変換でエラーが発生する
csvで読み込んだデータがobject型として読み込まれてしまい、int型への変換を実施したところ添付のようなエラーでつまずいてしまっております。
色々やり方は調べたのですがどうしても解決できないため、解決方法を教示いただけると幸いです。
おそらく空欄が影響してしまっているのでreplaceでnp.NaNにした上でastypeにてint型変換をかけたのですがうまくいっていない状況です。
...
0
票
2
回答
223
閲覧数
pythonでのデータ処理
下記のデータに対してtag 'a'のstart-endのデータに対して 'b'のstart-endで重複する部分を削除したいのですがどのような処理をしたら良いでしょうか。
import pandas as pd
data = [
['a', 1, 10],
['b', 2, 3],
['b', 4, 6],
['b', 9, 11]
]
columns = ['...
0
票
0
回答
80
閲覧数
データフレームのqueryに渡す引数を変数で設定する方法について
python の queryに渡す引数に、変数を指定する方法
この
https://nekoyukimmm.hatenablog.com/entry/2016/06/21/100821
辺りを見ながら作業しています。
こういう感じの定義、
lst_colm = dfSample.colums
for key in lst_colm:
dfSample = dfSample.query('@key =...
0
票
0
回答
291
閲覧数
VSCode上のJupyter Notebookで、sklearn配下のメンバーを呼び出そうとすると静的解析ではエラーが出るけど実行できる
状況
Pythonを使ったデータ分析関連。Pandas-Profilingを使おうとしてます。
Pandas-Profilingに渡すデータを作るのにsklearnを使おうとしたんですが、そこでpylanceがエラーを吐く。でも、実行できます。
と、思ったら、実際にPandas-Profilingにデータを渡して実行するとipython側でエラーが出ます。
...
0
票
1
回答
2,600
閲覧数
pandas groupby で集計を行った列の列名
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧金','鎧銀'],
'カテゴリ':['戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','外部有識者','管理者','...
2
票
1
回答
224
閲覧数
ソートされてないMultiIndexの列を持つDataFrameに対して、PerformanceWarningが発生するケースと発生しないケースの差は何でしょうか?
環境
Python 3.11.2
pandas 2.0.2
列がMultiIndexで、列名がソートされていないDataFrameがあります。
In [474]: df = pandas.DataFrame({("x","a"):[1,2,3],("y",""):["a","b&...
0
票
2
回答
403
閲覧数
pandas dataframeはなるべく使いまわしたほうが良いのでしょうか?
pandasに限らないと思うのですが、大きなサイズのdataframeを扱う場合、加工後は代入して使いまわしたほうが良いのでしょうか?
df = df.drop()
または
df2 = df.drop()
補足
代入したほうがガベージコレクションによってメモリを開放してくれるのかなと思いました。
0
票
1
回答
182
閲覧数
pandas DataFrameで座標が入れ子になっているデータセットの分割
複数の座標から線分の組合せパターンを抽出した後、各線分と一つ一つの座標との組み合わせを一つの行にまとめたデータセットを作成したいです。
(その後、行ごとに線分と座標の関係を計算することが目的です)
例えば3つの座標の場合、重複をまったく考慮せずにすべての組合わせを考える場合、
線分の組合わせは3*3、これに対してそれぞれの線分に各座標との組み合わせ*3の、
3*3*...
0
票
4
回答
793
閲覧数
PandasのDataFrame(Series)で、Decimal型を含む列を検出する方法
Decimal型の数値を含むDataFrame(Series)を、matplotlibでグラフ表示したいのですが、
Decimal型そのままのデータではエラーとなり、グラフ表示できないようです。
そこで、float型に変換しグラフ表示したいのですが、それぞれの列がDecimal型であるか判定するにはどうしたらよいでしょうか?
pd.Series.dtypeでは、...
1
票
2
回答
5,044
閲覧数
自動生成したデータフレームを 繰り返し繋ぎ合わせる方法について教えてください。
例えば、下記のように繰り返しランダムにデータフレームxを自動生成し、
それを一つのデータフレームdfに自動的に繋げていく方法を教えてください。
import pandas as pd
import numpy as np
i = 0
arr = []
for i in range(3):
x = pd.DataFrame(np.random.rand(3))
arr[i] = ...
0
票
2
回答
509
閲覧数
PandasのDataFrame.concatメソッドのsort引数の意味、効果は?
PandasのDataFrame.concatメソッドのsort引数にTrueを指定しても、(sort=Falseを指定しても)
実行結果に変化が見られないのですが、
どのような効果がるのでしょうか?
Pandasの公式ドキュメントは読んだのですが、理解できませんでした。
https://pandas.pydata.org/docs/reference/api/pandas.concat.html
...
0
票
1
回答
175
閲覧数
データの結合と合算
2つのデータを結合して、重複するデータがあれば合算したい。
# データ1
df1 = pd.DataFrame({"送信元IP": [1.1.1.1, 3.3.3.3, 5.5.5.5],
"宛先IP": [2.2.2.2, 4.4.4.4, 6.6.6.6],
"...
-2
票
1
回答
168
閲覧数
時系列のフォーマットを変更と描画
1.時間のフォーマットを変更したいですが、
df['datetime'] = pd.to_datetime(df['datetime'],format='%Y年%m月%d日 %H時%M分')
うまくいかないんです。
正しい書き方は何ですか。
2.散布図の作り方、
plt.plot_date(datetime, temp)
うまくいかないんです。
正しい書き方は何ですか。
よろしくお願いします。
0
票
1
回答
85
閲覧数
時系列のデータフレームの作成
1点目
時系列のデータフレームについて、一日単位の時系列がわかりますが:
pd.date_range(start='2022-01-01', end='2022-01-31', freq='D')
output:
DatetimeIndex(['2022-01-01', '2022-01-02', '2022-01-03', '2022-01-04',
'2022-...
1
票
1
回答
469
閲覧数
複数条件の抽出方法
1月1日を抽出したい場合
df = df.query('日付+エリア.str.contains("1月1日")')
1月1日の東京を抽出したい場合
df = df.query('日付+エリア.str.contains("1月1日.+東京")')
もし1月1日の東京と神奈川を抽出したい場合、どのようなコードを書けば良いでしょうか?
0
票
1
回答
280
閲覧数
時系列の横結合(merge)の質問について
2つCSVファイルがあります:area1.csv area2.csv
時間列の項目名はないので、
時間を基準に横結合したいなら、どうやって修正したら良いでしょうか?
ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
df1 = pd.read_csv(area1.csv,index_col=0)
df2 = pd.read_csv(area2.csv,index_col=0)
...
0
票
1
回答
91
閲覧数
時系列の横結合の質問について
2つCSVファイルがあります:area1.csv area2.csv
時間列の項目名はないので、
時間を基準に横結合したいなら、どうやって修正したら良いでしょうか?
ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
df1 = pd.read_csv(area1.csv)
df2 = pd.read_csv(area2.csv)
df3 = pd.concat([df1, df2]...
1
票
2
回答
69
閲覧数
それぞれの列の値が、文面に含まれているかを判定する
それぞれの列の値が、文面に含まれているかを判定するには、どうすればよいでしょうか?
import pandas as pd
df = pd.DataFrame(
data={
'コンテキスト': ['東京は晴れ', '曇りの神奈川', '熱い沖縄の気候'],
'キーワード': ['福岡', '神奈川', '沖縄']},
index=['xx', '...
0
票
1
回答
174
閲覧数
Excelデータで条件に合致しないデータを除外して取り込む方法
やりたいこと
エクセルファイルの特定シート(シート名前が決まっている)を読み込み、取り込むべきデータかを判断したいです。
例えば以下のような条件で不適合なデータを除く(適合するデータを抽出する)こと。
必須項目で空白はNG
Noは1以上
Modelは既定の文字列以外はNG
TypeがCのときにはoption文字列必須でなければNG
Excelファイルを取り込むのにpandasを利用しましたが、...
0
票
2
回答
209
閲覧数
データフレームで1つの列の要素の一部に2をかけたい
以下のようなデータフレームあります
2列目の値を2倍にしたいですが、
インデックスと項目名はないので、
どのようなコードを書けば良いでしょうか?
ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
0
票
1
回答
131
閲覧数
無相関検定をしたいのですがやりかたを教えてください
import numpy as np
import pandas as pd
df_maize = pd.read_csv("PSD online data maize.csv", thousands=',')]
df_maize.corr()
相関係数の計算まではできましたが以下の検定でエラーが起きました
import pandas as pd
import ...
0
票
2
回答
255
閲覧数
dtypeをobjectからint64に変更する方法を教えてください
import numpy as np
import pandas as pd
df_maize = pd.read_csv("PSD online data maize.csv")
print(df_maize["Name"])
print(df_maize["Production"])
print(df_maize["...
0
票
2
回答
210
閲覧数
最大値、最小値の時のidを求めたい。
〇実行環境
Windows 10
Python 3.X
pandas
こちらのリンクでの質問内容の続きになります。
pandasでの特定の条件下でのデータ取得ができない。
〇リンク先の質問
上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。
〇質問内容
...
0
票
1
回答
236
閲覧数
CSVの特定の列に特定の桁の値を抽出するには?
CSVのファイル、学籍番号の右からの2つ目の数字1の行を抽出したいなら、どうしたらよいですか
df = pd.read_excel(r"C:成績表.csv", index_col= 0 , header = [0],names=cols_name)
df01 = df.drop(['クラス'],axis=1)
df01[["学籍番号"] ==
0
票
1
回答
189
閲覧数
時系列の凡例のフォーマット (日時表示) を変更したい
以下を実行して、折れ線グラフを生成しました。
凡例の中の時間 YYYY-MM-DD のフォーマット(日付のみ、時間なし)にしたいなら、どこを直せばいですか?
for i in range(0,10) :
df04.plot(figsize=(8, 6))
plt.legend(loc='upper left', bbox_to_anchor=(1, 1))
plt....