[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
395
質問
0
票
1
回答
72
閲覧数
CSVの特定の列に特定の桁の値を抽出するには?
CSVのファイル、学籍番号の右からの2つ目の数字1の行を抽出したいなら、どうしたらよいですか
df = pd.read_excel(r"C:成績表.csv", index_col= 0 , header = [0],names=cols_name)
df01 = df.drop(['クラス'],axis=1)
df01[["学籍番号"] ==
0
票
2
回答
121
閲覧数
最大値、最小値の時のidを求めたい。
〇実行環境
Windows 10
Python 3.X
pandas
こちらのリンクでの質問内容の続きになります。
pandasでの特定の条件下でのデータ取得ができない。
〇リンク先の質問
上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。
〇質問内容
...
0
票
1
回答
127
閲覧数
時系列の凡例のフォーマット (日時表示) を変更したい
以下を実行して、折れ線グラフを生成しました。
凡例の中の時間 YYYY-MM-DD のフォーマット(日付のみ、時間なし)にしたいなら、どこを直せばいですか?
for i in range(0,10) :
df04.plot(figsize=(8, 6))
plt.legend(loc='upper left', bbox_to_anchor=(1, 1))
plt....
1
票
1
回答
41
閲覧数
dataframeのcolumnsを変更するとindexの上に0が入る
タイトルにあるようにあるCSVデータをpd.csv_readで読み込み、
dataframeのcolumnsを変更するとindexの行の上に「0」が入ります。
そのままデータフレームのplot()を実行すると凡例に「0」が入ってしまいます。
この0の削除方法をご教示お願いします。
CSVデータは以下です。
import pandas as pd #pandasのインポート
df = pd....
0
票
1
回答
56
閲覧数
pandas グルーピング化を使用してデータ取得ができるかが知りたい。
〇実行環境
Windows 10
Python 3.X
pandas
こちらのリンクでの質問内容の続きになります。
pandasでの特定の条件下でのデータ取得ができない。
〇リンク先の質問
上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。
〇質問内容
...
0
票
1
回答
102
閲覧数
pandas .agg(['mean'])で正確な値を求めることができない。
〇実行環境
Windows 10
Python 3.X
pandas
こちらのリンクでの質問内容の続きになります。
pandasでの特定の条件下でのデータ取得ができない。
〇リンク先の質問
上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。
〇質問内容
...
0
票
2
回答
80
閲覧数
pandasで同一idはまとめて出力し、そのうえでtimestamp順に出力したい。
実行環境
Windows 10
Python 3.X
pandas
データの説明
下記の元データはログをcsv化したものの一部の例になります。
こちらはid,timestampというカラムで構成されています。
timestampは昇順で並べられており、それに沿ってidが並べられています。
idは基本的にはまとまっておりますが、遅延などにより、別のidが先に割り込む形で出力されることがあり、...
0
票
1
回答
80
閲覧数
Pythonで特定の文字列を含むかをcontains()を使って判断する関数
Pythonでtrain['name']という文字列項目に対して、特定の文字列(例えば、"aaa")を含む場合は"1"、含まない場合は"0"となる項目(train['test'])を別で作りたいと思っています。その際、以下のような関数(kansu1やkansu2)を作り、apply関数でセットしようとしたのですが、...
1
票
2
回答
102
閲覧数
pandasでの特定の条件下でのデータ取得ができない。
実行環境
Windows 10
Python 3.X
pandas
データの説明
次のようなdfを使用してデータ加工を行いたいと考えています。
こちらはid,数値,分類というカラムで構成されています。
複数のidが重複しており、三つの分類これらのidは必ず三つの分類(type1,type2,type3)に分かれています。
columnの分類に書かれているのですが、...
0
票
1
回答
63
閲覧数
matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'
VSCodeで以下のプログラムを実行するとエラーメッセージが表示されグラフが表示されません。解決法がありましたら教えて下さい
エラー
例外が発生しました: TypeError unhashable type: 'numpy.ndarray'
コード:
import pandas as pd
df =pd.read_csv("csvファイルのパス")
df.head()
x = ...
3
票
3
回答
193
閲覧数
pandas, numpyでの積分・線形保管の処理を高速化したい
Pythonで数値解析のソフトウェアを作成しているのですが、処理に時間が掛かっており高速化したいと考えています。
cProfileで解析したところ、以下のintegrate()とscipyのinterp1dという2つの関数で全体の約47%の処理時間を占めていることが分かりました(total: 54.4 s, integrate: 14.7 s, interp1d: 11.2 s)。
...
0
票
3
回答
170
閲覧数
python pandasによるデータ処理について
色々と調べてみたはいいものの、書き方がつかめずどうしても固まってしまいます。お力添えをよろしくお願いいたします。
各染色体について父由来か母由来どちらの染色体を子孫に渡すかによってどんな能力のパターンがある得るかのシミュレーションです。
chr_effect.txtのようなデータファイルがあります。
animal、pnt、chr1...chr29の31列あり、...
1
票
1
回答
159
閲覧数
pandasをpdと略す意味とは?
pandas以外も同様ですが、短く省略することにどのような意味があるんでしょう?
何行もコードを書いているうちに正式名称を毎回入力するのが面倒になったとかそういう理由なんでしょうか?
0
票
3
回答
113
閲覧数
pandasでuniqueを使用したいのですが、Dataframeでしか取り出せないためどうすればいいのか分かりません。
pandasでuniqueを使用したいのですが、Dataframeでしか取り出せないためどうすればいいのか分かりません。
pandasで読み込んでいるデータ(df)
a b
-0.2 -0.200
-0.2 -0.195
-0.2 -0.190
-0.2 -0.185
-0.2 -0.180
...
1
票
1
回答
346
閲覧数
pandasで特定の列の値に基づき,その行を複製する方法
pandas.DataFrameで特定の列の値の回数分,行を複製する方法を探しています.
下に示すソースコードは,num列の値と同じ個数になるように,行を複製しています.
しかしこれは恐らく最も効率が悪い方法です.効率的な方法が御座いましたらご教示下さい.
なお、操作前のデータフレームに同一の行は含まれないことが保証されています.
現状のコード:
# Python 3.10.5
import ...
1
票
3
回答
123
閲覧数
CSVファイル内の時系列データを1秒区切りで平均化するコードを書いているのですがエラーの解消方法を知りたいです
前提
各列にTIME(データ取得日時)、測定値が格納されたCSVファイルを読み込んで、1秒毎に平均化してCSVファイルに出力したいです。
コードを書いてみたのですがエラーが出てしまい対処方法が分からないので教えて頂けるとありがたいです。
下記は使用するCSVデータで名称は「test.csv」です。
[LOGGING],RD81DL96_1,2,3,4
DATETIME[YYYY/MM/DD hh:...
0
票
1
回答
257
閲覧数
for文を使用して連続的にファイルを読み込みたい
pandasの read_text_file = pd.read_csv() を使用してテキストファイルを読み取っているのですが、ファイルが数百あるので連続的にfor文を使用して文中でテキストファイル名を変更して自動化できないかと考えています。
そこで、下記のコードのように試作として for i in range(1, 4): で i という変数を1~3まで連続的に変化させて、その次の行にある ...
1
票
1
回答
72
閲覧数
PandasのDataFrameで歯抜けになってるデータの整合性を合わせたい
いつもお世話になっております。
Pandas.DataFrameで display(df) などでデータを見た時に
次のようになっているデータがあります。
id
before
after
date
1
A
10
20
2000/01
2
B
30
NaN
2001/01
3
B
NaN
40
2001/01
4
C
NaN
NaN
2002/01
これを下記のようにしたいのですが、...
1
票
1
回答
36
閲覧数
PandasのDataFrameから、整数・浮動小数に変換可能な行を抽出するには
PandasのDataFrameで、文字列型の列から、整数や浮動小数に変換可能な値をもつ行を抽出する方法を教えていただけないでしょうか?
Seriesの str.isidigit() などを利用することで、次のように整数に変換可能な行は抽出できました。
さらに小数に型変換可能かどうか判定するには、どのようにしたらよいでしょうか。
import pandas as pd
df = pd....
0
票
1
回答
53
閲覧数
DataFrame型データのexcelファイルへの出力
pandasにより取得したDataFrame型データをexcelファイルに移す作業を行いました。
9行ごとに5つの表が貼り付けられている状態を予想していましたが,結果は5つ目の表のみ想定通りの位置に貼り付けられている状態でした。(下図のような感じ)
また表データは6行6列のデータです。
DataFrame型データをexcelファイルに出力するたびにすべてのセル情報が上書きされると考え,...
2
票
2
回答
126
閲覧数
Seleniumで同じcsvが重複して追加されてしまうのはなぜ?
pythonやプログラミングの初心者です。
色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。
基本的な内容かもしれませんが、ご協力いただけますと幸いです。
やりたいこと
Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして
csvとして出力して、データ解析をしたいです。
http://regalkes....
0
票
1
回答
376
閲覧数
pandas groupby で集計を行った列の列名
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧金','鎧銀'],
'カテゴリ':['戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','外部有識者','管理者','...
0
票
2
回答
91
閲覧数
relativedelta使用時のilocについて
ilocについて教えてください。
for i in range(len(predict_data)): とした場合、i に入るのは整数なので、.iloc[i] とすべきだと思ったのですが、解答では iloc を使わず、下記のようになっておりました。
なぜ、iloc 省略なのでしょうか。
できれば初学者用に分かりやすく教えていただけると幸いです。
よろしくお願いいたします。
for i in ...
1
票
1
回答
107
閲覧数
python pandas データの参照、検索、取得およびファイル書き出し
ほぼ初心者のため、ご教授のほどよろしくお願いいたします。
とあるファイル(length.txt、約40万行×2列、画像左参照)を1行ずつ参照してデータ取得し、そのデータをもとに別のファイル(effect.txt、約4万行×2列、画像右参照)のデータを検索、照合し、データをテキストファイルに書き出すということを行いたいです。
具体的には、以下の流れです。
length.txt内のlocus列、...
0
票
1
回答
139
閲覧数
python pandas データフレームにおける各要素をリストではなくしたい
ほぼ初心者なので、見当違いのこと言ってるかもしれませんがご教授よろしくお願いします。
添付した画像上部のように、約4万行×1列に約100~200個(各行によって個数はまちまち)の0、1、2のいずれかが並んだデータがあります。
これを、約100~200個の0、1、2の並びを分割して約4万行×100~200列(欠測の要素は#N/Aや-などで表現したいです)のデータに変換したいです。
...
0
票
1
回答
138
閲覧数
PandasのDataFrameのデータの抽出について(Seriesが返されるケースと値が取得できるケースの違い)
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧'],
'HP':[2,50,100,600,60,72,1000,np.nan]})
df1
上記のようなdf1から「うさぎ」の「HP」...
0
票
2
回答
98
閲覧数
データフレームである列の値に特定の文字列を含む場合、追加した列に指定した文字列を表示したい
どのようにコードを書き換えれば「期待する結果」のような出力がだせるのかわかりません。
お知恵をいただければ幸いです。
データセット
import pandas as pd
import numpy as np
df = pd.DataFrame([["tanaka", 81], ["naka", 63], ["ka", 89], [&...
0
票
2
回答
140
閲覧数
エクセルから読み込んだ数値データが形が変わって出力される
エクセルから読み込んだ数値データをvscode上で表示すると、小数点まで表示される。
例えば2という値だと、2.0と表示される。こちらを小数点を抜きにしたいと考えています。0001が1.0と表示されるのを0001のまま出力したい。
・エクセルデータの値をそのまま出力したい
・vscode上の出力[.0]を表示されないようにしたい。
どちらもExcelの設定の問題であれば、...
0
票
5
回答
234
閲覧数
エクセルのデータを数字か数字以外かでチェックしたい
エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。
条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
0
票
0
回答
102
閲覧数
ハイパーパラメータのチューニングでエラーが発生する
開発環境:
Anaconda
Windows 10
Jupiter labで作業をしています。
ハイパーパラメータチューニングを実行するとエラーが出て、Kernel errorで赤ランプがつき落ちてしまいます。
lgb_train = lgb_o.Dataset(X_train.values, y_train.values)
lgb_valid = lgb_o.Dataset(X_valid....
0
票
0
回答
114
閲覧数
x軸のラベルがdatetimeの日付形式のまま出力されてしまう
概要
csvデータからmatplotlibを使用し、棒グラフを作成しているのですが
日付形式がdatetimeの型のまま出力されてしまいます。(yyyy-mm-dd hh:ss:mm)
出力されているデータ自体は問題ないのですが、x軸のラベルだけ修正したいと考えてます。(yyyy/mm/ddに変えたい。)
試してみたこと
csvデータを読み込んで、、とありますが元データはExcel形式となります。
...
-1
票
1
回答
48
閲覧数
Pandas で条件付けした列の抽出をしたい
3つの変数(A,B,C)から成るdfから C=True(Cはbool)に限定した、変数をAとBのみに限定した新たなdf1を作成する際のコードについてですが、下記を考えましたがエラーになります。どこがおかしいのでしょうか?どなたかご教示ねがえないでしょうか? それとも1行で記載するのは難しいのでしょうか?
df1 = df[['A', 'B']].query('C == True')
df1
-1
票
1
回答
314
閲覧数
正規表現で電話番号の文字列を正規化したい
前提
pandas の電話番号の列を正規表現にしたいです。
現在下記の読み込みcsvのように先頭の0が抜けたりハイフンなしがあります。
国際番号も含まれています。
読み込みcsv
※テスト電話番号です。
電話番号
8012345678
9012345678
90-1234-5678
080-1234-5678
110000000
06-1234-5678
(0)0 812345678
...
0
票
0
回答
76
閲覧数
Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい
Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて
CSVで出力したいと考えています。
Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら
教えていただけますと幸いです。以下が試したことになります。
1.Big queryにテーブルstringsA, strinsBを2つ作成
stringsA
id
name
...
0
票
1
回答
82
閲覧数
find_element(By)にURLによって変わる要素を入れたい
以下のような2つのデータフレームから各URLのIDと一致するtxtを抜き出してfind_element(By.LINK_TEXT)に入れ込むようなことは可能でしょうか?df2のtxt部分は重複する場合もあります。よろしくお願い致します。
df1:
URL ID
aaa 1
bbb 2
ccc 3
ddd 4
... ...
df2:
ID txt
1 xxx
2 yyy
3 zzz
4 ...
0
票
1
回答
214
閲覧数
pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処
KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。
>>> train.info()
<class 'pandas.core.frame.DataFrame'>
Index: 458913 entries, ...
0
票
2
回答
174
閲覧数
Pandasを使った行の比較方法について
やりたいこと
PythonでBook1とBook2のエクセルを比較します。
Book1には無い行を、Book2のヘッダーFlagとしてどの行がないかを記載したいです。
両方のエクセルのキーとなるものはtitleにしています。
Book1のエクセル
created_at,title,messageId,content
2022-06-16T06:43:17.488Z,日本,2332528852,雨
...
1
票
1
回答
111
閲覧数
Pandas の DataFrame にビットを振りたい
以下に示すようなDataFrameとlistがあります。
DataFrameのうち、listに含まれる要素と一致する行に対してビットを振りたいです。
例えば以下のようにするとビットを振ることができますが、for文を使うのでは処理が遅すぎます。
同様の処理をより高速に実装するにはどうすればよいでしょうか。
試したコード:
for i, j in lst:
df.loc[(df["...
0
票
1
回答
76
閲覧数
PandasのDataframeにあるデータを対象に分位数を使った足切りをしたい
概要
PandasのDataframeにあるデータを、列のラベルごとに集計し、特定の分位数を使って外れ値の除外をするにはどのようなコードを書けばよいでしょうか?
詳細
環境はpython3.6です
対象となるDataframeは以下のような内容です
sensor_name temperature Humidity Pressure
sensor1 15.5 67 1001
sensor1 15.8 ...
0
票
1
回答
162
閲覧数
データフレームを結合し、名前の変更と加重平均を算出する
前提
材料開発においてMIを使用したいと考えております。言語はpythonを使用しています。
材料a,b,cを比率a : b : c=A:B:Cで混合する実験を想定しています。a,b,cには種類があり、例えばaはa_1とa_2があります。
a,b,cにはそれぞれx,y,zという特性値をもっており、別のデータフレームにまとまっています。
目標
...
0
票
2
回答
295
閲覧数
辞書配列のデータをdfに変換するには?
辞書からデータフレームを作成したいのですが、一列のデータフレームになってしまいます。どのようにして、辞書のキーをカラム名にしたデータフレームを作るのか教えていただけないでしょうか?
dictlist = [[{'viewCount': '1387827', 'likeCount': '48171', 'favoriteCount': '0', 'commentCount': '6352'}], [{...
0
票
2
回答
893
閲覧数
Pandasでgroupbyを使って重複した値を1行でまとめたい
やりたいこと
表1に 定刻[変更] のように同じ列を含む行が複数あった場合、表2のように1行にまとめたいです。
Pandasのgroupbyを使ってみましたが、実現したい結果と上手くいかないです。
コードでは何がいけないのか、もしくは他に簡単な方法がありましたら、教えていただけると嬉しいです。お手数ですが、よろしくお願い致します。
表1.csv
定刻[変更],出発地,経由地,航空会社,便名,機種,...
0
票
1
回答
380
閲覧数
DataFrameセル内のリストを列方向に展開したい
今、以下のような各セルにリストが入ったDataFrameがあります。
import pandas as pd
df = pd.DataFrame(
{'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]},
index=[1, 2, 3])
このDataFrameを以下のように加工をしたいです。
x1, x2 ...
0
票
1
回答
488
閲覧数
pandasのデータフレームをスプレッドシートへ反映したい
スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。
やりたいこと
データフレームをスプレッドシートの最下部に追加したい
コード:
import pandas as pd
import gspread
import csv
import json
from oauth2client.service_account ...
0
票
1
回答
782
閲覧数
Pandas でのデータ結合時にエラーが発生する
seriesに対し、日付をkeyにしてmerge_df1を左外部結合の下記のプログラムを実行するとエラーが発生するのですがなぜなのでしょうか?
import numpy as np
import pandas as pd
series = pd.Series(['1/1', '1/2', '1/3', '1/4', '1/5', '1/6','1/7',
'1/8'...
0
票
1
回答
62
閲覧数
Pythonのデータ結合についての質問です。
Pythonのデータ結合についての質問です。
seriesに対し、日付をkeyにしてdf1を左外部結合するやり方を教えていただけませんか。
series=pd.series ([‘1/1’,’1/2’,…..’1/10’],name=‘日付’)
df1=pd.DataFrame ({‘日付’:[‘1/1’,’1/2’,…..’1/7’], {‘天気’:[‘晴れ,’’曇り’,…..’曇り’]})
-1
票
1
回答
174
閲覧数
Pandasでフィルターもしくは行削除後、データを書き込みしたい
やりたいこと
pythonで下記のエクセルを読み込み
searchの列が空白の時だけその行を処理して,google上で検索したいです。
検索後、searchにOKとして記載したいです。
エクセル
country
search
america
canada
OK
spain
japan
OK
現在の結果
現在は書き込みする際に元のデータが消えてしまいます。
消えない方法ありますでしょうか。...
0
票
0
回答
703
閲覧数
pandasでエクセル読み込み時のエラーの解決方法を教えてください
pandasでエクセル(xlsx)を読み込んでcsvファイルを書き出す、というプログラムを作っています。
pandasでエクセルファイル読み込み時にエラーがでるようで、それについて調べてみると pip install xlrd で解決、ということでしたがインストールしても解決しません。
コマンドプロンプトを開いて python test.py でプログラムは動きます。
しかし、test....
0
票
1
回答
5,896
閲覧数
Pandas でCSV ファイルの読み込み時にエラー UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81
CSVファイルの読み込みができません。
import pandas as pd
import matplotlib.pyplot as plt
#data input
df_2021 = pd.read_csv('2021.csv',engine="python")
df_2021
結果
>>> #data input
>>> ...
1
票
3
回答
479
閲覧数
データフレームから不要な行データを削除する方法
先ずはPythonで特定の行番号を取得したいです。
番号を取得後、任意の行数を抽出して、それ以降の行を削除したいです。
コードのどこがいけないのかpandasに詳しい方教えていただけませんでしょうか。
set_indexの部分でしょうか。
元のエクセル
国
America
2022/5/10
Japan
実現したいエクセル
条件
日付がある行の番号を取得して、それ以後の行を削除したいです。...