[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
420
質問
6
票
3
回答
6,224
閲覧数
pythonのPandasで、縦持ちのデータを横持ちにするよい方法を教えてください。
python初心者です。
いろいろ調べながら進めているのですが、どうしてもすっきりしないので、どなたか教えていただけませんでしょうか?
◆Pandasのデータフレームで、縦持ちのデータを横持ちに変換する方法です。
以下のような縦持ちのデータがあるとします。(csvから読み込み)
ID number item
0 A 111 nn
1 A 123 mm
2 A 211 ...
5
票
3
回答
355
閲覧数
pandas, numpyでの積分・線形保管の処理を高速化したい
Pythonで数値解析のソフトウェアを作成しているのですが、処理に時間が掛かっており高速化したいと考えています。
cProfileで解析したところ、以下のintegrate()とscipyのinterp1dという2つの関数で全体の約47%の処理時間を占めていることが分かりました(total: 54.4 s, integrate: 14.7 s, interp1d: 11.2 s)。
...
4
票
2
回答
229
閲覧数
pandasの2次元配列から、1の値が入っている行、列番号を列挙する方法
2値の値が入っているnumpy arrayがあります。
そのarrayから1の値が入っている行と列番号を列挙したいです。
イメージ
以下のようなdataframeデータがあるとします
df = pd.DataFrame(np.array([[0,0,1],[1,0,1],[4,0,1]]))
df.index = [0, 1, 4]
これは以下のような表になると思います。
...
4
票
1
回答
1万
閲覧数
anacondaでpandasを使うモジュールをpyinstallerでexe化出来ない
pandasを使ったモジュールをexe化しようとしても上手く行かずに困っています。
Traceback (most recent call last):
File "site-packages\PyInstaller\loader\rthooks\pyi_rth_pkgres.py", line 11, in <module>
File "c:\users\Username\...
4
票
1
回答
89
閲覧数
文字列の数字への置き換え
現在、xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。
その際に、xにある路線名以外は、全て欠損値nanにしたいです。
現在は、line_namesのリストと、データとの対応が不完全なので、エラーになりますが、
辞書line_namesに対応を書かずとも、辞書にない文字列は、
欠損値としたいのですが、ご教示頂けるとありがたいです。
大量なデータがあり、...
4
票
1
回答
131
閲覧数
python 列と行のデータを照らし合わせて集計したい
データ前処理でどうしても解決できない部分があり質問させていただきます。
2つのテーブルで1つはユーザーIDに基づいたテレビ番組の視聴データ(0:見てない 1:見た)、
2つ目は上記テレビ番組のIDに基づいたCMの出稿データとなっており、製品名、会社名はダミーにしております。
今回やろうとしていることは製品ごとに出稿されたCMをユーザーがいくつ見たのかを集計したく
Aという製品は〇回、Bという製品は〇...
4
票
1
回答
809
閲覧数
pandasで単独の要素に値を代入する際のiatとilocの違いについて ValueError: could not convert string to float:
単独の要素に値を代入する際のiatとilocの違いについて
df1 = pd.DataFrame([[np.nan, 2], [1, 3], [4, 6]], columns=['A', 'B'])
df2 = pd.DataFrame([['aaa', 'bbb'], [1, 3], [4, 6]], columns=['A', 'B'])
A B
0 NaN 2
1 1....
4
票
1
回答
1,723
閲覧数
pandas 別のデータフレームにあるデータのみにフラグを付けたい
タイトルが分かりにくくて恐縮ですが、例えば以下の3個のデータフレームがあったとします。
・df_count
|日付|件数|
|2016-04-01|100|
|2016-04-02|1000|
|2016-04-03|300|
|2016-04-04|1500|
・df_CP1
|日付|キャンペーン名|
|2016-04-02|CP1|
・df_CP2
|日付|キャンペーン名|
|2016-...
3
票
2
回答
7,006
閲覧数
.txtファイルを.csvファイルに変換したい
python3.6環境下で以下の.csvファイルを出力しました。これをカンマ(,)区切りの.csvファイルに変換したいのですがうまくいきません。zepp.csv の一行1列目の要素には a b c d e f が格納されており、区切りが空白なのです。これらをカンマ区切りで a, b, c, d, e, f に訂正するアルゴリズムを各成分に対して適用するコードが書きたいです。...
3
票
3
回答
274
閲覧数
日付データから、月、日にちのデータを作成したい
日付データから、月、日にちのデータを作成したく、次のようなコードを準備しています。
import re
import pandas as pd
import datetime
df = pd.DataFrame(
{'x': ['Fri, 10 Mar 2017 23:58:00 GMT',
'Sat, 11 Mar 2017 05:33:42 GMT',
...
3
票
2
回答
723
閲覧数
python pandasデータフレームで条件から得た値を書き換えるには?その位置情報が分かればできるのだろうが、それがわからない。
素人質問で申し訳ないです。
pandasデータフレームで条件に当てはまる数値を任意の数値(または文字)に書き換えたい場合どのようにすればよいのでしょうか。
df = pd.DataFrame({'A': [0, 0, 2, 1], 'B': [1,2,3,4], 'C' : [5,7,2,5]},index = ["AA","BB","CC","DD"])
print (df)
...
3
票
1
回答
3,395
閲覧数
Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたい。
Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたいです。
以下で例えばx軸が3以上の場合に折れ線の色を赤色に変えるにはどうすれば良いでしょうか。
同様の質問が見つからず、ご教授下さい。
import pandas as pd
a = {'x-axis':[1,2,3,4,5], 'y-axis':[1,2,3,4,5]}
df = pd....
3
票
2
回答
1万
閲覧数
seaborn scatterplotにおいて、凡例(hue)に数値のものをいれるとプロット色が濃淡になってしまう
seaborn のversion0.10.0を使用しております。
seaborn scatterplotにおいて、凡例(hue)に数値のものをいれるとプロット色が濃淡になってしまいます。
やりたいこととしては出力図の凡例をカラフルな色にしたいと考えております。
通常はカラフルになるのですが、凡例対象が数値であるため濃淡なものになってしまいます。
図にしたいデータ
現在の出力図
sns....
3
票
1
回答
1,454
閲覧数
Pythonのpandasで一列だけrenameする方法
Pythonで指定した一列だけrenameする方法を探しています。
df.columns[0]='新列名'
としてもrenameできません。
ぐぐると全列名をリストで入れる方法と辞書で指定する方法は出てくるのですが、今回は使えません。
というのも、列名ではなく数値で列を指定しているのは関数化してループさせたときに1回目と2回目では列名が異なってくる、列数が異なってくるからです。
(...
3
票
1
回答
3,833
閲覧数
Pandasのapplyメソッドを使って列の文字列に対してMeCabで形態素解析をしたい。
英語版で質問しましたが回答が得られそうにないので、こちらで質問させていただきます。
https://stackoverflow.com/questions/48286364/pandas-series-apply-doesnt-work-consist-of-strings/48292467?noredirect=1#comment83570234_48292467
...
3
票
3
回答
719
閲覧数
時系列の値を線形補間し、別の時系列インデックスに変換する方法
concatとjoinメソッドを利用することで、DataFrameのインデックスを変換することができたのですが、
もっとスマートな方法ありますでしょうか?
(実際は、データの件数が増えることを前提としています。)
よろしくお願いします。
import pandas as pd
import matplotlib
import matplotlib.pyplot as plt
# ...
3
票
2
回答
1,460
閲覧数
複数のcsvファイル名の一部を変数化したうえで、それぞれを一括で読み込み格納したい
ご覧いただきありがとうございます。
表題の通りですが、例えば「首都圏」というフォルダ内に、
tokyo.csv
saitama.csv
kanagawa.csv
chiba.csv
があったときに、ある関数function()を用いると、
tokyo = pd.read_csv("./首都圏/tokyo.csv")
が他のcsvファイル(saitama.csv等)...
3
票
2
回答
778
閲覧数
pandasのデータフレームにappendしながら、追加した行の名前を変えたい
pandasのデータフレームdfに1行ずつデータを追加しながら、その1行の行名を指定(変更)したいと思っています。変更しなくてもよい行もあるので、実際のソースでは、df.renameをifでくくっています。ソースコードのイメージは、以下の通りです。
for i in range(0, 100):
df = df.append(dict(zip(list_colname, list_data)...
3
票
2
回答
1,040
閲覧数
resampleを用いた外挿 (データ補間) を行いたい
1時間刻みの年間データがあります。
このデータを1分刻みのデータとして補間したいですが、
23時までの内挿する方法しか分かりません。
23時01分から23時59分までの外挿方法について教えてください。
本当に基礎的な部分だと思いますが、いい方法が見つからないのでお願いいたします。
df2=df.resample('1T').interpolate()
対象の年間データ
0 2019-...
3
票
1
回答
2,136
閲覧数
matplotlibのboxplotにおける色などの細かい調整
pandasでエクセルのデータを読み込み、matplotlib のboxplotで番号ごとにグループ化した箱ひげ図を作成しています。boxplotの箱枠とmedian lineの色を黒で統一したいのですが、色を設定することができません。
boxpropsやmedianpropsを使用すると、線の太さは変えられるのですが、色は変わりませんでした。
コードは以下の通りです。
どのようにすれば、...
3
票
1
回答
590
閲覧数
pythonのgroupbyから取得できる値
いつもお世話になっております。
タイポからたまたま正解に辿り着けたのですが、ロジックがわからず、ご指導をお願いします。
■出力データ
# date area resident valueA valueB SD KM
48597 2019-01-26 tokyo man 75000 6.96 1.1 1.1
48598 ...
3
票
1
回答
3,385
閲覧数
pandasで複数のCSVから特定行のみを抽出してCSVにしたい
pythonを使いはじめて2週間になります。
やりたいことは以下です。
①pandasを使って複数のCSVを読みこんで2行目のみをそれぞれから抽出
②1つ目のCSVから抽出した行は1行目
2つ目のCSVから抽出した行は2行目・・・
と、いうふうにしたいのですが、
→できたことは
・フォルダにあるCSVを読み込む
→あいまいorわからない
・なんとなく2行目もとりだせている気もするんですが。
・...
3
票
1
回答
2,466
閲覧数
複数列を条件に新たな列を追加したい
python初心者です。pandasで以下のことをやりたいです。
|A|B|C|
|OK|OK|OK|
|-|OK|NG|
|OK|NG|OK|
といったデータフレームがあった場合
A,B,C列がすべてOKだったら、新規に追加したnew列にOK
それ以外はNGとしたい。
|A|B|C|new|
|OK|OK|OK|OK|
|-|OK|NG|NG|
|OK|NG|OK|NG|
...
3
票
3
回答
2,971
閲覧数
python pandas による日付処理
pandasで日付の処理をしており、該当する日付がなければ新しい行を加えるという処理をしようとしています。
そこで次のようなコードを書きました。
リスト内には存在するのにin演算子には引っかからないという現象が起きてしまい、原因がさっぱりわかりません。もしよろしければ原因を教えてください。
def complement_date(self,pandas_arr):
keys = ...
3
票
1
回答
1,793
閲覧数
Pandasを使ってCSVの内容を出力するコードで、日本語で書いたヘッダーの部分と数値の位置がずれてしまう
csvとして保存したデータをpandasを使ってPythonで出力するコードを書きました。
しかし、いざ結果を出力してみると日本語で書いたヘッダーの部分と数値の位置がずれてしまいます。
触っているうちにわかったことは、ヘッダーを英語でcsvのヘッダーを英語で入力するときれいに揃った表ができるということです。ヘッダーを日本語できれいにそろえることはできませんか?...
3
票
1
回答
3,399
閲覧数
seabornで綺麗なペアプロットを表示させたい。pairplotする時、hueの設定でLinAlgError: singular matrixと出てしまう。
独自データで、iris分析のようなpairplotを表示させたいです。
独自データ
=カメラの
weight(重さ),
quality(画質),
price(値段),
camera(1一眼/2ミラーレス/3コンデジ/4スマホ)
[[1066, 2400, 215000, 1], [1274, 2400, 225000, 1], [1048, 2400, 205800, 1], [1200, ...
3
票
1
回答
158
閲覧数
文字列の数字への置き換え:文字列に揺らぎがある場合
以前の質問の拡張です。
xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。
しかし、路線名にはJRや都営などが付いたり、つかなかったりなど揺らぎあることが分かりました。
現在用意したcodeでは、完全に一致するもののみ、置き換えます。
用意した辞書と部分的に一致したものを番号に変換し、一致しないものは、欠損値にしたいのですが、
...
3
票
2
回答
1万
閲覧数
matplotlibでCSVから3Dサーフェスグラフを作りたい
pandasでcsvファイルを読み込んで3Dのサーフェスのグラフを作りたいのですが、x,y,z成分に当たる要素をcsvファイルからどう割り当てればいいかわかりません。
csvファイルは、
NAN 10,20,30,40,50,60,70,80,90
1 x x x x x x x x x
2 x x x x x x x x x
3 x x x x ...
3
票
1
回答
1,146
閲覧数
k-means/matplotlib を使って、エネルギー消費量をクラスタリング。
matplotlibとk-meansを使用して、csvファイルをクラスタリングしようとしています。
私の扱っているcsvデータはエネルギー消費量に関するもので、以下のリンクのものとなります。
https://github.com/camenergydatalab/EnergyDataSimulationChallenge/blob/master/challenge2/data/...
3
票
1
回答
132
閲覧数
DataFrame/Seriesの欠損値を定数で補完するとき、内挿のみに指定したい
DataFrame/Seriesの欠損値を、定数で補完したいのですが、内挿[limit_area='inside']を指定する方法ありますでしょうか?
両端の欠損値はそのまま補完しないようにしたいです。
import pandas as pd
series = pd.Series(data=[ None, 20, None, 40, None ], index=[ 'aa', 'bb', 'cc'...
3
票
1
回答
144
閲覧数
gurobi からpyomoへの変換
pythonでgurobiからpyomoへ二次制約付き問題であるため、変更したいのですがやり方がわからなくて困っています。
from gurobipy import *
import pandas as pd
import numpy as np
import csv
from pyomo.environ import SolverFactory
opt = SolverFactory("...
2
票
3
回答
1,929
閲覧数
一つのカラムの中にリストでデータが入っている場合、リストの各要素を分割して新たに列を増やし、各要素をダミー変数化方法はありますか?
データ分析初心者です。
初めて簡単なコンペのようなものに挑戦しています。
何からやればよいのかわからず手探りでググって一つ一つ進めてきたのですが、これについてはどのようにググれば答えが見つかるのかもわからずの状態です。
そのため、タイトルもなかなかうまく言語化できておらず、わかりにくくなってしまっていると思います。すみません。
コンペの内容としては民泊サービスの価格予測です。...
2
票
1
回答
1,107
閲覧数
pandas.io.sql.read_sqlでバインド変数を使用する方法
pandas.io.sql.read_sql('SELECT * FROM database as a where a.date=date)でdateを変数として使用したいのですが方法はありますでしょうか?
2
票
1
回答
1,003
閲覧数
PythonでCSVデータの整理
初めまして。初心者ですがよろしくお願いします。
図の左のようなCSVファイルを読み込んだとします。
A列は人を表し、B列のa,bは身長、体重を表しています(cは穴埋めなので気にしないでください)。
C列はB列に対応した数値になっています。
同じ人がa,bを不規則に測っている通り、いくつものデータを持っている場合、その人の中の最も新しい数値(ここでは行が下に行くほど新しいデータとなる)...
2
票
1
回答
101
閲覧数
ソートされてないMultiIndexの列を持つDataFrameに対して、PerformanceWarningが発生するケースと発生しないケースの差は何でしょうか?
環境
Python 3.11.2
pandas 2.0.2
列がMultiIndexで、列名がソートされていないDataFrameがあります。
In [474]: df = pandas.DataFrame({("x","a"):[1,2,3],("y",""):["a","b&...
2
票
2
回答
161
閲覧数
Seleniumで同じcsvが重複して追加されてしまうのはなぜ?
pythonやプログラミングの初心者です。
色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。
基本的な内容かもしれませんが、ご協力いただけますと幸いです。
やりたいこと
Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして
csvとして出力して、データ解析をしたいです。
http://regalkes....
2
票
3
回答
1,048
閲覧数
マルチインデックスのDataFrameに、複数の列をまとめて追加する方法
列がマルチインデックスなDataFrameへ、
複数の列を、ループを利用せずに、まとめて追加することできないでしょうか?
参考にしたサイト:https://www.fixes.pub/program/312227.html
import pandas as pd
df = pd.DataFrame(
data=[
['a', 10, 'あ', 11],
['...
2
票
1
回答
2,489
閲覧数
object 型データから int 型への変換でエラーが発生する
csvで読み込んだデータがobject型として読み込まれてしまい、int型への変換を実施したところ添付のようなエラーでつまずいてしまっております。
色々やり方は調べたのですがどうしても解決できないため、解決方法を教示いただけると幸いです。
おそらく空欄が影響してしまっているのでreplaceでnp.NaNにした上でastypeにてint型変換をかけたのですがうまくいっていない状況です。
...
2
票
1
回答
2万
閲覧数
matplotlib の ylimについて 下限値は指定、上限値は自動にしたい
以下のコードについて質問させてください。
左のグラフのy軸を変更したいと考えており
左のグラフから右のグラフへ変更しようとしておりました。
y軸の変更方法ですが
y軸のyminが0,ymaxは自動調整してほしいのですが、
yminは0になったのですが、ymaxがなぜだか1.0になってしまいます。
どうコードを記載したらよいのかわかりません。
すみませんが、ご教授お願いします。
#散布図作成
...
2
票
3
回答
399
閲覧数
pd.DataFrameを、比率を示す図に再構築したい
pandas.DatFrameで作成したクロス図について、以下のように、
a行、b行それぞれの比率を表すクロス図に再構築したいと思っています。
作業を何ステップに分け(無理やり)できましたが、
もっと、シンプルに記述する方法は、ないでしょうか。
よろしく、お願いいたします。
import pandas as pd
lst=[[120,80,300],[280,120,400]]
df1=pd....
2
票
1
回答
606
閲覧数
python pandas でのデータ処理について
こんにちは。python pandas 超初学者の文系の者です。色々と調べてはみたのですが、どうすれば良いか分からずに困り果てています。お力添えをお願いいたします。
あるエクセルデータを読み込み、以下のようなグラフの作成をしているのですが、x軸は範囲を限定し、さらに、y軸はデータが0から始まるように移動させたいのです。具体的に言うと、x軸は0.05から0,25まで、y軸は0から始まり、...
1
票
1
回答
277
閲覧数
pandasをpdと略す意味とは?
pandas以外も同様ですが、短く省略することにどのような意味があるんでしょう?
何行もコードを書いているうちに正式名称を毎回入力するのが面倒になったとかそういう理由なんでしょうか?
1
票
3
回答
276
閲覧数
dataframeの各列を1列目の値で引きたい
dataframeの各列を1列目の値で引こうとし、以下のコードで試みたのですが、計算結果のdf2を見ると、1列目は自身の値で引いているので当然0になりますが、他の列は1列目で引かれていなものが返されてしまいます
こちらどのように書き直せばよいか、ご教示いただけると幸いです
df2=df
for i in df.columns.values :
df2[i]=df[i]-df.iloc[:,...
1
票
2
回答
123
閲覧数
欠損値を含む2変数の内容を1変数にまとめる方法
python のデータフレームに、
部屋の面積の入っている二つの変数xとyがあります。
xから、面積のデータを取り出し、
yにも入っている面積のデータを、取り出して、
面積のみを含む変数spaceを作りたいと考えています。
このことを意図してfor roop とif を用いて、
spaceを作ろうとしていますが、エラーが生じて進みません。
エラーをなくす方法、あるいは別の方法がございましたら、...
1
票
1
回答
3万
閲覧数
CSVをPandasで扱う際のスペース区切りの問題
初心者です.
csvファイルをインポートしたいと考えています.
データセットは以下の通りです(簡略化しています).
0 0 0 0
0 12 12 12
0 123 123 123
data=pd.read_csv( '○○.csv',sep=' ')
上記のようにインポートすると
0 NaN NaN NaN 0 NaN NaN NaN 0 NaN NaN ...
1
票
1
回答
1,762
閲覧数
pandasで特定の列の値に基づき,その行を複製する方法
pandas.DataFrameで特定の列の値の回数分,行を複製する方法を探しています.
下に示すソースコードは,num列の値と同じ個数になるように,行を複製しています.
しかしこれは恐らく最も効率が悪い方法です.効率的な方法が御座いましたらご教示下さい.
なお、操作前のデータフレームに同一の行は含まれないことが保証されています.
現状のコード:
# Python 3.10.5
import ...
1
票
3
回答
696
閲覧数
データフレームから不要な行データを削除する方法
先ずはPythonで特定の行番号を取得したいです。
番号を取得後、任意の行数を抽出して、それ以降の行を削除したいです。
コードのどこがいけないのかpandasに詳しい方教えていただけませんでしょうか。
set_indexの部分でしょうか。
元のエクセル
国
America
2022/5/10
Japan
実現したいエクセル
条件
日付がある行の番号を取得して、それ以後の行を削除したいです。...
1
票
1
回答
294
閲覧数
Dataframeにネストした辞書を一つずつ追加していく方法
下記1、2の処理で辞書をDataframeに一行ずつ追加していく方法を教えてください。
下記ocのvalueを更新
oc_dfに一行ずつvalueを追加
1、2を繰り返してoc_dfを更新
oc_dfに追加する行はリングバッファのように更新して最大10行としたいのですが中々うまくいきません。
PTPSYNC = "hoge"
SWD1 = "delay"
...
1
票
1
回答
9,199
閲覧数
pandasで文字の長さによる抽出
pandasのデータフレームdfで、文字列のはいった列mojiの長さが3以上のものを残したいと考えています。
mojilen=len(moji)で新しい列を作れば行けると思いますが、新しい列を作らずに処理する方法はあるのでしょうか。
df.query("len(df.moji)>2")は駄目でした。
よろしくおねがいします。
1
票
2
回答
116
閲覧数
時間を望んだformatで表示させる方法
pandasによるデータフレームで0~23のhour列と、0~60のminute列があり、その2列からtime列("%H:%M"の形式)を作りたいと考えています。
ですが、hour、minuteともにint型だからかエラーが出てうまくいきません。
どのように対処すればよろしいでしょうか?