[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
351
質問
4
票
3
回答
5,758
閲覧数
pythonのPandasで、縦持ちのデータを横持ちにするよい方法を教えてください。
python初心者です。
いろいろ調べながら進めているのですが、どうしてもすっきりしないので、どなたか教えていただけませんでしょうか?
◆Pandasのデータフレームで、縦持ちのデータを横持ちに変換する方法です。
以下のような縦持ちのデータがあるとします。(csvから読み込み)
ID number item
0 A 111 nn
1 A 123 mm
2 A 211 ...
3
票
2
回答
118
閲覧数
pandasの2次元配列から、1の値が入っている行、列番号を列挙する方法
2値の値が入っているnumpy arrayがあります。
そのarrayから1の値が入っている行と列番号を列挙したいです。
イメージ
以下のようなdataframeデータがあるとします
df = pd.DataFrame(np.array([[0,0,1],[1,0,1],[4,0,1]]))
df.index = [0, 1, 4]
これは以下のような表になると思います。
...
3
票
1
回答
1万
閲覧数
anacondaでpandasを使うモジュールをpyinstallerでexe化出来ない
pandasを使ったモジュールをexe化しようとしても上手く行かずに困っています。
Traceback (most recent call last):
File "site-packages\PyInstaller\loader\rthooks\pyi_rth_pkgres.py", line 11, in <module>
File "c:\users\Username\...
3
票
1
回答
82
閲覧数
文字列の数字への置き換え
現在、xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。
その際に、xにある路線名以外は、全て欠損値nanにしたいです。
現在は、line_namesのリストと、データとの対応が不完全なので、エラーになりますが、
辞書line_namesに対応を書かずとも、辞書にない文字列は、
欠損値としたいのですが、ご教示頂けるとありがたいです。
大量なデータがあり、...
3
票
1
回答
120
閲覧数
python 列と行のデータを照らし合わせて集計したい
データ前処理でどうしても解決できない部分があり質問させていただきます。
2つのテーブルで1つはユーザーIDに基づいたテレビ番組の視聴データ(0:見てない 1:見た)、
2つ目は上記テレビ番組のIDに基づいたCMの出稿データとなっており、製品名、会社名はダミーにしております。
今回やろうとしていることは製品ごとに出稿されたCMをユーザーがいくつ見たのかを集計したく
Aという製品は〇回、Bという製品は〇...
3
票
1
回答
596
閲覧数
pandasで単独の要素に値を代入する際のiatとilocの違いについて ValueError: could not convert string to float:
単独の要素に値を代入する際のiatとilocの違いについて
df1 = pd.DataFrame([[np.nan, 2], [1, 3], [4, 6]], columns=['A', 'B'])
df2 = pd.DataFrame([['aaa', 'bbb'], [1, 3], [4, 6]], columns=['A', 'B'])
A B
0 NaN 2
1 1....
3
票
1
回答
1,354
閲覧数
pandas 別のデータフレームにあるデータのみにフラグを付けたい
タイトルが分かりにくくて恐縮ですが、例えば以下の3個のデータフレームがあったとします。
・df_count
|日付|件数|
|2016-04-01|100|
|2016-04-02|1000|
|2016-04-03|300|
|2016-04-04|1500|
・df_CP1
|日付|キャンペーン名|
|2016-04-02|CP1|
・df_CP2
|日付|キャンペーン名|
|2016-...
2
票
2
回答
5,949
閲覧数
.txtファイルを.csvファイルに変換したい
python3.6環境下で以下の.csvファイルを出力しました。これをカンマ(,)区切りの.csvファイルに変換したいのですがうまくいきません。zepp.csv の一行1列目の要素には a b c d e f が格納されており、区切りが空白なのです。これらをカンマ区切りで a, b, c, d, e, f に訂正するアルゴリズムを各成分に対して適用するコードが書きたいです。...
2
票
3
回答
182
閲覧数
日付データから、月、日にちのデータを作成したい
日付データから、月、日にちのデータを作成したく、次のようなコードを準備しています。
import re
import pandas as pd
import datetime
df = pd.DataFrame(
{'x': ['Fri, 10 Mar 2017 23:58:00 GMT',
'Sat, 11 Mar 2017 05:33:42 GMT',
...
2
票
2
回答
637
閲覧数
python pandasデータフレームで条件から得た値を書き換えるには?その位置情報が分かればできるのだろうが、それがわからない。
素人質問で申し訳ないです。
pandasデータフレームで条件に当てはまる数値を任意の数値(または文字)に書き換えたい場合どのようにすればよいのでしょうか。
df = pd.DataFrame({'A': [0, 0, 2, 1], 'B': [1,2,3,4], 'C' : [5,7,2,5]},index = ["AA","BB","CC","DD"])
print (df)
...
2
票
1
回答
506
閲覧数
pandas.io.sql.read_sqlでバインド変数を使用する方法
pandas.io.sql.read_sql('SELECT * FROM database as a where a.date=date)でdateを変数として使用したいのですが方法はありますでしょうか?
2
票
1
回答
730
閲覧数
Pythonのpandasで一列だけrenameする方法
Pythonで指定した一列だけrenameする方法を探しています。
df.columns[0]='新列名'
としてもrenameできません。
ぐぐると全列名をリストで入れる方法と辞書で指定する方法は出てくるのですが、今回は使えません。
というのも、列名ではなく数値で列を指定しているのは関数化してループさせたときに1回目と2回目では列名が異なってくる、列数が異なってくるからです。
(...
2
票
1
回答
3,314
閲覧数
Pandasのapplyメソッドを使って列の文字列に対してMeCabで形態素解析をしたい。
英語版で質問しましたが回答が得られそうにないので、こちらで質問させていただきます。
https://stackoverflow.com/questions/48286364/pandas-series-apply-doesnt-work-consist-of-strings/48292467?noredirect=1#comment83570234_48292467
...
2
票
1
回答
2,803
閲覧数
Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたい。
Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたいです。
以下で例えばx軸が3以上の場合に折れ線の色を赤色に変えるにはどうすれば良いでしょうか。
同様の質問が見つからず、ご教授下さい。
import pandas as pd
a = {'x-axis':[1,2,3,4,5], 'y-axis':[1,2,3,4,5]}
df = pd....
2
票
1
回答
919
閲覧数
PythonでCSVデータの整理
初めまして。初心者ですがよろしくお願いします。
図の左のようなCSVファイルを読み込んだとします。
A列は人を表し、B列のa,bは身長、体重を表しています(cは穴埋めなので気にしないでください)。
C列はB列に対応した数値になっています。
同じ人がa,bを不規則に測っている通り、いくつものデータを持っている場合、その人の中の最も新しい数値(ここでは行が下に行くほど新しいデータとなる)...
2
票
3
回答
321
閲覧数
時系列の値を線形補間し、別の時系列インデックスに変換する方法
concatとjoinメソッドを利用することで、DataFrameのインデックスを変換することができたのですが、
もっとスマートな方法ありますでしょうか?
(実際は、データの件数が増えることを前提としています。)
よろしくお願いします。
import pandas as pd
import matplotlib
import matplotlib.pyplot as plt
# ...
2
票
2
回答
405
閲覧数
複数のcsvファイル名の一部を変数化したうえで、それぞれを一括で読み込み格納したい
ご覧いただきありがとうございます。
表題の通りですが、例えば「首都圏」というフォルダ内に、
tokyo.csv
saitama.csv
kanagawa.csv
chiba.csv
があったときに、ある関数function()を用いると、
tokyo = pd.read_csv("./首都圏/tokyo.csv")
が他のcsvファイル(saitama.csv等)...
2
票
2
回答
418
閲覧数
pandasのデータフレームにappendしながら、追加した行の名前を変えたい
pandasのデータフレームdfに1行ずつデータを追加しながら、その1行の行名を指定(変更)したいと思っています。変更しなくてもよい行もあるので、実際のソースでは、df.renameをifでくくっています。ソースコードのイメージは、以下の通りです。
for i in range(0, 100):
df = df.append(dict(zip(list_colname, list_data)...
2
票
1
回答
313
閲覧数
Python pandas 日付の.str AttributeErrorエラーについて
前提・実現したいこと
Ppython, Pandasを使って、A列に08の月が含んでいる日付だけフィルターしたいです。
ただ下記のエラーが表示されます。
raise AttributeError("Can only use .str accessor with string values!")
strからdtへ変換しましたがそれでも同じエラーが出ます。
...
2
票
2
回答
554
閲覧数
resampleを用いた外挿 (データ補間) を行いたい
1時間刻みの年間データがあります。
このデータを1分刻みのデータとして補間したいですが、
23時までの内挿する方法しか分かりません。
23時01分から23時59分までの外挿方法について教えてください。
本当に基礎的な部分だと思いますが、いい方法が見つからないのでお願いいたします。
df2=df.resample('1T').interpolate()
対象の年間データ
0 2019-...
2
票
1
回答
1,533
閲覧数
matplotlibのboxplotにおける色などの細かい調整
pandasでエクセルのデータを読み込み、matplotlib のboxplotで番号ごとにグループ化した箱ひげ図を作成しています。boxplotの箱枠とmedian lineの色を黒で統一したいのですが、色を設定することができません。
boxpropsやmedianpropsを使用すると、線の太さは変えられるのですが、色は変わりませんでした。
コードは以下の通りです。
どのようにすれば、...
2
票
1
回答
525
閲覧数
pythonのgroupbyから取得できる値
いつもお世話になっております。
タイポからたまたま正解に辿り着けたのですが、ロジックがわからず、ご指導をお願いします。
■出力データ
# date area resident valueA valueB SD KM
48597 2019-01-26 tokyo man 75000 6.96 1.1 1.1
48598 ...
2
票
1
回答
2,847
閲覧数
pandasで複数のCSVから特定行のみを抽出してCSVにしたい
pythonを使いはじめて2週間になります。
やりたいことは以下です。
①pandasを使って複数のCSVを読みこんで2行目のみをそれぞれから抽出
②1つ目のCSVから抽出した行は1行目
2つ目のCSVから抽出した行は2行目・・・
と、いうふうにしたいのですが、
→できたことは
・フォルダにあるCSVを読み込む
→あいまいorわからない
・なんとなく2行目もとりだせている気もするんですが。
・...
2
票
1
回答
2,334
閲覧数
複数列を条件に新たな列を追加したい
python初心者です。pandasで以下のことをやりたいです。
|A|B|C|
|OK|OK|OK|
|-|OK|NG|
|OK|NG|OK|
といったデータフレームがあった場合
A,B,C列がすべてOKだったら、新規に追加したnew列にOK
それ以外はNGとしたい。
|A|B|C|new|
|OK|OK|OK|OK|
|-|OK|NG|NG|
|OK|NG|OK|NG|
...
2
票
3
回答
2,928
閲覧数
python pandas による日付処理
pandasで日付の処理をしており、該当する日付がなければ新しい行を加えるという処理をしようとしています。
そこで次のようなコードを書きました。
リスト内には存在するのにin演算子には引っかからないという現象が起きてしまい、原因がさっぱりわかりません。もしよろしければ原因を教えてください。
def complement_date(self,pandas_arr):
keys = ...
2
票
3
回答
141
閲覧数
マルチインデックスのDataFrameに、複数の列をまとめて追加する方法
列がマルチインデックスなDataFrameへ、
複数の列を、ループを利用せずに、まとめて追加することできないでしょうか?
参考にしたサイト:https://www.fixes.pub/program/312227.html
import pandas as pd
df = pd.DataFrame(
data=[
['a', 10, 'あ', 11],
['...
2
票
1
回答
886
閲覧数
Pandasを使ってCSVの内容を出力するコードで、日本語で書いたヘッダーの部分と数値の位置がずれてしまう
csvとして保存したデータをpandasを使ってPythonで出力するコードを書きました。
しかし、いざ結果を出力してみると日本語で書いたヘッダーの部分と数値の位置がずれてしまいます。
触っているうちにわかったことは、ヘッダーを英語でcsvのヘッダーを英語で入力するときれいに揃った表ができるということです。ヘッダーを日本語できれいにそろえることはできませんか?...
2
票
1
回答
2,913
閲覧数
seabornで綺麗なペアプロットを表示させたい。pairplotする時、hueの設定でLinAlgError: singular matrixと出てしまう。
独自データで、iris分析のようなpairplotを表示させたいです。
独自データ
=カメラの
weight(重さ),
quality(画質),
price(値段),
camera(1一眼/2ミラーレス/3コンデジ/4スマホ)
[[1066, 2400, 215000, 1], [1274, 2400, 225000, 1], [1048, 2400, 205800, 1], [1200, ...
2
票
1
回答
2万
閲覧数
matplotlib の ylimについて 下限値は指定、上限値は自動にしたい
以下のコードについて質問させてください。
左のグラフのy軸を変更したいと考えており
左のグラフから右のグラフへ変更しようとしておりました。
y軸の変更方法ですが
y軸のyminが0,ymaxは自動調整してほしいのですが、
yminは0になったのですが、ymaxがなぜだか1.0になってしまいます。
どうコードを記載したらよいのかわかりません。
すみませんが、ご教授お願いします。
#散布図作成
...
2
票
1
回答
141
閲覧数
文字列の数字への置き換え:文字列に揺らぎがある場合
以前の質問の拡張です。
xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。
しかし、路線名にはJRや都営などが付いたり、つかなかったりなど揺らぎあることが分かりました。
現在用意したcodeでは、完全に一致するもののみ、置き換えます。
用意した辞書と部分的に一致したものを番号に変換し、一致しないものは、欠損値にしたいのですが、
...
2
票
2
回答
8,028
閲覧数
matplotlibでCSVから3Dサーフェスグラフを作りたい
pandasでcsvファイルを読み込んで3Dのサーフェスのグラフを作りたいのですが、x,y,z成分に当たる要素をcsvファイルからどう割り当てればいいかわかりません。
csvファイルは、
NAN 10,20,30,40,50,60,70,80,90
1 x x x x x x x x x
2 x x x x x x x x x
3 x x x x ...
2
票
1
回答
1,134
閲覧数
k-means/matplotlib を使って、エネルギー消費量をクラスタリング。
matplotlibとk-meansを使用して、csvファイルをクラスタリングしようとしています。
私の扱っているcsvデータはエネルギー消費量に関するもので、以下のリンクのものとなります。
https://github.com/camenergydatalab/EnergyDataSimulationChallenge/blob/master/challenge2/data/...
2
票
3
回答
91
閲覧数
pd.DataFrameを、比率を示す図に再構築したい
pandas.DatFrameで作成したクロス図について、以下のように、
a行、b行それぞれの比率を表すクロス図に再構築したいと思っています。
作業を何ステップに分け(無理やり)できましたが、
もっと、シンプルに記述する方法は、ないでしょうか。
よろしく、お願いいたします。
import pandas as pd
lst=[[120,80,300],[280,120,400]]
df1=pd....
2
票
1
回答
585
閲覧数
python pandas でのデータ処理について
こんにちは。python pandas 超初学者の文系の者です。色々と調べてはみたのですが、どうすれば良いか分からずに困り果てています。お力添えをお願いいたします。
あるエクセルデータを読み込み、以下のようなグラフの作成をしているのですが、x軸は範囲を限定し、さらに、y軸はデータが0から始まるように移動させたいのです。具体的に言うと、x軸は0.05から0,25まで、y軸は0から始まり、...
1
票
3
回答
88
閲覧数
dataframeの各列を1列目の値で引きたい
dataframeの各列を1列目の値で引こうとし、以下のコードで試みたのですが、計算結果のdf2を見ると、1列目は自身の値で引いているので当然0になりますが、他の列は1列目で引かれていなものが返されてしまいます
こちらどのように書き直せばよいか、ご教示いただけると幸いです
df2=df
for i in df.columns.values :
df2[i]=df[i]-df.iloc[:,...
1
票
2
回答
119
閲覧数
欠損値を含む2変数の内容を1変数にまとめる方法
python のデータフレームに、
部屋の面積の入っている二つの変数xとyがあります。
xから、面積のデータを取り出し、
yにも入っている面積のデータを、取り出して、
面積のみを含む変数spaceを作りたいと考えています。
このことを意図してfor roop とif を用いて、
spaceを作ろうとしていますが、エラーが生じて進みません。
エラーをなくす方法、あるいは別の方法がございましたら、...
1
票
1
回答
2万
閲覧数
CSVをPandasで扱う際のスペース区切りの問題
初心者です.
csvファイルをインポートしたいと考えています.
データセットは以下の通りです(簡略化しています).
0 0 0 0
0 12 12 12
0 123 123 123
data=pd.read_csv( '○○.csv',sep=' ')
上記のようにインポートすると
0 NaN NaN NaN 0 NaN NaN NaN 0 NaN NaN ...
1
票
1
回答
126
閲覧数
Dataframeにネストした辞書を一つずつ追加していく方法
下記1、2の処理で辞書をDataframeに一行ずつ追加していく方法を教えてください。
下記ocのvalueを更新
oc_dfに一行ずつvalueを追加
1、2を繰り返してoc_dfを更新
oc_dfに追加する行はリングバッファのように更新して最大10行としたいのですが中々うまくいきません。
PTPSYNC = "hoge"
SWD1 = "delay"
...
1
票
1
回答
5,498
閲覧数
pandasで文字の長さによる抽出
pandasのデータフレームdfで、文字列のはいった列mojiの長さが3以上のものを残したいと考えています。
mojilen=len(moji)で新しい列を作れば行けると思いますが、新しい列を作らずに処理する方法はあるのでしょうか。
df.query("len(df.moji)>2")は駄目でした。
よろしくおねがいします。
1
票
2
回答
115
閲覧数
時間を望んだformatで表示させる方法
pandasによるデータフレームで0~23のhour列と、0~60のminute列があり、その2列からtime列("%H:%M"の形式)を作りたいと考えています。
ですが、hour、minuteともにint型だからかエラーが出てうまくいきません。
どのように対処すればよろしいでしょうか?
1
票
2
回答
5,966
閲覧数
pandas.DataFrameで固定値列を追加したい
DataFrameがあった際に、固定の列をindex?の0から追加をしたいです。
言葉だとうまく説明できないため、疑似的なコードで記載いたします。
import pandas as pd
# 既存のDataFrame(実際にはそれなりの件数が存在)
df = pd.DataFrame([[1, 'hoge', 'hogehoge'], [2, 'huga', 'hugahuga'], [3, '...
1
票
1
回答
197
閲覧数
pandasで固定値列を複数持つDataFrameを作成したい
変数(数値)、a,b,cがあった際に、複数の固定の列を追加して縦持ちのDataFrameを作成したいです。
やりたいことは以下のような事になります。
このような3つの値(DataFrameではありません)があった場合に
a
b
c
以下のように先頭?に列毎に固定の値を設定した列を追加したい。
hoge huga a
hoge huga b
hoge huga c
...
1
票
2
回答
2,856
閲覧数
pandas.read_csv読み込んだCSVファイルのファイル名を出力する画像ファイル名に追加したい
次のようにして読み込んだファイル"sample12345.csv"
df = pd.read_csv("./sample12345.csv", sep=',' , encoding="UTF-8")
自動的に下記のようなファイル名で出力する方法はありますか?
(sampleだけを抜き出して,"saveimage_"の後ろに追加している)
plt.savefig("./...
1
票
1
回答
4,599
閲覧数
pandasでcsv出力をしようとするとエラーになってしまう
pandasでcsv出力をしようとするとエラーになってしまいます。
csv_up.py
# -*- coding: utf-8 -*-
import pandas as pd
import csv
def make_csv_for_recipt(data_for_recipt):
df = pd.DataFrame([
["0001", "John", "Engineer"...
1
票
2
回答
1,157
閲覧数
pandasでcsvをまとめて取り込みたい
初歩的な質問ですみません.
1 o_000.csv, 1o_001.csv .....とcsvのファイルを一気に取り込みそれぞれを
data0,data1,data2,......にしたいです.
while(i<100):
data+str(i)=pd.read_csv('1 o_0'+str(i)+'.csv')
i+=1
data+str(i)...
1
票
2
回答
1,904
閲覧数
python SQLAlchemy & pandas read_sql_query 日本語の処理について
初めまして、こんにちは
sqlaichemyとpandas.read_sql_queryにてmysqlのlike機能で
日本語のキーワードを選択したいですが、どうやって動けますか?
英語のキーワードを下記のように選択すると、動けるんですが
statement = "SELECT * FROM orderitem WHERE item_description like '%example%'"
...
1
票
2
回答
111
閲覧数
0.1 刻みのデータから特定の値だけが取り出せない
pandasを使い、0~0.9までの値を0.1刻みで取り出そうとしているのですが、
なぜか0.6だけ取り出すことができません。
0.6は存在することを確認しましたが、取り出すことができません。
aa = pd.DataFrame()
for i in range(10):
aa = aa.append((b[b["Gate Voltage[V]"] == 0.100*i]...
1
票
3
回答
419
閲覧数
pandasのDataFrameの操作において、部分一致複数条件かつ可変長の引数を持って特定のカラムの値を操作する関数を実装したい
※12/28,「文字型」としていたが「データ型」に修正。ご指摘ありがとうございました。
表題について、例えば列名とデータ型が以下の様なデータフレームがあり、この中から
カラム名に"A"または"B"の文字列を含む列で、データ型がintのもののみ-1する
カラム名に"0"を含むものは操作せず、何もしない
といった関数を実装するには、...
1
票
2
回答
333
閲覧数
Pandas DataFrame型での複数列を1列にしたい
以下のようなDataFrame型のデータがあります。
Pandas DataFrame型での複数列(fish,meet,vegetable)を1列にして、データ内容についても保持したいと考えております。
date member total fish meet vegetable
2020/10/1 SATO 2000 600 600 400
2020/...
1
票
2
回答
122
閲覧数
DataFrameの作り方によって、dtypeが異なるのはなぜでしょうか?
質問
文字列と数値を含む列があります。
文字列をnumpy.nanに置換した後のdtypeが、DatFrameの作り方によって異なりました。
dictからDataFrameを生成した場合
文字列を置換した後のdtypeはfloat64
In [60]: df = pandas.DataFrame({"x": [1.1, "--"]})
In [62]: ...