[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
263
質問
5
票
2回答
100 件の閲覧数
pandasの2次元配列から、1の値が入っている行、列番号を列挙する方法
2値の値が入っているnumpy arrayがあります。
そのarrayから1の値が入っている行と列番号を列挙したいです。
イメージ
以下のようなdataframeデータがあるとします
df = pd.DataFrame(np.array([[0,0,1],[1,0,1],[4,0,1]]))
df.index = [0, 1, 4]
これは以下のような表になると思います。
...
4
票
1回答
9,762 件の閲覧数
anacondaでpandasを使うモジュールをpyinstallerでexe化出来ない
pandasを使ったモジュールをexe化しようとしても上手く行かずに困っています。
Traceback (most recent call last):
File "site-packages\PyInstaller\loader\rthooks\pyi_rth_pkgres.py", line 11, in <module>
File "c:\users\Username\...
4
票
1回答
78 件の閲覧数
文字列の数字への置き換え
現在、xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。
その際に、xにある路線名以外は、全て欠損値nanにしたいです。
現在は、line_namesのリストと、データとの対応が不完全なので、エラーになりますが、
辞書line_namesに対応を書かずとも、辞書にない文字列は、
欠損値としたいのですが、ご教示頂けるとありがたいです。
大量なデータがあり、...
4
票
3回答
5,221 件の閲覧数
pythonのPandasで、縦持ちのデータを横持ちにするよい方法を教えてください。
python初心者です。
いろいろ調べながら進めているのですが、どうしてもすっきりしないので、どなたか教えていただけませんでしょうか?
◆Pandasのデータフレームで、縦持ちのデータを横持ちに変換する方法です。
以下のような縦持ちのデータがあるとします。(csvから読み込み)
ID number item
0 A 111 nn
1 A 123 mm
2 A 211 ...
3
票
3回答
51 件の閲覧数
dataframeの各列を1列目の値で引きたい
dataframeの各列を1列目の値で引こうとし、以下のコードで試みたのですが、計算結果のdf2を見ると、1列目は自身の値で引いているので当然0になりますが、他の列は1列目で引かれていなものが返されてしまいます
こちらどのように書き直せばよいか、ご教示いただけると幸いです
df2=df
for i in df.columns.values :
df2[i]=df[i]-df.iloc[:,...
3
票
2回答
549 件の閲覧数
python pandasデータフレームで条件から得た値を書き換えるには?その位置情報が分かればできるのだろうが、それがわからない。
素人質問で申し訳ないです。
pandasデータフレームで条件に当てはまる数値を任意の数値(または文字)に書き換えたい場合どのようにすればよいのでしょうか。
df = pd.DataFrame({'A': [0, 0, 2, 1], 'B': [1,2,3,4], 'C' : [5,7,2,5]},index = ["AA","BB","CC","DD"])
print (df)
...
3
票
1回答
294 件の閲覧数
Pythonのpandasで一列だけrenameする方法
Pythonで指定した一列だけrenameする方法を探しています。
df.columns[0]='新列名'
としてもrenameできません。
ぐぐると全列名をリストで入れる方法と辞書で指定する方法は出てくるのですが、今回は使えません。
というのも、列名ではなく数値で列を指定しているのは関数化してループさせたときに1回目と2回目では列名が異なってくる、列数が異なってくるからです。
(...
3
票
1回答
141 件の閲覧数
Pythonでデータフレームをエクセル出力する際、説明文を入れたい
データフレームが複数個あり、to_excelでそれぞれ別のシートに出力しています。
また、各々のデータフレームについてそれぞれ説明文を1行程度入れたいと考えていますが、
説明文の入ったデータフレームをそれぞれ縦結合するとデータが崩れてしまい、うまくいきません。
どのようにすればきれいに説明文を入れることができますでしょうか。
よろしくお願いいたします。
3
票
2回答
163 件の閲覧数
pandas における index 番号と対象列を別データフレームとして指定してのデータフレーム変換
pandasのデータフレームで変換するためのプログラムを書こうと試みていますが、うまくいきません。
masterという名前のデータフレームにidごとにどの変数をどう上書きするか、の対応が入っています。
id,上書き列名,上書き文字列
1,x2,ああああ
2,x4,いいい
dfというデータフレームをmasterの対応を用いて変換したいです。
(ちなみにdfの全サンプルを変換するのではなく、...
3
票
2回答
99 件の閲覧数
年齢を区間ごとにダミー変数化したい
初めまして、Pythonおよびデータ分析初心者です。主にPandasとNumpy,Sklearnを使ってkaggle等のコンペに挑戦している最中の者です。
データセットをロジスティック回帰によって分析したいのですが、質的データであればpd.getdummies()で簡単にダミー変数を作ることができることを最近学びました。...
3
票
1回答
97 件の閲覧数
pandasの重複したデータの更新
pandasで.jsonファイルを読み取り、データの更新をして保存するコードを書いています。
以下のような二つのデータフレームがあり、連結し、
重複したデータが出ないように果物と店の列を重複したものを
df.drop_duplicates(subset=['fruit', 'store'])で削除しています。
df1 = pd.DataFrame({'fruit':['apple', '...
3
票
1回答
163 件の閲覧数
pd.read_sql()ですべて文字列で読むことは可能か
Pythonで
import pandas as pd
import pandas.io.sql as psql
のもと、pd.read_sql()でdtype=objectの実行(もしくはそれに類する操作)は可能でしょうか。
マニュアル的なページを見たのですが、特に記述がありませんでした。
これはそういう機能は存在しないということでよろしいでしょうか。
3
票
1回答
336 件の閲覧数
pandasで単独の要素に値を代入する際のiatとilocの違いについて ValueError: could not convert string to float:
単独の要素に値を代入する際のiatとilocの違いについて
df1 = pd.DataFrame([[np.nan, 2], [1, 3], [4, 6]], columns=['A', 'B'])
df2 = pd.DataFrame([['aaa', 'bbb'], [1, 3], [4, 6]], columns=['A', 'B'])
A B
0 NaN 2
1 1....
3
票
1回答
1,057 件の閲覧数
pandas 別のデータフレームにあるデータのみにフラグを付けたい
タイトルが分かりにくくて恐縮ですが、例えば以下の3個のデータフレームがあったとします。
・df_count
|日付|件数|
|2016-04-01|100|
|2016-04-02|1000|
|2016-04-03|300|
|2016-04-04|1500|
・df_CP1
|日付|キャンペーン名|
|2016-04-02|CP1|
・df_CP2
|日付|キャンペーン名|
|2016-...
2
票
2回答
4,882 件の閲覧数
.txtファイルを.csvファイルに変換したい
python3.6環境下で以下の.csvファイルを出力しました。これをカンマ(,)区切りの.csvファイルに変換したいのですがうまくいきません。zepp.csv の一行1列目の要素には a b c d e f が格納されており、区切りが空白なのです。これらをカンマ区切りで a, b, c, d, e, f に訂正するアルゴリズムを各成分に対して適用するコードが書きたいです。...
2
票
3回答
138 件の閲覧数
日付データから、月、日にちのデータを作成したい
日付データから、月、日にちのデータを作成したく、次のようなコードを準備しています。
import re
import pandas as pd
import datetime
df = pd.DataFrame(
{'x': ['Fri, 10 Mar 2017 23:58:00 GMT',
'Sat, 11 Mar 2017 05:33:42 GMT',
...
2
票
2回答
111 件の閲覧数
時間を望んだformatで表示させる方法
pandasによるデータフレームで0~23のhour列と、0~60のminute列があり、その2列からtime列("%H:%M"の形式)を作りたいと考えています。
ですが、hour、minuteともにint型だからかエラーが出てうまくいきません。
どのように対処すればよろしいでしょうか?
2
票
1回答
167 件の閲覧数
pandas.io.sql.read_sqlでバインド変数を使用する方法
pandas.io.sql.read_sql('SELECT * FROM database as a where a.date=date)でdateを変数として使用したいのですが方法はありますでしょうか?
2
票
2回答
4,039 件の閲覧数
pandas.DataFrameで固定値列を追加したい
DataFrameがあった際に、固定の列をindex?の0から追加をしたいです。
言葉だとうまく説明できないため、疑似的なコードで記載いたします。
import pandas as pd
# 既存のDataFrame(実際にはそれなりの件数が存在)
df = pd.DataFrame([[1, 'hoge', 'hogehoge'], [2, 'huga', 'hugahuga'], [3, '...
2
票
1回答
2,310 件の閲覧数
Pandasのapplyメソッドを使って列の文字列に対してMeCabで形態素解析をしたい。
英語版で質問しましたが回答が得られそうにないので、こちらで質問させていただきます。
https://stackoverflow.com/questions/48286364/pandas-series-apply-doesnt-work-consist-of-strings/48292467?noredirect=1#comment83570234_48292467
...
2
票
1回答
871 件の閲覧数
PythonでCSVデータの整理
初めまして。初心者ですがよろしくお願いします。
図の左のようなCSVファイルを読み込んだとします。
A列は人を表し、B列のa,bは身長、体重を表しています(cは穴埋めなので気にしないでください)。
C列はB列に対応した数値になっています。
同じ人がa,bを不規則に測っている通り、いくつものデータを持っている場合、その人の中の最も新しい数値(ここでは行が下に行くほど新しいデータとなる)...
2
票
3回答
2,888 件の閲覧数
python pandas による日付処理
pandasで日付の処理をしており、該当する日付がなければ新しい行を加えるという処理をしようとしています。
そこで次のようなコードを書きました。
リスト内には存在するのにin演算子には引っかからないという現象が起きてしまい、原因がさっぱりわかりません。もしよろしければ原因を教えてください。
def complement_date(self,pandas_arr):
keys = ...
2
票
1回答
118 件の閲覧数
Pandasで、飛び飛びの列番号を連番にしたい。
Pandasでデータの処理をしています。 A列がIDで、同じ数字が連続したり 、飛び飛びになっていたりします。
A列の同じ数字はそのまま、飛んでいる数字の隙間を埋めるのに効果的な操作はあれば教えて頂けませんか?
A B C D E F
1 1 0 0 0 4 1163.7
2 1 0.8 0.8 2.2 0 0
3 1 0....
2
票
2回答
249 件の閲覧数
resampleを用いた外挿 (データ補間) を行いたい
1時間刻みの年間データがあります。
このデータを1分刻みのデータとして補間したいですが、
23時までの内挿する方法しか分かりません。
23時01分から23時59分までの外挿方法について教えてください。
本当に基礎的な部分だと思いますが、いい方法が見つからないのでお願いいたします。
df2=df.resample('1T').interpolate()
対象の年間データ
0 2019-...
2
票
1回答
866 件の閲覧数
matplotlibのboxplotにおける色などの細かい調整
pandasでエクセルのデータを読み込み、matplotlib のboxplotで番号ごとにグループ化した箱ひげ図を作成しています。boxplotの箱枠とmedian lineの色を黒で統一したいのですが、色を設定することができません。
boxpropsやmedianpropsを使用すると、線の太さは変えられるのですが、色は変わりませんでした。
コードは以下の通りです。
どのようにすれば、...
2
票
2回答
418 件の閲覧数
ラベル名が異なる場合のmergeについて
以下の表のように、
同じ意味でラベル名が異なっている2つのデータフレームを結合しようと
した場合、どのようにすればよいのでしょうか?
通常だと、以下のような答えになるかと思うのですが・・・
pd.merge(A,B,on="日付")
ちなみに、日付、Dateそれぞれindexとして定義してあります。
A
日付 価格
2000-01-05 100
2000-01-06 110
...
2
票
1回答
295 件の閲覧数
pythonのgroupbyから取得できる値
いつもお世話になっております。
タイポからたまたま正解に辿り着けたのですが、ロジックがわからず、ご指導をお願いします。
■出力データ
# date area resident valueA valueB SD KM
48597 2019-01-26 tokyo man 75000 6.96 1.1 1.1
48598 ...
2
票
1回答
2,274 件の閲覧数
pandasで複数のCSVから特定行のみを抽出してCSVにしたい
pythonを使いはじめて2週間になります。
やりたいことは以下です。
①pandasを使って複数のCSVを読みこんで2行目のみをそれぞれから抽出
②1つ目のCSVから抽出した行は1行目
2つ目のCSVから抽出した行は2行目・・・
と、いうふうにしたいのですが、
→できたことは
・フォルダにあるCSVを読み込む
→あいまいorわからない
・なんとなく2行目もとりだせている気もするんですが。
・...
2
票
2回答
846 件の閲覧数
文字列の一部となっている単語の置き換え
現在、次のようなデータの中に出てくる
配列words内の単語を「その他」に置き換えたいと考えております。
words内の単語が単独で出てくる場合には、置き換えることができますが、
文字列の一部になっている場合には、置換できません。
どのようにすれば、置換できるか、ご教示頂けると大変助かります。
import pandas as pd # pandas
import numpy as np
...
2
票
1回答
2,073 件の閲覧数
Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたい。
Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたいです。
以下で例えばx軸が3以上の場合に折れ線の色を赤色に変えるにはどうすれば良いでしょうか。
同様の質問が見つからず、ご教授下さい。
import pandas as pd
a = {'x-axis':[1,2,3,4,5], 'y-axis':[1,2,3,4,5]}
df = pd....
2
票
1回答
1,969 件の閲覧数
複数列を条件に新たな列を追加したい
python初心者です。pandasで以下のことをやりたいです。
|A|B|C|
|OK|OK|OK|
|-|OK|NG|
|OK|NG|OK|
といったデータフレームがあった場合
A,B,C列がすべてOKだったら、新規に追加したnew列にOK
それ以外はNGとしたい。
|A|B|C|new|
|OK|OK|OK|OK|
|-|OK|NG|NG|
|OK|NG|OK|NG|
...
2
票
1回答
2万 件の閲覧数
特定の条件を満たす行のみを削除するには?
特定の条件を満たす行のみを選択して、データセット全体から削除したいと考えています。
pandasのdataframeにdfというデータがあります。
この中から、「同意しません」とある行全体をデータから削除したいと考えています。
現在のところ、
不同意のサンプルをselection1というグループにして、
dfから、該当する行全体、データから削除しようとしているのですが、この部分がうまく行きません。...
2
票
1回答
1,115 件の閲覧数
k-means/matplotlib を使って、エネルギー消費量をクラスタリング。
matplotlibとk-meansを使用して、csvファイルをクラスタリングしようとしています。
私の扱っているcsvデータはエネルギー消費量に関するもので、以下のリンクのものとなります。
https://github.com/camenergydatalab/EnergyDataSimulationChallenge/blob/master/challenge2/data/...
2
票
3回答
86 件の閲覧数
Python 3.8.5 seriesでの正規表現を用いた文字列検索について
tpye を見ると <class 'pandas.core.series.Series'> というデータになっています。
このデータに含まれる文字列検索をしたいと思っています。
match = Series_data[Series_data == "F:\\"]
とやると、目的の結果が得られています。(今のところそう見える)
実際には、...
2
票
1回答
111 件の閲覧数
データフレームの2列から辞書を作る際、keyが重複しているのでvalueをリスト化する方法
データフレームから
dic1 = dict(zip(df['pid'], df['nid']))
を使って辞書を作りたいのですが、
pidに重複があるためうまくいきません。(おそらく上書きが起こっています。)
(pid, nid) = {'8':'11', '8':'19'}
の際はkeyが重複していればvalueがリストになるように、
この場合だと{8:[11,19]}
のようにしたいです。
(...
2
票
2回答
72 件の閲覧数
pandasの表の処理方法に悩んでいます
pythonのpandasを使ったデータ加工方法で悩んでおります。
どなたかご教授お願いいたします。
以下のようなデータを加工したいです。
このデータを
import pandas as pd
pd.DataFrame([[1,'ame', 30,'hare',40],[2,'kumori', 20,'kosame',30]], columns=['id','today_tenki', '...
2
票
1回答
118 件の閲覧数
pandas リストデータフレームから参照して列を追加したい
先日、pandas 別のデータフレームから参照して置換する方法を質問した者です。
上記は解決したのですが、下記のデータフレームで参照する方法が上手くいきません。
[例]
[df2]を参照して、'City'に対応するCityCodeを[df1]に追加したい
import pandas as pd
df1 = pd.DataFrame({
'Name': ['John', 'Milke', ...
2
票
1回答
612 件の閲覧数
pandas 別のデータフレームから参照して置換する方法
プログラミング初学者です。
pandasでのデータフレームに関しての質問です。
2つのデータフレームで要素が一致したら置換する方法で苦戦しております。
[例]
[df1]
id, fruits
1, ringo
2, mikan
3, suika
[df2]
id, fruits_en, fruits_jp
1, apple, ringo
2, watermelon, suika
3, ...
2
票
2回答
721 件の閲覧数
pandasで、複数列に対応するヘッダをCSVで出力したいです。
実行環境
pandas 0.25.3
Python 3.7.4
やりたいこと
pandasのDataFramdeを使って、下図のような表をCSVとして出力したいです。
試したこと
以下のPythonコードを実行しました。
dict_table = {("user1", "plan"): [1, 11],
("user1", "work"): [2, 12],
...
2
票
1回答
1,008 件の閲覧数
pandasで日付の最小値、最大値を自動抽出するには
下記表のような時系列温度データにつき、2000年、2001年・・・と、各年ごとの値の平均値を計算しています。
日付のstart-endが分かっている場合、
df['2000-01-04':'2000-12-27'].mean()
df['2001-01-05':'2001-12-28'].mean()
などと値を直指定すればいいと思うのですが、データを見ていちいち確認するのではなく、...
2
票
1回答
2,465 件の閲覧数
seabornで綺麗なペアプロットを表示させたい。pairplotする時、hueの設定でLinAlgError: singular matrixと出てしまう。
独自データで、iris分析のようなpairplotを表示させたいです。
独自データ
=カメラの
weight(重さ),
quality(画質),
price(値段),
camera(1一眼/2ミラーレス/3コンデジ/4スマホ)
[[1066, 2400, 215000, 1], [1274, 2400, 225000, 1], [1048, 2400, 205800, 1], [1200, ...
2
票
1回答
1万 件の閲覧数
matplotlib の ylimについて 下限値は指定、上限値は自動にしたい
以下のコードについて質問させてください。
左のグラフのy軸を変更したいと考えており
左のグラフから右のグラフへ変更しようとしておりました。
y軸の変更方法ですが
y軸のyminが0,ymaxは自動調整してほしいのですが、
yminは0になったのですが、ymaxがなぜだか1.0になってしまいます。
どうコードを記載したらよいのかわかりません。
すみませんが、ご教授お願いします。
#散布図作成
...
2
票
1回答
114 件の閲覧数
文字列の数字への置き換え:文字列に揺らぎがある場合
以前の質問の拡張です。
xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。
しかし、路線名にはJRや都営などが付いたり、つかなかったりなど揺らぎあることが分かりました。
現在用意したcodeでは、完全に一致するもののみ、置き換えます。
用意した辞書と部分的に一致したものを番号に変換し、一致しないものは、欠損値にしたいのですが、
...
2
票
1回答
142 件の閲覧数
文字列からのダミー変数作成
家の特徴を示す情報を持つ変数xより、シェアハウスと、バルコニーのある物件の場合に1とする
次のような変数shareとbalconyを作成したいと考えています。
index share balcony
0 1 1
1 0 1
2 1 0
3 1 0
変数名を示すリスト var_nameと、...
2
票
0回答
60 件の閲覧数
Pandasでカラム名がどうしても小文字で出力される際の対処
pandasのデータフレームdfで最終id、という名前のカラムがあり、
df.rename(columns = {'最終id':'最終ID'})
とリネームしても出力物では小文字のidに戻ってしまいます。
どのようにすれば回避できますでしょうか。
よろしくお願いいたします。
実行環境
Windows 10
Python 3.7
2
票
1回答
250 件の閲覧数
特定の文字列を含む行にフラグを立てる関数を作成したい
下記のデータフレームに対し、
> df = pd.DataFrame({'pref': ['東京都', '神奈川県', '北海道', '埼玉県', '千葉県', '静岡県',
> '長野県'],
> 'city' : ['渋谷区', '横浜市', '函館市', '浦和市', '浦安市' , '浜松市', '岡谷市']})
"...
2
票
2回答
138 件の閲覧数
Pandasデータフレームで特定行を削除する方法
(購買データの前処理に関するご質問です)
同「id」「購入日」「店舗」「商品」「売上タイプ」ごとに連番を振った、下記データフレームがあるのですが、
df = pd.DataFrame({'id': ['111', '111', '111', '111', '111', '222', '222', '222', '333', '333', '333', '333', '333'],
...
2
票
1回答
578 件の閲覧数
python pandas でのデータ処理について
こんにちは。python pandas 超初学者の文系の者です。色々と調べてはみたのですが、どうすれば良いか分からずに困り果てています。お力添えをお願いいたします。
あるエクセルデータを読み込み、以下のようなグラフの作成をしているのですが、x軸は範囲を限定し、さらに、y軸はデータが0から始まるように移動させたいのです。具体的に言うと、x軸は0.05から0,25まで、y軸は0から始まり、...
1
票
2回答
112 件の閲覧数
欠損値を含む2変数の内容を1変数にまとめる方法
python のデータフレームに、
部屋の面積の入っている二つの変数xとyがあります。
xから、面積のデータを取り出し、
yにも入っている面積のデータを、取り出して、
面積のみを含む変数spaceを作りたいと考えています。
このことを意図してfor roop とif を用いて、
spaceを作ろうとしていますが、エラーが生じて進みません。
エラーをなくす方法、あるいは別の方法がございましたら、...
1
票
1回答
1万 件の閲覧数
CSVをPandasで扱う際のスペース区切りの問題
初心者です.
csvファイルをインポートしたいと考えています.
データセットは以下の通りです(簡略化しています).
0 0 0 0
0 12 12 12
0 123 123 123
data=pd.read_csv( '○○.csv',sep=' ')
上記のようにインポートすると
0 NaN NaN NaN 0 NaN NaN NaN 0 NaN NaN ...