[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
415
質問
1
票
1
回答
4,240
閲覧数
pandasでグループごとの箱ひげ図を作る方法
pandasにて、下のようなデータを写真のような箱ひげ図で表すにはどうすればよいですか?
import numpy as np
import pandas as pd
df = pd.DataFrame({
'group':np.random.choice(['A','B','C'], 10),
'test1':np.random.randint(1, 100, 10),
...
1
票
1
回答
2,015
閲覧数
pandasの読み込みでエラー
csvファイルを読み込むためにpandasを使いたいのですが、エラーが発生します。
ソースコード(エラーと関係なさそうな部分は省略しています)
import numpy as np
import cv2
import math
import os
import csv
import pandas as pd
def main():
width = 320
height = ...
1
票
1
回答
358
閲覧数
pandasの重複したデータの更新
pandasで.jsonファイルを読み取り、データの更新をして保存するコードを書いています。
以下のような二つのデータフレームがあり、連結し、
重複したデータが出ないように果物と店の列を重複したものを
df.drop_duplicates(subset=['fruit', 'store'])で削除しています。
df1 = pd.DataFrame({'fruit':['apple', '...
1
票
1
回答
1,351
閲覧数
特定の文字列を含むかを判定する関数の定義
下記のURLを格納したデータフレームに対し、特定の文字列に【完全一致する場合】【部分一致する場合】【NULLの場合】【それ以外】かを判定して、フラグを作成したいと考えています。元のデータフレームは、下記の通りです。
df = pd.DataFrame({'full_url': ['https://www.ABCDec.jp/shop/default.aspx', 'https://www....
1
票
1
回答
2,661
閲覧数
特定の文字列を含む行にフラグを立てる関数を作成したい
下記のデータフレームに対し、
> df = pd.DataFrame({'pref': ['東京都', '神奈川県', '北海道', '埼玉県', '千葉県', '静岡県',
> '長野県'],
> 'city' : ['渋谷区', '横浜市', '函館市', '浦和市', '浦安市' , '浜松市', '岡谷市']})
"...
1
票
1
回答
1,157
閲覧数
pd.read_sql()ですべて文字列で読むことは可能か
Pythonで
import pandas as pd
import pandas.io.sql as psql
のもと、pd.read_sql()でdtype=objectの実行(もしくはそれに類する操作)は可能でしょうか。
マニュアル的なページを見たのですが、特に記述がありませんでした。
これはそういう機能は存在しないということでよろしいでしょうか。
1
票
2
回答
573
閲覧数
Pandasデータフレームで特定行を削除する方法
(購買データの前処理に関するご質問です)
同「id」「購入日」「店舗」「商品」「売上タイプ」ごとに連番を振った、下記データフレームがあるのですが、
df = pd.DataFrame({'id': ['111', '111', '111', '111', '111', '222', '222', '222', '333', '333', '333', '333', '333'],
...
1
票
1
回答
157
閲覧数
データフレームの転置方法
Pandasのデータフレームで、軸を指定して転置する方法がありましたらご教示いただけませんでしょうか?
具体的には、下記データフレーム(「ID」「year」別に「金額」「個数」を集計したもの)を、
df = pd.DataFrame({'id': ['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
'year': ['...
1
票
1
回答
1,412
閲覧数
クリップボードにコピーしたweb上の表をエクセルファイルに張り付けるコードをPythonで書きたい
対象のwebサイトは鍵付きのためスクレイピングが使えないので、クリップボードにコピーしてからエクセルにペーストするコードを書きたいと考えています。
クリップボードにコピー→データフレームとして読み込み→CSV変換→エクセルに張り付けとしたいのですが、最初の段階で pandas.read_clipboard() を使おうとすると以下のエラーが出てうまくいきません。
エラーメッセージ
...
1
票
1
回答
5,504
閲覧数
Pandasでグループごとに連番を付与する方法
Pandasのdataframeで、複数列の組み合わせ別に連番を付与する方法を教えていただきたいです。
具体的には、「ID」「日付」「店」の組み合わせごとの連番を、「カウント」という列を作成してそこに入れたいです。
「ID」「日付」「店」があったとして、連番を格納する「カウント」の値は、以下のイメージです。
df = pd.DataFrame({'ID': [1,1,2,2,2,3,3,3,3,...
1
票
2
回答
1,719
閲覧数
pandasで、複数列に対応するヘッダをCSVで出力したいです。
実行環境
pandas 0.25.3
Python 3.7.4
やりたいこと
pandasのDataFramdeを使って、下図のような表をCSVとして出力したいです。
試したこと
以下のPythonコードを実行しました。
dict_table = {("user1", "plan"): [1, 11],
("user1", "work"): [2, 12],
...
1
票
1
回答
1,015
閲覧数
pandasの dataframeに列を追加し、リストの要素をセットする方法を教えてください
以下のソースのようにpandasでdataframeを作りました。
一番下の行のコードで、「C列を追加し1行目にリストをセット」したいです。
しかし、エラーが出ます。
理由が分かりませんでした。
どうすれば回避できるでしょうか?
下から2行目のコードで「A列1行目にリストをセット」は出来たのですが。。。
import pandas as pd
df2 = pd.DataFrame(columns=...
1
票
1
回答
858
閲覧数
Python3で各サンプルごとに相関係数を算出する方法
前提条件・実装したい事
Pythonを使用して、既存のDataFrame(下記の「加工前のデータセット(df)」)を基に相関係数
を排出したいと思っています。
具体的なデータセットのイメージとしては、下記の「加工後のデータセット」の様な感じです。
加工前のデータセット(df)
|Weight(g)|Long axis|Short axis|Grain thickness|Sumple_vert|...
1
票
4
回答
3,576
閲覧数
2つのDataframeで期間重複するIDを抽出したい
python3とpandasを使っています。
df1,df2の2つのDataframeのうち同じIDの人物の日付を比較し、期間重複がある行のIDを取り出したいです。
実際には10万行ほどあります。
data1 = [[1, "2010-01-01", "2010-01-20"], [1, "2010-03-20", "2010-03-30"],
[2, "2010-02-01", ...
1
票
2
回答
3,486
閲覧数
自動生成したデータフレームを 繰り返し繋ぎ合わせる方法について教えてください。
例えば、下記のように繰り返しランダムにデータフレームxを自動生成し、
それを一つのデータフレームdfに自動的に繋げていく方法を教えてください。
import pandas as pd
import numpy as np
i = 0
arr = []
for i in range(3):
x = pd.DataFrame(np.random.rand(3))
arr[i] = ...
1
票
1
回答
167
閲覧数
DateTimeIndexに時間をセットしたい
以下の様にタイムゾーンを設定した際、
indexの時間を一律10:00:00にする方法は無いでしょうか?
特に下記のデータには規則性はありません。
DatetimeIndex(['2000-01-03', '2000-01-04', '2000-01-05', '2000-01-06',
'2000-01-07', '2000-01-10', '2000-01-11'...
1
票
1
回答
3,722
閲覧数
pandasで日付の最小値、最大値を自動抽出するには
下記表のような時系列温度データにつき、2000年、2001年・・・と、各年ごとの値の平均値を計算しています。
日付のstart-endが分かっている場合、
df['2000-01-04':'2000-12-27'].mean()
df['2001-01-05':'2001-12-28'].mean()
などと値を直指定すればいいと思うのですが、データを見ていちいち確認するのではなく、...
1
票
1
回答
227
閲覧数
pandas で異なる行のデータを用いて新たな列を追加したい
やりたいこと
既に作成しているDataFrameに対して、新しく追加する列に、特定の条件のもと適した値を入れたいと思っています。
今回はゲームの大会のデータを持ってきているのですが、そのゲームの対戦方式として、
1セット目:2人vs2人のバトル(2本先取で勝ち)
2セット目:1人vs1人のバトル(2本先取で勝ち)
3セット目:1人vs1人のバトル(3名の勝ち残りで相手を全滅させたら勝利)
...
1
票
2
回答
1,304
閲覧数
各カラムごとのデータをラベルで色分けしながら1枚の散布図に出力したい
PythonやRのデータフレームで、各カラムのデータがある程度同じスケールにあるとき
それぞれのデータをラベルで色分けしながら1枚の散布図で出力するにはどのようにすればよいでしょうか?
irisデータによるサンプル
https://gist.github.com/netj/8836201
上記のリンク先のCSVファイルを下の画像のように出力したいと考えています。
...
1
票
2
回答
263
閲覧数
pandasのデータフレームで縦持ち横持ちの変換をしたい
下記のようなpandas.DataFrameがある時に、縦持ちに変換を行いたいです。
調べたところpivot_tableが使用できそうな感じはありますが、うまく使用する事ができませんでした。
import pandas as pd
df1 = pd.DataFrame([[0, 'e1', 'e11'], [1, 'e1', 'e22'], [2, 'e1', 'e33']], columns=[...
1
票
1
回答
1,873
閲覧数
to_csv でファイル名を指定してもエラー FileNotFoundError
データフレームをcsvに出力したいのですが、to_csvが機能しません。
resultというデータフレームを以下のコードで出力しようとしても、エラーが出てしまいます。
コード:
result.to_csv('ディレクトリ名/ファイル名.csv',encoding='shift-jis')
エラーメッセージ:
FileNotFoundError: [Errno 2] No such file or ...
1
票
1
回答
1,011
閲覧数
Pythonでconcatで連番のデータフレームを縦結合
pandasでデータフレームdf1からdf25までを縦結合したいと考えています。
ぐぐると2つの結合のものばかりで、3つ以上もOKとは書いていますが
pd.concat([df1,df2,df3,df4,...,df25])
のような書き方は避けたいと考えています。
他言語だとdf1-df25のように連番を処理するテクニックがあったりするのですが、pythonでもうまくかけるものなのでしょうか。...
1
票
1
回答
125
閲覧数
pandasのcut()の分類がうまくいかない
プログラミング初心者です。
仕事でデータサイエンスを使おうということで、下記のリンクのPython Data Science Handbookの例題を基に勉強しているのですが、例題通りの出力ができずに困っております。
リンク:https://jakevdp.github.io/PythonDataScienceHandbook/03.09-pivot-tables.html
...
1
票
1
回答
2,210
閲覧数
Pandas.DataFrame.plotとmatplotlib.plot,エラーバー(yerr)表示を微調整したいのだが・・・。
エラーバーの表示について質問です。
細かなところですが、見栄えの問題で、エラーバーとマーカーとラインの重なりを細かく調整したい場合の方法はありますでしょうか?
%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
df = pd.DataFrame([[1.0, 10.0,...
1
票
1
回答
396
閲覧数
特徴量として使えるデータを平均の差から見つけ出す方法
クラスタリングを行う上で、特徴量を選択する際に「平均の差」を使おうと考えています。
複数ある属性のうち、平均差が大きいものを特徴量として選択すれば、より適切に集団を分割できるのではないかと考えています。
その際の「平均の差を比較する」方法がわかりません。
例えば、高校のクラスが2つ(A組、B組)あったとし、
それぞれ身長の平均(cm)、体重の平均(kg)、アルバイト収入の平均(円)...
1
票
1
回答
204
閲覧数
文字列からのダミー変数作成
家の特徴を示す情報を持つ変数xより、シェアハウスと、バルコニーのある物件の場合に1とする
次のような変数shareとbalconyを作成したいと考えています。
index share balcony
0 1 1
1 0 1
2 1 0
3 1 0
変数名を示すリスト var_nameと、...
1
票
1
回答
1,533
閲覧数
pandas の Seriesクラスの`groupby`メソッドの使い方
環境
Python3.6.5
pandas 0.23.0
背景
普段はDataFrameのgroupbyメソッドを使っています。
最近、Seriesにもgroupbyメソッドがあることを知り、使ってみようと思います。
https://pandas.pydata.org/pandas-docs/version/0.23/generated/pandas.Series.groupby.html
...
1
票
1
回答
1,998
閲覧数
分割して読み込んだファイルの結合でエラーがでる
巨大なcsvファイルを扱うために分割してファイルを読み込んだのですが、その後の結合でエラーで出てしまいます。
以下コード
import pandas as pd
fname = '.../train.csv'
reader = pd.read_csv(fname, chunksize=10000)
df = pd.concat((r for r in reader), ignore_index=...
1
票
2
回答
1,883
閲覧数
pandas seriesの行方向への結合について
下記のコードにて、date, p をヘッダーに行方向に結合したいのですがうまくいきません。
どのようにすればできますでしょうか?
尚、tickには日付情報がはいっており、str(t.year) + str(t.month)で年月情報を作っています。pは機械学習によって得られるスコアを想定しており、これ自体は単一の数字です。
結果が
date 20154.000000
f ...
1
票
1
回答
6,388
閲覧数
Pythonのpandasの置換を行おうとしたところ、括弧で囲まれた文字の置換が上手く出来ない
Python pandasで日付が入った列の書式がバラバラのため、置換して整えようと考えています。
ここに記載するデータ以外にも多数のデータがあり、ほとんどの書式は「%Y-%m-%d %H:%M:%S」 となっている為、それに合わせるべく要らない部分を消そうと考えています。
import pandas as pd
tmp = pd.DataFrame({"date": ["2018-03-...
1
票
1
回答
492
閲覧数
データフレームの文字列を正規表現で、該当した行の列をmergeしたい
こちらに質問させていただいた、
python pandas 2つのcsvの共通の列の値を使って結合したい
で、データフレームの結合が出来ました、ありがとうございます。
この結合されたデータフレームに対して、文字列の検索と置き換えがしたいです。
前の質問の続きなので使いまわしていますが、今回の質問ではidとvalueは考慮しなくて良いのでここでは非表示としました。
ただし、...
1
票
1
回答
234
閲覧数
データフレームの中の大文字で書かれた要素のみ抽出する
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'Information1' : [19, 'Shopping','HANA', 'Canada'],
'Information2' : ['books', 24, 'games', 'MARY'],
'...
1
票
1
回答
869
閲覧数
pandasが学べる書籍を教えてほしいです。
連投失礼します。
pandasが学べる書籍を教えてほしいです。
「pythonではじめるデータラングリング」でpandasを取り扱うものと思ってかったら触れられてもいませんでした。
やりたいこと
実はわたしはとりくみたい問題というのはありません。pandasはcsvモジュールやxlsxモジュールよりも高機能そうだから便利なのかもしれないと思っただけです。...
1
票
1
回答
2万
閲覧数
特定の条件を満たす行のみを削除するには?
特定の条件を満たす行のみを選択して、データセット全体から削除したいと考えています。
pandasのdataframeにdfというデータがあります。
この中から、「同意しません」とある行全体をデータから削除したいと考えています。
現在のところ、
不同意のサンプルをselection1というグループにして、
dfから、該当する行全体、データから削除しようとしているのですが、この部分がうまく行きません。...
1
票
2
回答
613
閲覧数
pandasで4次元配列を管理したい.
タイトルどおりです.
L次元のベクトルxがi,j,kをパラメータにして生成させるとき,
列にXベクトルの成分をならべ,インデックスをi,j,kの組み合わせで表示したいです.
以下のような生成過程のデータをうまく管理したいです.
for i range (I)
for j range (J)
for k range (K)
for l range (L)
x[i,j,k,l]...
1
票
1
回答
1,329
閲覧数
pandasを使った場合のexeファイルへの変換方法
コード中にpandasを使用したファイルをpy2exeを使って、
exeファイルにコンパイルしましたが、実行できません。
exeファイルは一応作成されるのですが、ファイルサイズが異様に大きく、
実行すると次のエラーが出力されてしまいます。
OMP: Warning #178: Function GetModuleHandleEx failed:
OMP: System error #126: ...
1
票
3
回答
150
閲覧数
CSVファイル内の時系列データを1秒区切りで平均化するコードを書いているのですがエラーの解消方法を知りたいです
前提
各列にTIME(データ取得日時)、測定値が格納されたCSVファイルを読み込んで、1秒毎に平均化してCSVファイルに出力したいです。
コードを書いてみたのですがエラーが出てしまい対処方法が分からないので教えて頂けるとありがたいです。
下記は使用するCSVデータで名称は「test.csv」です。
[LOGGING],RD81DL96_1,2,3,4
DATETIME[YYYY/MM/DD hh:...
1
票
1
回答
121
閲覧数
Pandas の DataFrame にビットを振りたい
以下に示すようなDataFrameとlistがあります。
DataFrameのうち、listに含まれる要素と一致する行に対してビットを振りたいです。
例えば以下のようにするとビットを振ることができますが、for文を使うのでは処理が遅すぎます。
同様の処理をより高速に実装するにはどうすればよいでしょうか。
試したコード:
for i, j in lst:
df.loc[(df["...
1
票
2
回答
84
閲覧数
awareなDataTimeIndexのshiftによる、不可解なAmbiguousTimeErrorについて
freq='D'のDateTimeIndexで、ニューヨーク時刻の2022/02/07を92日前にずらすとAmbiguousTimeErrorが発生します。
freq属性をNoneにすればエラーを回避できることが確認できましたが、現在の振る舞い/仕様が不可解で納得できずにいます。
タイムゾーンを変換するときに、夏時間によるあいまいさが発生するのは理解でできたのですが、...
1
票
1
回答
179
閲覧数
DataFrame セル内の記号を消したい
気温データをDFに取り込んだところ、「11月」と「年の値」のコラムに「 ] 」が含まれた数値があります。
この記号を削除したいのですが、どうすればいいでしょうか。
データタイプは、
Miyagi_temp['年の値'].unique().tolist()
で確認して記号付きはstrになっています。
Miyagi_temp['年の値'].str.strip(' ]')
を実行すると記号は消えますが、...
1
票
1
回答
1,484
閲覧数
pandasで、うまく、最大の行数を変更できません。
pandasで、うまく、最大の行数を変更できません。
pd.set_option('display.max_columns', 50)
pd.set_option('display.max_rows', 500)
df_list[0]
どうすれば、最大の行数を変更することが出来るのでしょうか?
1
票
2
回答
5,307
閲覧数
Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2
複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。
1、データの確認をしました
import pandas as pd
file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv"
df1 = pd.read_csv(file_path, ...
1
票
0
回答
920
閲覧数
AttributeError: module 'pandas' has no attribute 'read_csv' の対処法
以下のコードでcsvを読み込もうとしたら、題名の通りエラーが出てしまいます。
実行したコード
import pandas as pd
x = pd.read_csv("wine-R.csv")
エラーメッセージ
AttributeError: module 'pandas' has no attribute 'read_csv'
確認したこと:
・カレントディレクトリ内にpandas....
1
票
1
回答
609
閲覧数
pandas-highcharts でグラフが描画されない
実現したいこと
取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。
該当のソースコード
from pandas_highcharts.display import display_charts
df = ... # ...
1
票
0
回答
164
閲覧数
GCPのVMインスタンス上でImportError: No module named 'pandas' エラーが発生します
▼前提
GCP上のVMインスタンスにPython3.6の環境を構築し、pip3でpandas,numpy,sklearnなどのモジュールをインストールしました。
▼事象
しかし、import pandas を実行すると、
[Tue Dec 24 09:09:11.447228 2019] [cgi:error] [pid 19982] [client 34.84.154.183:35282] ...
1
票
0
回答
58
閲覧数
ilocを使用した際のindex値の抽出
以下の様にilocでデータを抽出した場合、
そのindex値を取り出す(2010-03-09)を取り出す方法はありますか?
data.iloc[2500]
Open 925.69
High 927.79
Low 923.60
Close 924.38
Name: 2010-03-09 00:00:00, dtype: float64
data.iloc[2500]...
1
票
1
回答
701
閲覧数
Pythonにおける変数宣言時に異なる変数を用いる方法
私は現在関数で複数の変数を宣言しようとしています.
その際に変数名を関数実装時に決め打ちで宣言することは後のことを考えると非常に良くないと思い工夫をしようと試みています.
そこで、関数の引数を宣言する変数名を含ませることで解決できると考えました.しかし引数を変数内に用いる方法がわかりません.
どうかお力添えをお願いしたく思います.
やりたいことの例:
def new_variable(...
1
票
1
回答
892
閲覧数
pandasの散布図行列の重複した半分を消したい
pandasのpd.scatter_matrixで作成できる散布図行列の重複した半分を消したいのですが,どうすればよいでしょうか?
コードは以下です.
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
data = pd.read_csv("dataframe....
0
票
1
回答
90
閲覧数
Pandas 2.0 の melt メソッドでタイムゾーンが変わってしまう
新しい Pandas で melt を使用すると、日付のタイムゾーンが変わりました。
不具合でしょうか。
!pip3 install pandas
!pip3 list | grep pandas
import pandas as pd
df = pd.DataFrame(data=[
{'type': 'A0', 'start_date': pd.Timestamp('2023/03/...
0
票
2
回答
89
閲覧数
pandasで同一idはまとめて出力し、そのうえでtimestamp順に出力したい。
実行環境
Windows 10
Python 3.X
pandas
データの説明
下記の元データはログをcsv化したものの一部の例になります。
こちらはid,timestampというカラムで構成されています。
timestampは昇順で並べられており、それに沿ってidが並べられています。
idは基本的にはまとまっておりますが、遅延などにより、別のidが先に割り込む形で出力されることがあり、...