[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
362
質問
1
票
4
回答
2,704
閲覧数
2つのDataframeで期間重複するIDを抽出したい
python3とpandasを使っています。
df1,df2の2つのDataframeのうち同じIDの人物の日付を比較し、期間重複がある行のIDを取り出したいです。
実際には10万行ほどあります。
data1 = [[1, "2010-01-01", "2010-01-20"], [1, "2010-03-20", "2010-03-30"],
[2, "2010-02-01", ...
1
票
1
回答
1,966
閲覧数
自動生成したデータフレームを 繰り返し繋ぎ合わせる方法について教えてください。
例えば、下記のように繰り返しランダムにデータフレームxを自動生成し、
それを一つのデータフレームdfに自動的に繋げていく方法を教えてください。
import pandas as pd
import numpy as np
i = 0
arr = []
for i in range(3):
x = pd.DataFrame(np.random.rand(3))
arr[i] = ...
1
票
1
回答
148
閲覧数
DateTimeIndexに時間をセットしたい
以下の様にタイムゾーンを設定した際、
indexの時間を一律10:00:00にする方法は無いでしょうか?
特に下記のデータには規則性はありません。
DatetimeIndex(['2000-01-03', '2000-01-04', '2000-01-05', '2000-01-06',
'2000-01-07', '2000-01-10', '2000-01-11'...
1
票
1
回答
2,809
閲覧数
pandasで日付の最小値、最大値を自動抽出するには
下記表のような時系列温度データにつき、2000年、2001年・・・と、各年ごとの値の平均値を計算しています。
日付のstart-endが分かっている場合、
df['2000-01-04':'2000-12-27'].mean()
df['2001-01-05':'2001-12-28'].mean()
などと値を直指定すればいいと思うのですが、データを見ていちいち確認するのではなく、...
1
票
1
回答
105
閲覧数
pandas で異なる行のデータを用いて新たな列を追加したい
やりたいこと
既に作成しているDataFrameに対して、新しく追加する列に、特定の条件のもと適した値を入れたいと思っています。
今回はゲームの大会のデータを持ってきているのですが、そのゲームの対戦方式として、
1セット目:2人vs2人のバトル(2本先取で勝ち)
2セット目:1人vs1人のバトル(2本先取で勝ち)
3セット目:1人vs1人のバトル(3名の勝ち残りで相手を全滅させたら勝利)
...
1
票
2
回答
1,162
閲覧数
各カラムごとのデータをラベルで色分けしながら1枚の散布図に出力したい
PythonやRのデータフレームで、各カラムのデータがある程度同じスケールにあるとき
それぞれのデータをラベルで色分けしながら1枚の散布図で出力するにはどのようにすればよいでしょうか?
irisデータによるサンプル
https://gist.github.com/netj/8836201
上記のリンク先のCSVファイルを下の画像のように出力したいと考えています。
...
1
票
2
回答
254
閲覧数
pandasのデータフレームで縦持ち横持ちの変換をしたい
下記のようなpandas.DataFrameがある時に、縦持ちに変換を行いたいです。
調べたところpivot_tableが使用できそうな感じはありますが、うまく使用する事ができませんでした。
import pandas as pd
df1 = pd.DataFrame([[0, 'e1', 'e11'], [1, 'e1', 'e22'], [2, 'e1', 'e33']], columns=[...
1
票
1
回答
1,386
閲覧数
to_csv でファイル名を指定してもエラー FileNotFoundError
データフレームをcsvに出力したいのですが、to_csvが機能しません。
resultというデータフレームを以下のコードで出力しようとしても、エラーが出てしまいます。
コード:
result.to_csv('ディレクトリ名/ファイル名.csv',encoding='shift-jis')
エラーメッセージ:
FileNotFoundError: [Errno 2] No such file or ...
1
票
1
回答
867
閲覧数
Pythonでconcatで連番のデータフレームを縦結合
pandasでデータフレームdf1からdf25までを縦結合したいと考えています。
ぐぐると2つの結合のものばかりで、3つ以上もOKとは書いていますが
pd.concat([df1,df2,df3,df4,...,df25])
のような書き方は避けたいと考えています。
他言語だとdf1-df25のように連番を処理するテクニックがあったりするのですが、pythonでもうまくかけるものなのでしょうか。...
1
票
1
回答
109
閲覧数
pandasのcut()の分類がうまくいかない
プログラミング初心者です。
仕事でデータサイエンスを使おうということで、下記のリンクのPython Data Science Handbookの例題を基に勉強しているのですが、例題通りの出力ができずに困っております。
リンク:https://jakevdp.github.io/PythonDataScienceHandbook/03.09-pivot-tables.html
...
1
票
1
回答
1,886
閲覧数
Pandas.DataFrame.plotとmatplotlib.plot,エラーバー(yerr)表示を微調整したいのだが・・・。
エラーバーの表示について質問です。
細かなところですが、見栄えの問題で、エラーバーとマーカーとラインの重なりを細かく調整したい場合の方法はありますでしょうか?
%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
df = pd.DataFrame([[1.0, 10.0,...
1
票
1
回答
352
閲覧数
特徴量として使えるデータを平均の差から見つけ出す方法
クラスタリングを行う上で、特徴量を選択する際に「平均の差」を使おうと考えています。
複数ある属性のうち、平均差が大きいものを特徴量として選択すれば、より適切に集団を分割できるのではないかと考えています。
その際の「平均の差を比較する」方法がわかりません。
例えば、高校のクラスが2つ(A組、B組)あったとし、
それぞれ身長の平均(cm)、体重の平均(kg)、アルバイト収入の平均(円)...
1
票
1
回答
181
閲覧数
文字列からのダミー変数作成
家の特徴を示す情報を持つ変数xより、シェアハウスと、バルコニーのある物件の場合に1とする
次のような変数shareとbalconyを作成したいと考えています。
index share balcony
0 1 1
1 0 1
2 1 0
3 1 0
変数名を示すリスト var_nameと、...
1
票
1
回答
898
閲覧数
pandas の Seriesクラスの`groupby`メソッドの使い方
環境
Python3.6.5
pandas 0.23.0
背景
普段はDataFrameのgroupbyメソッドを使っています。
最近、Seriesにもgroupbyメソッドがあることを知り、使ってみようと思います。
https://pandas.pydata.org/pandas-docs/version/0.23/generated/pandas.Series.groupby.html
...
1
票
1
回答
1,657
閲覧数
分割して読み込んだファイルの結合でエラーがでる
巨大なcsvファイルを扱うために分割してファイルを読み込んだのですが、その後の結合でエラーで出てしまいます。
以下コード
import pandas as pd
fname = '.../train.csv'
reader = pd.read_csv(fname, chunksize=10000)
df = pd.concat((r for r in reader), ignore_index=...
1
票
2
回答
1,692
閲覧数
pandas seriesの行方向への結合について
下記のコードにて、date, p をヘッダーに行方向に結合したいのですがうまくいきません。
どのようにすればできますでしょうか?
尚、tickには日付情報がはいっており、str(t.year) + str(t.month)で年月情報を作っています。pは機械学習によって得られるスコアを想定しており、これ自体は単一の数字です。
結果が
date 20154.000000
f ...
1
票
1
回答
5,193
閲覧数
Pythonのpandasの置換を行おうとしたところ、括弧で囲まれた文字の置換が上手く出来ない
Python pandasで日付が入った列の書式がバラバラのため、置換して整えようと考えています。
ここに記載するデータ以外にも多数のデータがあり、ほとんどの書式は「%Y-%m-%d %H:%M:%S」 となっている為、それに合わせるべく要らない部分を消そうと考えています。
import pandas as pd
tmp = pd.DataFrame({"date": ["2018-03-...
1
票
1
回答
398
閲覧数
データフレームの文字列を正規表現で、該当した行の列をmergeしたい
こちらに質問させていただいた、
python pandas 2つのcsvの共通の列の値を使って結合したい
で、データフレームの結合が出来ました、ありがとうございます。
この結合されたデータフレームに対して、文字列の検索と置き換えがしたいです。
前の質問の続きなので使いまわしていますが、今回の質問ではidとvalueは考慮しなくて良いのでここでは非表示としました。
ただし、...
1
票
1
回答
203
閲覧数
データフレームの中の大文字で書かれた要素のみ抽出する
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'Information1' : [19, 'Shopping','HANA', 'Canada'],
'Information2' : ['books', 24, 'games', 'MARY'],
'...
1
票
1
回答
859
閲覧数
pandasが学べる書籍を教えてほしいです。
連投失礼します。
pandasが学べる書籍を教えてほしいです。
「pythonではじめるデータラングリング」でpandasを取り扱うものと思ってかったら触れられてもいませんでした。
やりたいこと
実はわたしはとりくみたい問題というのはありません。pandasはcsvモジュールやxlsxモジュールよりも高機能そうだから便利なのかもしれないと思っただけです。...
1
票
1
回答
2万
閲覧数
特定の条件を満たす行のみを削除するには?
特定の条件を満たす行のみを選択して、データセット全体から削除したいと考えています。
pandasのdataframeにdfというデータがあります。
この中から、「同意しません」とある行全体をデータから削除したいと考えています。
現在のところ、
不同意のサンプルをselection1というグループにして、
dfから、該当する行全体、データから削除しようとしているのですが、この部分がうまく行きません。...
1
票
2
回答
503
閲覧数
pandasで4次元配列を管理したい.
タイトルどおりです.
L次元のベクトルxがi,j,kをパラメータにして生成させるとき,
列にXベクトルの成分をならべ,インデックスをi,j,kの組み合わせで表示したいです.
以下のような生成過程のデータをうまく管理したいです.
for i range (I)
for j range (J)
for k range (K)
for l range (L)
x[i,j,k,l]...
1
票
1
回答
1,223
閲覧数
pandasを使った場合のexeファイルへの変換方法
コード中にpandasを使用したファイルをpy2exeを使って、
exeファイルにコンパイルしましたが、実行できません。
exeファイルは一応作成されるのですが、ファイルサイズが異様に大きく、
実行すると次のエラーが出力されてしまいます。
OMP: Warning #178: Function GetModuleHandleEx failed:
OMP: System error #126: ...
1
票
2
回答
80
閲覧数
awareなDataTimeIndexのshiftによる、不可解なAmbiguousTimeErrorについて
freq='D'のDateTimeIndexで、ニューヨーク時刻の2022/02/07を92日前にずらすとAmbiguousTimeErrorが発生します。
freq属性をNoneにすればエラーを回避できることが確認できましたが、現在の振る舞い/仕様が不可解で納得できずにいます。
タイムゾーンを変換するときに、夏時間によるあいまいさが発生するのは理解でできたのですが、...
1
票
1
回答
81
閲覧数
DataFrame セル内の記号を消したい
気温データをDFに取り込んだところ、「11月」と「年の値」のコラムに「 ] 」が含まれた数値があります。
この記号を削除したいのですが、どうすればいいでしょうか。
データタイプは、
Miyagi_temp['年の値'].unique().tolist()
で確認して記号付きはstrになっています。
Miyagi_temp['年の値'].str.strip(' ]')
を実行すると記号は消えますが、...
1
票
3
回答
464
閲覧数
一つのカラムの中にリストでデータが入っている場合、リストの各要素を分割して新たに列を増やし、各要素をダミー変数化方法はありますか?
データ分析初心者です。
初めて簡単なコンペのようなものに挑戦しています。
何からやればよいのかわからず手探りでググって一つ一つ進めてきたのですが、これについてはどのようにググれば答えが見つかるのかもわからずの状態です。
そのため、タイトルもなかなかうまく言語化できておらず、わかりにくくなってしまっていると思います。すみません。
コンペの内容としては民泊サービスの価格予測です。...
1
票
1
回答
613
閲覧数
pandasで、うまく、最大の行数を変更できません。
pandasで、うまく、最大の行数を変更できません。
pd.set_option('display.max_columns', 50)
pd.set_option('display.max_rows', 500)
df_list[0]
どうすれば、最大の行数を変更することが出来るのでしょうか?
1
票
2
回答
3,578
閲覧数
Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2
複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。
1、データの確認をしました
import pandas as pd
file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv"
df1 = pd.read_csv(file_path, ...
1
票
0
回答
748
閲覧数
AttributeError: module 'pandas' has no attribute 'read_csv' の対処法
以下のコードでcsvを読み込もうとしたら、題名の通りエラーが出てしまいます。
実行したコード
import pandas as pd
x = pd.read_csv("wine-R.csv")
エラーメッセージ
AttributeError: module 'pandas' has no attribute 'read_csv'
確認したこと:
・カレントディレクトリ内にpandas....
1
票
1
回答
479
閲覧数
pandas-highcharts でグラフが描画されない
実現したいこと
取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。
該当のソースコード
from pandas_highcharts.display import display_charts
df = ... # ...
1
票
0
回答
137
閲覧数
GCPのVMインスタンス上でImportError: No module named 'pandas' エラーが発生します
▼前提
GCP上のVMインスタンスにPython3.6の環境を構築し、pip3でpandas,numpy,sklearnなどのモジュールをインストールしました。
▼事象
しかし、import pandas を実行すると、
[Tue Dec 24 09:09:11.447228 2019] [cgi:error] [pid 19982] [client 34.84.154.183:35282] ...
1
票
1
回答
1,101
閲覧数
クリップボードにコピーしたweb上の表をエクセルファイルに張り付けるコードをPythonで書きたい
対象のwebサイトは鍵付きのためスクレイピングが使えないので、クリップボードにコピーしてからエクセルにペーストするコードを書きたいと考えています。
クリップボードにコピー→データフレームとして読み込み→CSV変換→エクセルに張り付けとしたいのですが、最初の段階で pandas.read_clipboard() を使おうとすると以下のエラーが出てうまくいきません。
エラーメッセージ
...
1
票
0
回答
58
閲覧数
ilocを使用した際のindex値の抽出
以下の様にilocでデータを抽出した場合、
そのindex値を取り出す(2010-03-09)を取り出す方法はありますか?
data.iloc[2500]
Open 925.69
High 927.79
Low 923.60
Close 924.38
Name: 2010-03-09 00:00:00, dtype: float64
data.iloc[2500]...
1
票
1
回答
675
閲覧数
Pythonにおける変数宣言時に異なる変数を用いる方法
私は現在関数で複数の変数を宣言しようとしています.
その際に変数名を関数実装時に決め打ちで宣言することは後のことを考えると非常に良くないと思い工夫をしようと試みています.
そこで、関数の引数を宣言する変数名を含ませることで解決できると考えました.しかし引数を変数内に用いる方法がわかりません.
どうかお力添えをお願いしたく思います.
やりたいことの例:
def new_variable(...
1
票
1
回答
791
閲覧数
pandasの散布図行列の重複した半分を消したい
pandasのpd.scatter_matrixで作成できる散布図行列の重複した半分を消したいのですが,どうすればよいでしょうか?
コードは以下です.
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
data = pd.read_csv("dataframe....
0
票
1
回答
66
閲覧数
pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処
KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。
>>> train.info()
<class 'pandas.core.frame.DataFrame'>
Index: 458913 entries, ...
0
票
2
回答
76
閲覧数
Pandasを使った行の比較方法について
やりたいこと
PythonでBook1とBook2のエクセルを比較します。
Book1には無い行を、Book2のヘッダーFlagとしてどの行がないかを記載したいです。
両方のエクセルのキーとなるものはtitleにしています。
Book1のエクセル
created_at,title,messageId,content
2022-06-16T06:43:17.488Z,日本,2332528852,雨
...
0
票
2
回答
71
閲覧数
pandas list型にするには
csvファイル(A_csv)
A B C D E F G H I J
1 1 2 3 4 5 6 7 8 9 10
をpandasを使いプログラム上に読み込み
リスト型
[1,2,3,4,5,6,7,8,9,10]
に変更したいのですが,
Empty DataFrame
Columns: [1 2 3 4 5 6 7 8 9 10]
Index: []
...
0
票
3
回答
5,039
閲覧数
インストールした外部ライブラリが import 出来ない
Pythonでcsvを読み込んで加工して分析みたいなことをしたいと思って、
Python3.7とpycharmをインストールしました。
csvの読み込みにはpandasだと記事で読んだので、まずpandasを入れてインポートしようとしたのですができず・・・具体的には以下です。
ターミナルでpip show pandasと実行したら、以下が出てきたのでインストールはできているんだと思います。
...
0
票
1
回答
953
閲覧数
object型の列をdatetime64型へ変換したい
markt_train_dfというデータフレームを扱っています。データ型は以下の通りとなっております。
今、一番上の”time"という列のデータ型をobjectからdatetime64[ns, UTC]に変更しなければならないのですが、どのようにすれば"time"のデータ型のみを変更したdataframeを取得できるでしょうか。
初歩的な質問で大変恐縮ですがご教授いただきましたら幸いです。
...
0
票
2
回答
3,847
閲覧数
pandas.dataframeからilocを用いて必要なデータだけを抜き出した際に表示されるワーニングについて教えてください。
pandasのデータフレーム(df2)から必要な行列だけを抜き出すために、下記のような操作をした際に表示されるワーニングについて。
df2 = df.iloc[0:3201,:]
#必要なデータだけ抜き出し
df2 = df2.astype(float)
#データ型変更:実数
df_index = df2.iloc[:,0]
df_alfa = df2.iloc[:,np.arange(1, ...
0
票
2
回答
2,352
閲覧数
Pandasの繰り返し文での代入について
私は現在Pandasのデータフレームにおきまして、全ての行を繰り返して値の変更を行おうとしています。(今回は値から%を取り除こうとしています。)
その際に、下記のような警告文が出てしまいます。また、この警告文が出ると処理に大きな時間がかかります。
下記の警告文のサイトへと移動し、dataframe._setitem_with_indexerを使用したのですが、...
0
票
2
回答
137
閲覧数
Pandasでgroupbyを使って重複した値を1行でまとめたい
やりたいこと
表1に 定刻[変更] のように同じ列を含む行が複数あった場合、表2のように1行にまとめたいです。
Pandasのgroupbyを使ってみましたが、実現したい結果と上手くいかないです。
コードでは何がいけないのか、もしくは他に簡単な方法がありましたら、教えていただけると嬉しいです。お手数ですが、よろしくお願い致します。
表1.csv
定刻[変更],出発地,経由地,航空会社,便名,機種,...
0
票
1
回答
73
閲覧数
pandasにてcsvを読み込んだときにカンマで区切られない
pandasにてcsvを読み込んだ時にカンマで区切ることができません。
図のように、columnが1と表示されてしまいます。
delimiterも試してみましたが、変化がありません。
何か足りない部分があるのでしょうか?
以下、追記--------------------
3行目と4行目を記載します。
行全体がダブルクォートで囲まれている様には見えないのですが。。
DATA No ...
0
票
2
回答
75
閲覧数
DataFrameで各行毎に処理をした結果を1つのリストにまとめる方法
DataFrameで各行毎に処理をした結果を1つのリストにまとめたいです。
下記のように書くことはできたのですが、可読性向上のために、myfunc内で関数外のリストに要素を追加しているのをやめて、別の方法で書くことはできないでしょうか?
apply以外の方法でも構わないのですが、iterrowsは使わずに書きたいです。
import pandas as pd
df = pd.DataFrame(
...
0
票
1
回答
143
閲覧数
DataFrameで条件に一致した文字から始まる列の値が条件に一致した文字以外であれば抽出する方法
DataFrameで「条件に一致した文字("input")から始まる列の値が条件に一致した文字("a")以外であれば抽出」したいです。
下記のように書くことはできたのですが、もう少し簡潔に書けないでしょうか?
import pandas as pd
df = pd.DataFrame(
[["Yamada", "a&...
0
票
2
回答
110
閲覧数
コラムの値を空白文字で区切り、別のコラムに分割したい
Pandasで以下のようなCSVファイルをDFとして読み込みました。
このDF内の、郵便番号と住所を別のコラムにしたいです。
下記のコードを試しました。
gyoumu_add_csv['split'] = gyoumu_add_csv['A'].str.split(' ')
gyoumu_add_csv['A1'] = gyoumu_add_csv['split'].str.get(0)
...
0
票
2
回答
92
閲覧数
プロットの横軸が詰まって読めない
試したコード
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
tips = sns.load_dataset('tips')
tips['total_bill'].plot.bar()
結果
下記のように行数を制限すると読めています。
tips['total_bill'][:10].plot....
0
票
2
回答
448
閲覧数
累積比率(線グラフ)を棒グラフに重ねる方法がわかりません
線グラフと棒グラフを個別に表示する方法はできました。
これらを同じグラフに描画する方法がわかりません。
環境:
Anaconda-Navigator
Jupyter Notebook 6.3.0
線グラフ:
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import seaborn as sns
df ...
0
票
3
回答
2,498
閲覧数
行ごとに列の数が異なる CSV から、特定の値を取り出したい
形が整っていないcsvから特定の値を取り出したい。(行と列を指定して)
以下のようなcsvがあり、pandasを用いてデータを取り出そうとするとエラーが当然出てきます。
実現したいことは、
4行3列の値を取り出す
17行3列の値を取り出す
のような操作をできるようにしたいのです。
対象のCSV:
SetupTitle, 0_NMOS_id-vg_vg-0.5-1_step2m_vd0....