[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
1
1 回答
4,240 閲覧数

pandasでグループごとの箱ひげ図を作る方法

pandasにて、下のようなデータを写真のような箱ひげ図で表すにはどうすればよいですか? import numpy as np import pandas as pd df = pd.DataFrame({ 'group':np.random.choice(['A','B','C'], 10), 'test1':np.random.randint(1, 100, 10), ...
user13353317's user avatar
1
1 回答
2,015 閲覧数

pandasの読み込みでエラー

csvファイルを読み込むためにpandasを使いたいのですが、エラーが発生します。 ソースコード(エラーと関係なさそうな部分は省略しています) import numpy as np import cv2 import math import os import csv import pandas as pd def main(): width = 320 height = ...
S.S's user avatar
  • 59
1
1 回答
358 閲覧数

pandasの重複したデータの更新

pandasで.jsonファイルを読み取り、データの更新をして保存するコードを書いています。 以下のような二つのデータフレームがあり、連結し、 重複したデータが出ないように果物と店の列を重複したものを df.drop_duplicates(subset=['fruit', 'store'])で削除しています。 df1 = pd.DataFrame({'fruit':['apple', '...
Kohei Shoji's user avatar
1
1 回答
1,351 閲覧数

特定の文字列を含むかを判定する関数の定義

下記のURLを格納したデータフレームに対し、特定の文字列に【完全一致する場合】【部分一致する場合】【NULLの場合】【それ以外】かを判定して、フラグを作成したいと考えています。元のデータフレームは、下記の通りです。 df = pd.DataFrame({'full_url': ['https://www.ABCDec.jp/shop/default.aspx', 'https://www....
ogawa's user avatar
  • 57
1
1 回答
2,661 閲覧数

特定の文字列を含む行にフラグを立てる関数を作成したい

下記のデータフレームに対し、 > df = pd.DataFrame({'pref': ['東京都', '神奈川県', '北海道', '埼玉県', '千葉県', '静岡県', > '長野県'], > 'city' : ['渋谷区', '横浜市', '函館市', '浦和市', '浦安市' , '浜松市', '岡谷市']}) "...
ogawa's user avatar
  • 57
1
1 回答
1,157 閲覧数

pd.read_sql()ですべて文字列で読むことは可能か

Pythonで import pandas as pd import pandas.io.sql as psql のもと、pd.read_sql()でdtype=objectの実行(もしくはそれに類する操作)は可能でしょうか。 マニュアル的なページを見たのですが、特に記述がありませんでした。 これはそういう機能は存在しないということでよろしいでしょうか。
user87562's user avatar
  • 853
1
2 回答
573 閲覧数

Pandasデータフレームで特定行を削除する方法

(購買データの前処理に関するご質問です) 同「id」「購入日」「店舗」「商品」「売上タイプ」ごとに連番を振った、下記データフレームがあるのですが、 df = pd.DataFrame({'id': ['111', '111', '111', '111', '111', '222', '222', '222', '333', '333', '333', '333', '333'], ...
ogawa's user avatar
  • 57
1
1 回答
157 閲覧数

データフレームの転置方法

Pandasのデータフレームで、軸を指定して転置する方法がありましたらご教示いただけませんでしょうか? 具体的には、下記データフレーム(「ID」「year」別に「金額」「個数」を集計したもの)を、 df = pd.DataFrame({'id': ['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'], 'year': ['...
ogawa's user avatar
  • 57
1
1 回答
1,412 閲覧数

クリップボードにコピーしたweb上の表をエクセルファイルに張り付けるコードをPythonで書きたい

対象のwebサイトは鍵付きのためスクレイピングが使えないので、クリップボードにコピーしてからエクセルにペーストするコードを書きたいと考えています。 クリップボードにコピー→データフレームとして読み込み→CSV変換→エクセルに張り付けとしたいのですが、最初の段階で pandas.read_clipboard() を使おうとすると以下のエラーが出てうまくいきません。 エラーメッセージ ...
sokon's user avatar
  • 21
1
1 回答
5,504 閲覧数

Pandasでグループごとに連番を付与する方法

Pandasのdataframeで、複数列の組み合わせ別に連番を付与する方法を教えていただきたいです。 具体的には、「ID」「日付」「店」の組み合わせごとの連番を、「カウント」という列を作成してそこに入れたいです。 「ID」「日付」「店」があったとして、連番を格納する「カウント」の値は、以下のイメージです。 df = pd.DataFrame({'ID': [1,1,2,2,2,3,3,3,3,...
ogawa's user avatar
  • 11
1
2 回答
1,719 閲覧数

pandasで、複数列に対応するヘッダをCSVで出力したいです。

実行環境 pandas 0.25.3 Python 3.7.4 やりたいこと pandasのDataFramdeを使って、下図のような表をCSVとして出力したいです。 試したこと 以下のPythonコードを実行しました。 dict_table = {("user1", "plan"): [1, 11], ("user1", "work"): [2, 12], ...
yuji38kwmt's user avatar
  • 1,764
1
1 回答
1,015 閲覧数

pandasの dataframeに列を追加し、リストの要素をセットする方法を教えてください

以下のソースのようにpandasでdataframeを作りました。 一番下の行のコードで、「C列を追加し1行目にリストをセット」したいです。 しかし、エラーが出ます。 理由が分かりませんでした。 どうすれば回避できるでしょうか? 下から2行目のコードで「A列1行目にリストをセット」は出来たのですが。。。 import pandas as pd df2 = pd.DataFrame(columns=...
ペンは剣よりも強し's user avatar
1
1 回答
858 閲覧数

Python3で各サンプルごとに相関係数を算出する方法

前提条件・実装したい事 Pythonを使用して、既存のDataFrame(下記の「加工前のデータセット(df)」)を基に相関係数 を排出したいと思っています。 具体的なデータセットのイメージとしては、下記の「加工後のデータセット」の様な感じです。 加工前のデータセット(df) |Weight(g)|Long axis|Short axis|Grain thickness|Sumple_vert|...
Daniel's user avatar
  • 11
1
4 回答
3,576 閲覧数

2つのDataframeで期間重複するIDを抽出したい

python3とpandasを使っています。 df1,df2の2つのDataframeのうち同じIDの人物の日付を比較し、期間重複がある行のIDを取り出したいです。 実際には10万行ほどあります。 data1 = [[1, "2010-01-01", "2010-01-20"], [1, "2010-03-20", "2010-03-30"], [2, "2010-02-01", ...
rena1996's user avatar
1
2 回答
3,486 閲覧数

自動生成したデータフレームを 繰り返し繋ぎ合わせる方法について教えてください。

例えば、下記のように繰り返しランダムにデータフレームxを自動生成し、 それを一つのデータフレームdfに自動的に繋げていく方法を教えてください。 import pandas as pd import numpy as np i = 0 arr = [] for i in range(3): x = pd.DataFrame(np.random.rand(3)) arr[i] = ...
Tiger's user avatar
  • 11
1
1 回答
167 閲覧数

DateTimeIndexに時間をセットしたい

以下の様にタイムゾーンを設定した際、 indexの時間を一律10:00:00にする方法は無いでしょうか? 特に下記のデータには規則性はありません。 DatetimeIndex(['2000-01-03', '2000-01-04', '2000-01-05', '2000-01-06', '2000-01-07', '2000-01-10', '2000-01-11'...
Eiji's user avatar
  • 271
1
1 回答
3,722 閲覧数

pandasで日付の最小値、最大値を自動抽出するには

下記表のような時系列温度データにつき、2000年、2001年・・・と、各年ごとの値の平均値を計算しています。 日付のstart-endが分かっている場合、 df['2000-01-04':'2000-12-27'].mean() df['2001-01-05':'2001-12-28'].mean() などと値を直指定すればいいと思うのですが、データを見ていちいち確認するのではなく、...
Eiji's user avatar
  • 271
1
1 回答
227 閲覧数

pandas で異なる行のデータを用いて新たな列を追加したい

やりたいこと 既に作成しているDataFrameに対して、新しく追加する列に、特定の条件のもと適した値を入れたいと思っています。 今回はゲームの大会のデータを持ってきているのですが、そのゲームの対戦方式として、 1セット目:2人vs2人のバトル(2本先取で勝ち) 2セット目:1人vs1人のバトル(2本先取で勝ち) 3セット目:1人vs1人のバトル(3名の勝ち残りで相手を全滅させたら勝利) ...
user34254's user avatar
1
2 回答
1,304 閲覧数

各カラムごとのデータをラベルで色分けしながら1枚の散布図に出力したい

PythonやRのデータフレームで、各カラムのデータがある程度同じスケールにあるとき それぞれのデータをラベルで色分けしながら1枚の散布図で出力するにはどのようにすればよいでしょうか? irisデータによるサンプル https://gist.github.com/netj/8836201 上記のリンク先のCSVファイルを下の画像のように出力したいと考えています。 ...
codeZ's user avatar
  • 399
1
2 回答
263 閲覧数

pandasのデータフレームで縦持ち横持ちの変換をしたい

下記のようなpandas.DataFrameがある時に、縦持ちに変換を行いたいです。 調べたところpivot_tableが使用できそうな感じはありますが、うまく使用する事ができませんでした。 import pandas as pd df1 = pd.DataFrame([[0, 'e1', 'e11'], [1, 'e1', 'e22'], [2, 'e1', 'e33']], columns=[...
yamap_55's user avatar
  • 754
1
1 回答
1,873 閲覧数

to_csv でファイル名を指定してもエラー FileNotFoundError

データフレームをcsvに出力したいのですが、to_csvが機能しません。 resultというデータフレームを以下のコードで出力しようとしても、エラーが出てしまいます。 コード: result.to_csv('ディレクトリ名/ファイル名.csv',encoding='shift-jis') エラーメッセージ: FileNotFoundError: [Errno 2] No such file or ...
HQMA's user avatar
  • 111
1
1 回答
1,011 閲覧数

Pythonでconcatで連番のデータフレームを縦結合

pandasでデータフレームdf1からdf25までを縦結合したいと考えています。 ぐぐると2つの結合のものばかりで、3つ以上もOKとは書いていますが pd.concat([df1,df2,df3,df4,...,df25]) のような書き方は避けたいと考えています。 他言語だとdf1-df25のように連番を処理するテクニックがあったりするのですが、pythonでもうまくかけるものなのでしょうか。...
user87562's user avatar
  • 853
1
1 回答
125 閲覧数

pandasのcut()の分類がうまくいかない

プログラミング初心者です。 仕事でデータサイエンスを使おうということで、下記のリンクのPython Data Science Handbookの例題を基に勉強しているのですが、例題通りの出力ができずに困っております。 リンク:https://jakevdp.github.io/PythonDataScienceHandbook/03.09-pivot-tables.html ...
Tim's user avatar
  • 106
1
1 回答
2,210 閲覧数

Pandas.DataFrame.plotとmatplotlib.plot,エラーバー(yerr)表示を微調整したいのだが・・・。

エラーバーの表示について質問です。 細かなところですが、見栄えの問題で、エラーバーとマーカーとラインの重なりを細かく調整したい場合の方法はありますでしょうか? %matplotlib inline import numpy as np import matplotlib.pyplot as plt import pandas as pd df = pd.DataFrame([[1.0, 10.0,...
nsgui tarns's user avatar
1
1 回答
396 閲覧数

特徴量として使えるデータを平均の差から見つけ出す方法

クラスタリングを行う上で、特徴量を選択する際に「平均の差」を使おうと考えています。 複数ある属性のうち、平均差が大きいものを特徴量として選択すれば、より適切に集団を分割できるのではないかと考えています。 その際の「平均の差を比較する」方法がわかりません。 例えば、高校のクラスが2つ(A組、B組)あったとし、 それぞれ身長の平均(cm)、体重の平均(kg)、アルバイト収入の平均(円)...
bbpencil's user avatar
1
1 回答
204 閲覧数

文字列からのダミー変数作成

家の特徴を示す情報を持つ変数xより、シェアハウスと、バルコニーのある物件の場合に1とする 次のような変数shareとbalconyを作成したいと考えています。 index share balcony 0 1 1 1 0 1 2 1 0 3 1 0 変数名を示すリスト var_nameと、...
kazusumi's user avatar
  • 240
1
1 回答
1,533 閲覧数

pandas の Seriesクラスの`groupby`メソッドの使い方

環境 Python3.6.5 pandas 0.23.0 背景 普段はDataFrameのgroupbyメソッドを使っています。 最近、Seriesにもgroupbyメソッドがあることを知り、使ってみようと思います。 https://pandas.pydata.org/pandas-docs/version/0.23/generated/pandas.Series.groupby.html ...
yuji38kwmt's user avatar
  • 1,764
1
1 回答
1,998 閲覧数

分割して読み込んだファイルの結合でエラーがでる

巨大なcsvファイルを扱うために分割してファイルを読み込んだのですが、その後の結合でエラーで出てしまいます。 以下コード import pandas as pd fname = '.../train.csv' reader = pd.read_csv(fname, chunksize=10000) df = pd.concat((r for r in reader), ignore_index=...
user9713188's user avatar
1
2 回答
1,883 閲覧数

pandas seriesの行方向への結合について

下記のコードにて、date, p をヘッダーに行方向に結合したいのですがうまくいきません。 どのようにすればできますでしょうか? 尚、tickには日付情報がはいっており、str(t.year) + str(t.month)で年月情報を作っています。pは機械学習によって得られるスコアを想定しており、これ自体は単一の数字です。 結果が date 20154.000000 f ...
companyyy's user avatar
1
1 回答
6,388 閲覧数

Pythonのpandasの置換を行おうとしたところ、括弧で囲まれた文字の置換が上手く出来ない

Python pandasで日付が入った列の書式がバラバラのため、置換して整えようと考えています。 ここに記載するデータ以外にも多数のデータがあり、ほとんどの書式は「%Y-%m-%d %H:%M:%S」 となっている為、それに合わせるべく要らない部分を消そうと考えています。 import pandas as pd tmp = pd.DataFrame({"date": ["2018-03-...
かあかあ's user avatar
1
1 回答
492 閲覧数

データフレームの文字列を正規表現で、該当した行の列をmergeしたい

こちらに質問させていただいた、 python pandas 2つのcsvの共通の列の値を使って結合したい で、データフレームの結合が出来ました、ありがとうございます。 この結合されたデータフレームに対して、文字列の検索と置き換えがしたいです。 前の質問の続きなので使いまわしていますが、今回の質問ではidとvalueは考慮しなくて良いのでここでは非表示としました。 ただし、...
nomura's user avatar
  • 113
1
1 回答
234 閲覧数

データフレームの中の大文字で書かれた要素のみ抽出する

import pandas as pd import numpy as np df1 = pd.DataFrame({'Information1' : [19, 'Shopping','HANA', 'Canada'], 'Information2' : ['books', 24, 'games', 'MARY'], '...
Python初心者's user avatar
1
1 回答
869 閲覧数

pandasが学べる書籍を教えてほしいです。

連投失礼します。 pandasが学べる書籍を教えてほしいです。  「pythonではじめるデータラングリング」でpandasを取り扱うものと思ってかったら触れられてもいませんでした。 やりたいこと 実はわたしはとりくみたい問題というのはありません。pandasはcsvモジュールやxlsxモジュールよりも高機能そうだから便利なのかもしれないと思っただけです。...
matomebutai's user avatar
1
1 回答
2万 閲覧数

特定の条件を満たす行のみを削除するには?

特定の条件を満たす行のみを選択して、データセット全体から削除したいと考えています。 pandasのdataframeにdfというデータがあります。 この中から、「同意しません」とある行全体をデータから削除したいと考えています。 現在のところ、 不同意のサンプルをselection1というグループにして、 dfから、該当する行全体、データから削除しようとしているのですが、この部分がうまく行きません。...
kazusumi's user avatar
  • 240
1
2 回答
613 閲覧数

pandasで4次元配列を管理したい.

タイトルどおりです. L次元のベクトルxがi,j,kをパラメータにして生成させるとき, 列にXベクトルの成分をならべ,インデックスをi,j,kの組み合わせで表示したいです. 以下のような生成過程のデータをうまく管理したいです. for i range (I) for j range (J) for k range (K) for l range (L) x[i,j,k,l]...
user21291's user avatar
1
1 回答
1,329 閲覧数

pandasを使った場合のexeファイルへの変換方法

コード中にpandasを使用したファイルをpy2exeを使って、 exeファイルにコンパイルしましたが、実行できません。 exeファイルは一応作成されるのですが、ファイルサイズが異様に大きく、 実行すると次のエラーが出力されてしまいます。 OMP: Warning #178: Function GetModuleHandleEx failed: OMP: System error #126: ...
たつや's user avatar
1
3 回答
150 閲覧数

CSVファイル内の時系列データを1秒区切りで平均化するコードを書いているのですがエラーの解消方法を知りたいです

前提 各列にTIME(データ取得日時)、測定値が格納されたCSVファイルを読み込んで、1秒毎に平均化してCSVファイルに出力したいです。 コードを書いてみたのですがエラーが出てしまい対処方法が分からないので教えて頂けるとありがたいです。 下記は使用するCSVデータで名称は「test.csv」です。 [LOGGING],RD81DL96_1,2,3,4 DATETIME[YYYY/MM/DD hh:...
masimasimasi's user avatar
1
1 回答
121 閲覧数

Pandas の DataFrame にビットを振りたい

以下に示すようなDataFrameとlistがあります。 DataFrameのうち、listに含まれる要素と一致する行に対してビットを振りたいです。 例えば以下のようにするとビットを振ることができますが、for文を使うのでは処理が遅すぎます。 同様の処理をより高速に実装するにはどうすればよいでしょうか。 試したコード: for i, j in lst: df.loc[(df["...
user avatar
1
2 回答
84 閲覧数

awareなDataTimeIndexのshiftによる、不可解なAmbiguousTimeErrorについて

freq='D'のDateTimeIndexで、ニューヨーク時刻の2022/02/07を92日前にずらすとAmbiguousTimeErrorが発生します。 freq属性をNoneにすればエラーを回避できることが確認できましたが、現在の振る舞い/仕様が不可解で納得できずにいます。 タイムゾーンを変換するときに、夏時間によるあいまいさが発生するのは理解でできたのですが、...
Sasaki's user avatar
  • 400
1
1 回答
179 閲覧数

DataFrame セル内の記号を消したい

気温データをDFに取り込んだところ、「11月」と「年の値」のコラムに「 ] 」が含まれた数値があります。 この記号を削除したいのですが、どうすればいいでしょうか。 データタイプは、 Miyagi_temp['年の値'].unique().tolist() で確認して記号付きはstrになっています。 Miyagi_temp['年の値'].str.strip(' ]')  を実行すると記号は消えますが、...
Ichiro Nakajima's user avatar
1
1 回答
1,484 閲覧数

pandasで、うまく、最大の行数を変更できません。

pandasで、うまく、最大の行数を変更できません。 pd.set_option('display.max_columns', 50) pd.set_option('display.max_rows', 500) df_list[0] どうすれば、最大の行数を変更することが出来るのでしょうか?
18aaa's user avatar
  • 101
1
2 回答
5,307 閲覧数

Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2

複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。 1、データの確認をしました import pandas as pd file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv" df1 = pd.read_csv(file_path, ...
user avatar
1
0 回答
920 閲覧数

AttributeError: module 'pandas' has no attribute 'read_csv' の対処法

以下のコードでcsvを読み込もうとしたら、題名の通りエラーが出てしまいます。 実行したコード import pandas as pd x = pd.read_csv("wine-R.csv") エラーメッセージ AttributeError: module 'pandas' has no attribute 'read_csv' 確認したこと: ・カレントディレクトリ内にpandas....
渡邊彰久's user avatar
1
1 回答
609 閲覧数

pandas-highcharts でグラフが描画されない

実現したいこと 取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。 該当のソースコード from pandas_highcharts.display import display_charts df = ... # ...
Kitchen's user avatar
  • 11
1
0 回答
164 閲覧数

GCPのVMインスタンス上でImportError: No module named 'pandas' エラーが発生します

▼前提 GCP上のVMインスタンスにPython3.6の環境を構築し、pip3でpandas,numpy,sklearnなどのモジュールをインストールしました。 ▼事象 しかし、import pandas を実行すると、 [Tue Dec 24 09:09:11.447228 2019] [cgi:error] [pid 19982] [client 34.84.154.183:35282] ...
Satomi Takei's user avatar
1
0 回答
58 閲覧数

ilocを使用した際のindex値の抽出

以下の様にilocでデータを抽出した場合、 そのindex値を取り出す(2010-03-09)を取り出す方法はありますか? data.iloc[2500] Open 925.69 High 927.79 Low 923.60 Close 924.38 Name: 2010-03-09 00:00:00, dtype: float64 data.iloc[2500]...
Eiji's user avatar
  • 271
1
1 回答
701 閲覧数

Pythonにおける変数宣言時に異なる変数を用いる方法

私は現在関数で複数の変数を宣言しようとしています. その際に変数名を関数実装時に決め打ちで宣言することは後のことを考えると非常に良くないと思い工夫をしようと試みています. そこで、関数の引数を宣言する変数名を含ませることで解決できると考えました.しかし引数を変数内に用いる方法がわかりません. どうかお力添えをお願いしたく思います. やりたいことの例: def new_variable(...
Flow_engine's user avatar
1
1 回答
892 閲覧数

pandasの散布図行列の重複した半分を消したい

pandasのpd.scatter_matrixで作成できる散布図行列の重複した半分を消したいのですが,どうすればよいでしょうか? コードは以下です. import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt data = pd.read_csv("dataframe....
akiaki's user avatar
  • 141
0
1 回答
90 閲覧数

Pandas 2.0 の melt メソッドでタイムゾーンが変わってしまう

新しい Pandas で melt を使用すると、日付のタイムゾーンが変わりました。 不具合でしょうか。 !pip3 install pandas !pip3 list | grep pandas import pandas as pd df = pd.DataFrame(data=[ {'type': 'A0', 'start_date': pd.Timestamp('2023/03/...
Sasaki's user avatar
  • 400
0
2 回答
89 閲覧数

pandasで同一idはまとめて出力し、そのうえでtimestamp順に出力したい。

実行環境 Windows 10 Python 3.X pandas データの説明 下記の元データはログをcsv化したものの一部の例になります。 こちらはid,timestampというカラムで構成されています。 timestampは昇順で並べられており、それに沿ってidが並べられています。 idは基本的にはまとまっておりますが、遅延などにより、別のidが先に割り込む形で出力されることがあり、...
zumo1224's user avatar
  • 113