[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
259
質問
0
票
0回答
49 件の閲覧数
pandas 1.2.0 で、行ごとの加算値を求めたい
pythonのpandasで、ゼロ列目(行名)が日付になって、1列目以降は整数データのみのデータフレームなのですが、いままでは、
df['加算結果'] = df.sum(axis=1)
という具合に日にちごと(=行ごと)の加算値が計算できていました。
最近、pandasをアップデートしたことが問題らしく、
TypeError: Addition/subtraction of integers ...
1
票
1回答
988 件の閲覧数
pandasを使った場合のexeファイルへの変換方法
コード中にpandasを使用したファイルをpy2exeを使って、
exeファイルにコンパイルしましたが、実行できません。
exeファイルは一応作成されるのですが、ファイルサイズが異様に大きく、
実行すると次のエラーが出力されてしまいます。
OMP: Warning #178: Function GetModuleHandleEx failed:
OMP: System error #126: ...
1
票
1回答
700 件の閲覧数
to_csvのエラー
データフレームをcsvに出力したいのですが、to_csvが機能しません。resultというデータフレームを
result.to_csv('ディレクトリ名/ファイル名.csv',encoding='shift-jis')
で出力しようとしても、下記のようなエラーが出てしまいます。
FileNotFoundError: [Errno 2] No such file or directory: '...
0
票
2回答
78 件の閲覧数
リストを作るときに、必要な要素数になるまで回したい
データセットを作成したい。そこで以下のコードに改良を加えたい。
コードで計算されているDisが、1<Dis<2の間に収まるようにしたい。
つまり、それ以外の値を取るDisの行の組み合わせは捨てたいです。
しかし、最終的に得られるP_sample_2のデータは10×6の行列になるようにしたい。
どのように考えるのがよいでしょうか?
P_sample = []
PP_sample = []
...
0
票
1回答
341 件の閲覧数
pandasでcsvファイルを読み込むとinvalid character in identifier
resasからダウンロードした人口データcsvファイルをpandasに読み込みたいが、
以下のエラーメッセージが発生した。
df File "<ipython-input-13-5abd90abec15>", line 4
df = pd.read_csv(url, encoding="SHIFT-JIS")
...
0
票
1回答
73 件の閲覧数
CSV ヘッダーの追加と列名の順番変更について
Pythonで既存のcsvにヘッダーの追加と列名の順番変更を行いたいです。
データ毎回不定期に変わります。下記の①〜③条件で変わります。
①既存のCSV 順番の変更
A B C D E F
test1 test2 test3 test5 test4 test6
②既存のCSV D,Fの列がない時
A B C ...
0
票
0回答
42 件の閲覧数
正解率でいい結果が出ません!
・プログラムは以下の通りで、jupyter Notebook,pandasを使っています。
・KSSは眠気を数値化したもので、それ以外のデータ(LFなど)は心拍のデータです。
・目的は「'それ以外のデータ(LFなど)'から眠気(KSS)を予測することです
・KSSは整数値です。それ以外のデータ(LFなど)は整数値ではないです。
わからない事
・KSSが目的変数でそのほかのデータが説明変数です
・...
0
票
0回答
52 件の閲覧数
SyntaxWarning: 'float' object is not callable; perhaps you missed a comma?
下記のようなDataFrameの各要素に、関数を作用させようと考えています
作用させたいのは以下のラムダ関数です。
Energy = lambda r : -0.28((2.37/r)^12-(2.37/r)^6)
しかし、エラーが出ます。どのように対処すればいいのでしょうか?
<>:1: SyntaxWarning: 'float' object is not callable;...
1
票
1回答
95 件の閲覧数
pandasでグループごとの箱ひげ図を作る方法
pandasにて、下のようなデータを写真のような箱ひげ図で表すにはどうすればよいですか?
import numpy as np
import pandas as pd
df = pd.DataFrame({
'group':np.random.choice(['A','B','C'], 10),
'test1':np.random.randint(1, 100, 10),
...
0
票
1回答
229 件の閲覧数
得られたデータ(deque)を書式に合わせてcsvに出力したいです.
現在,筋電センサを用いて動作推定するプログラムを作っているのですが,個人学習する際に得られるデータをトーレーニングデータの書式(csv)と同じようにcsvに出力したいと考えています.使用している筋電センサは8電極あり,8行1列の行列値でデータが取得できます.
例 deque([160067619223897, [-12, 13, 2, 4, 1, 4, 0, 0])のような形式で表示されます.
...
0
票
1回答
102 件の閲覧数
pandasの読み込みでエラー
csvファイルを読み込むためにpandasを使いたいのですが、エラーが発生します。
ソースコード(エラーと関係なさそうな部分は省略しています)
import numpy as np
import cv2
import math
import os
import csv
import pandas as pd
def main():
width = 320
height = ...
0
票
2回答
93 件の閲覧数
pandas で標準入力からデータ読み込む方法
pandas で標準入力 (STDIN) から read_csv のように読み込むこと可能でしょうか?
STDIN を変数に入れて、それを stringIO にして読み込むのは可能なのですが、もっとスマートにやる方法はないでしょうか?理想としては、jupyter 環境でストリーム(標準出力など)を設定して、次に、そのストリームをpandas で読み込むようなことをしたいです。
0
票
1回答
107 件の閲覧数
クロス表で集計軸(columns)を水平方向に複数並べる方法。
【質問文修正】
「stock_a」と1つの変数を軸にした集計表の出力はできましたが、
例えば「stock_a」「industry_a」等、複数の変数を同じレベルで並べた集計表の出力ができません。どのようなコードが適切でしょうか。
コード
import pandas as pd
df = pd.DataFrame({
'id':['id00001','id00002','id00003','...
0
票
2回答
356 件の閲覧数
PythonのDataframe型 から Datetime型への変換について
質問です。python初心者で、よくわからないので、教えてください。
pandas のDataFrame内のstr型をdatetime型に一括変換し、月や日のデータを取得したいです。
DataFrame型→datetime型への変換はto_datetimeで変換できることは分かったのですが、そこから月・日のデータを抜き出す工程が分かりません。
また、...
0
票
1回答
256 件の閲覧数
pandas-highcharts でグラフが描画されない
実現したいこと
取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。
該当のソースコード
from pandas_highcharts.display import display_charts
df = ... # ...
0
票
2回答
102 件の閲覧数
Pandasでif文に2つ以上の条件が入る変換
x1,..,y14
abc, ..., -
のようなデータフレームdfがあります。
x1 == 'abc' かつ y14 == '-' ならば y14 = '★'のような変換をしたいと考えております。
def henkan(x):
if x == abc:
return '★'
df.y14 = df.y14.apply(henkan)
...
0
票
2回答
570 件の閲覧数
Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2
複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。
1、データの確認をしました
import pandas as pd
file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv"
df1 = pd.read_csv(file_path, ...
1
票
2回答
1,056 件の閲覧数
2つのDataframeで期間重複するIDを抽出したい
python3とpandasを使っています。
df1,df2の2つのDataframeのうち同じIDの人物の日付を比較し、期間重複がある行のIDを取り出したいです。
実際には10万行ほどあります。
data1 = [[1, "2010-01-01", "2010-01-20"], [1, "2010-03-20", "2010-03-30"],
[2, "2010-02-01", ...
0
票
1回答
43 件の閲覧数
dropna(axis=1)とdropna(axis=0)で出力された内容が同じになるのはなぜですか?
pandasのdropnaについて質問です。一通りpandasなどをインポートした後に
今、df1のような欠損値ありのExcalデータを作って、試しています。
データは以下の通りです。
[In]
df1=pd.read_excel('mo.xlsx')
print(df1)
[Out]
T A B C
0 2 2.0 5.0 1.0
...
0
票
1回答
441 件の閲覧数
クリップボードにコピーしたweb上の表をエクセルファイルに張り付けるコードをPythonで書きたい
対象のwebサイトは鍵付きのためスクレイピングが使えないので、クリップボードにコピーしてからエクセルにペーストするコードを書きたいと考えています。
クリップボードにコピー→データフレームとして読み込み→CSV変換→エクセルに張り付けとしたいのですが、最初の段階で pandas.read_clipboard() を使おうとすると以下のエラーが出てうまくいきません。
エラーメッセージ
...
3
票
1回答
88 件の閲覧数
pandasの重複したデータの更新
pandasで.jsonファイルを読み取り、データの更新をして保存するコードを書いています。
以下のような二つのデータフレームがあり、連結し、
重複したデータが出ないように果物と店の列を重複したものを
df.drop_duplicates(subset=['fruit', 'store'])で削除しています。
df1 = pd.DataFrame({'fruit':['apple', '...
0
票
2回答
109 件の閲覧数
pythonで日付リストから、ある月の出現頻度を取得する方法
以下のような日付データがあります。
DatetimeIndex(['2019-06-05', '2019-06-14', '2019-06-24', '2019-07-03',
'2019-07-30', '2019-07-31', '2019-08-06', '2019-08-28',
'2019-09-03', '2019-09-26'...
2
票
0回答
58 件の閲覧数
Pandasでカラム名がどうしても小文字で出力される際の対処
pandasのデータフレームdfで最終id、という名前のカラムがあり、
df.rename(columns = {'最終id':'最終ID'})
とリネームしても出力物では小文字のidに戻ってしまいます。
どのようにすれば回避できますでしょうか。
よろしくお願いいたします。
実行環境
Windows 10
Python 3.7
0
票
0回答
119 件の閲覧数
Python の正規表現で特定の文字列を抽出する関数の定義
下記のように、URLを格納したデータフレームがあります。
こちらに、特定のパラメータの値を抽出し、新しい列を作って代入したいと考えています。
df = pd.DataFrame({'ulr' : ['https://www.shop.jp/shop/pro_source=google&pro_md=list_1&pro_cp=sweets_&gclid=?...
0
票
1回答
68 件の閲覧数
特定の文字列を含むかを判定する関数の定義
下記のURLを格納したデータフレームに対し、特定の文字列に【完全一致する場合】【部分一致する場合】【NULLの場合】【それ以外】かを判定して、フラグを作成したいと考えています。元のデータフレームは、下記の通りです。
df = pd.DataFrame({'full_url': ['https://www.ABCDec.jp/shop/default.aspx', 'https://www....
2
票
1回答
168 件の閲覧数
特定の文字列を含む行にフラグを立てる関数を作成したい
下記のデータフレームに対し、
> df = pd.DataFrame({'pref': ['東京都', '神奈川県', '北海道', '埼玉県', '千葉県', '静岡県',
> '長野県'],
> 'city' : ['渋谷区', '横浜市', '函館市', '浦和市', '浦安市' , '浜松市', '岡谷市']})
"...
4
票
1回答
103 件の閲覧数
Pythonでデータフレームをエクセル出力する際、説明文を入れたい
データフレームが複数個あり、to_excelでそれぞれ別のシートに出力しています。
また、各々のデータフレームについてそれぞれ説明文を1行程度入れたいと考えていますが、
説明文の入ったデータフレームをそれぞれ縦結合するとデータが崩れてしまい、うまくいきません。
どのようにすればきれいに説明文を入れることができますでしょうか。
よろしくお願いいたします。
3
票
1回答
81 件の閲覧数
データフレームの2列から辞書を作る際、keyが重複しているのでvalueをリスト化する方法
データフレームから
dic1 = dict(zip(df['pid'], df['nid']))
を使って辞書を作りたいのですが、
pidに重複があるためうまくいきません。(おそらく上書きが起こっています。)
(pid, nid) = {'8':'11', '8':'19'}
の際はkeyが重複していればvalueがリストになるように、
この場合だと{8:[11,19]}
のようにしたいです。
(...
2
票
1回答
900 件の閲覧数
PandasでCSVファイルの読み込みに失敗してしまう
macでpythonからcsvを読み込む場合はどのように設定すれば良いでしょうか?
下記のようなコードを作成しましたが、実行するとエラーが表示されます。
コード
import pandas as pd #pandasをpdとしてインポート
df = pd.read_csv("/Users/ha/Desktop/tati.csv", encoding="utf-8_sig")
print (...
3
票
1回答
114 件の閲覧数
pd.read_sql()ですべて文字列で読むことは可能か
Pythonで
import pandas as pd
import pandas.io.sql as psql
のもと、pd.read_sql()でdtype=objectの実行(もしくはそれに類する操作)は可能でしょうか。
マニュアル的なページを見たのですが、特に記述がありませんでした。
これはそういう機能は存在しないということでよろしいでしょうか。
0
票
1回答
627 件の閲覧数
エクセルで数値以外(文字、空白行等)の行を削除したい
Pythonでエクセルの数値以外(文字、空白行等)の行を削除したいのですが、
どのようにすればよいでしょうか?
空白行の削除だけならば、以下のコードでなんとか実現できたのですが、
文字や記号などを含む行削除方法がなかなかネットでも見つかりません。
ご存じの方、ご指導頂ければありがたいです。
よろしくお願いいたします。
■空白行の削除
df = pd.read_excel('target+...
0
票
0回答
75 件の閲覧数
0
票
0回答
78 件の閲覧数
Pythonで生成したdataframeを呼び出したい
Tkinterにより読み込んだ複数のファイルをそれぞれ(i番目の)Dataframeに格納するプログラムを作成したのですが、それぞれのDataframeにアクセスする方法が知りたいです。
例えば print(i番目のDataframe) などの動作を想定しております。i 番目のDataframeを宣言する方法を教えてください。
import pandas as pd
import tkinter
...
1
票
1回答
61 件の閲覧数
pandasのヘッダが数字になってしまったときの対処法
cross = pd.crosstab(x["id"], x["flag"])
として以下のデータフレームが生成されました。
「9」列が0でないものに絞りたいのですが、
cross
Out[1]:
flag 1 2 3 4 5 9
id
10001 1 0 1 0 2 0
10002 1 0 0 0 1 0
...
0
票
1回答
241 件の閲覧数
fill_betweenでwhereを認識させたい
plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?)
知っている方はぜひ教えていただけると助かります。
import matplotlib.pyplot as plt
import numpy as np
f1 = np.loadtxt(filepath1)
f2 = np.loadtxt(...
0
票
1回答
178 件の閲覧数
pandasで1つ前の日付との相関をとるには
以下の様に、消費カロリーが翌日の体重の変化と関係する場合、
相関の計算時は、同一時刻ではなく、
別々の時刻となるかと思うのですが、
どの様にDataframeを定義すればいいのでしょうか??
(dataframeを定義し、df.corrで相関を計算する想定)
通常だと、pd.dataframe(table[['消費カロリー,'体重']])みたいに定義し、
df.corrで出ると思うのですが、...
3
票
2回答
145 件の閲覧数
pandas における index 番号と対象列を別データフレームとして指定してのデータフレーム変換
pandasのデータフレームで変換するためのプログラムを書こうと試みていますが、うまくいきません。
masterという名前のデータフレームにidごとにどの変数をどう上書きするか、の対応が入っています。
id,上書き列名,上書き文字列
1,x2,ああああ
2,x4,いいい
dfというデータフレームをmasterの対応を用いて変換したいです。
(ちなみにdfの全サンプルを変換するのではなく、...
2
票
2回答
131 件の閲覧数
Pandasデータフレームで特定行を削除する方法
(購買データの前処理に関するご質問です)
同「id」「購入日」「店舗」「商品」「売上タイプ」ごとに連番を振った、下記データフレームがあるのですが、
df = pd.DataFrame({'id': ['111', '111', '111', '111', '111', '222', '222', '222', '333', '333', '333', '333', '333'],
...
0
票
1回答
63 件の閲覧数
Pandasにおいて、IDでグループ化してからデータ削除を行いたい
Pandasで以下のdfを処理しようとしています。A列(ID)が同じデータのうち、E列において、後ろに0がない1の値が不要であり、削除したいです。つまり、13、14行目はA列(ID)が3であり、ID=3において後ろにE列の値に0がないので削除したいです。(21行目のID=5においても同様)
初心者にもわかりやすい方法があればご教示いただけますでしょうか。
A B C D E ...
1
票
1回答
64 件の閲覧数
データフレームの転置方法
Pandasのデータフレームで、軸を指定して転置する方法がありましたらご教示いただけませんでしょうか?
具体的には、下記データフレーム(「ID」「year」別に「金額」「個数」を集計したもの)を、
df = pd.DataFrame({'id': ['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
'year': ['...
2
票
1回答
133 件の閲覧数
Pandasを使ってCSVの内容を出力するコードで、日本語で書いたヘッダーの部分と数値の位置がずれてしまう
csvとして保存したデータをpandasを使ってPythonで出力するコードを書きました。
しかし、いざ結果を出力してみると日本語で書いたヘッダーの部分と数値の位置がずれてしまいます。
触っているうちにわかったことは、ヘッダーを英語でcsvのヘッダーを英語で入力するときれいに揃った表ができるということです。ヘッダーを日本語できれいにそろえることはできませんか?...
2
票
1回答
56 件の閲覧数
pandasで少し複雑なデータの選択を行いたい
Pandasでデータ処理をしています。以下のデータセット(df)で、 A列(IDです)の値が2の行ではE列の値が1のみ(0が存在しない)4の行ではE列の値が0のみ(1が存在しない)です。このようなデータから、E列の値が0と1の両方を含むデータだけを取り出したいです。(A列が2と4の行を削除して、A列が1、3、5の行だけを残したいです。)
何か良い操作があればご教示くださいませんか?
A ...
1
票
1回答
122 件の閲覧数
データフレームのnanとNoneの比較
PythonのPandasで、2つのデータフレームraw1, raw2があり、raw1のx1,x2とraw2のy1,y2を比べて違うもの(x1!=y1 or x2!=y2)のみを出力したいと考えていますが、片方は欠損値がnan, もう一方はNoneになっており、比較ができなくて困っています。
raw1 = raw1.where((pd.notnull(raw1)), None)
として、...
2
票
1回答
101 件の閲覧数
Pandasで、飛び飛びの列番号を連番にしたい。
Pandasでデータの処理をしています。 A列がIDで、同じ数字が連続したり 、飛び飛びになっていたりします。
A列の同じ数字はそのまま、飛んでいる数字の隙間を埋めるのに効果的な操作はあれば教えて頂けませんか?
A B C D E F
1 1 0 0 0 4 1163.7
2 1 0.8 0.8 2.2 0 0
3 1 0....
0
票
1回答
68 件の閲覧数
Pandasで行の削除をしたい
以下のようなデータをPandasで扱っており、A列が連番になるように行を削除したいです。
(2-13行目、15-21行目を削除してA列の数字が1,2...になるようにしたいです。)
良い方法があればご教示くださいませんか?
対象のデータ:
A B C D E F
1 1 0 0 0 4 1163.7
2 1 0.8 0.8 2.2 0 ...
0
票
1回答
1,706 件の閲覧数
pythonのpandasを使用したcsvデータの列の追加
pythonのpandasを使用して元のcsvファイルの特定の列(detime)を読み込み、既存のcsvファイルに追記したいと考えております。
default_list_4.csv (元ファイル)
x,y,botime,detime,eldid,firev
-11321.9,-44284,0.923816,1.03909,1298,100
-11716.1,-46828.7,0.517662,...
0
票
1回答
741 件の閲覧数
Pandasで複数ファイルの結合時にエラー “ValueError: No objects to concatenate”
Pandasで複数のファイルを結合したいと考えております。
下記手順で進めましたが、エラーが出ており、ヘルプいただきたくお願いします。
使用環境はWindows 10、miniconda、jupyterlabになります。
まず下記のコードでファイルが実際認識されているか確認しました。
実行したコード:
import os
path = r'C:\Users\???\anaconda\???\...
0
票
1回答
79 件の閲覧数
Pandasで複数のファイルを結合したい
Pandasで複数のファイルを結合したいとかんがえております。
import pandas as pd
import glob
csv_files = glob.glob('*.csv')
list = []
for file in csv_files:
list.append(pd.read_csv(file))
df = pd.concat(list)
df.to_csv(“total....
2
票
2回答
67 件の閲覧数
pandasの表の処理方法に悩んでいます
pythonのpandasを使ったデータ加工方法で悩んでおります。
どなたかご教授お願いいたします。
以下のようなデータを加工したいです。
このデータを
import pandas as pd
pd.DataFrame([[1,'ame', 30,'hare',40],[2,'kumori', 20,'kosame',30]], columns=['id','today_tenki', '...
1
票
1回答
106 件の閲覧数
pandasで欠損により小数点がつく問題を回避したい
psycopg2でデータベースからSQLでデータを取得し、データフレーム化していますがその際欠損のあるbigint列がfloatになってしまいます。
Pandasで加工した後、DBに戻したいと考えているのですがfloatだとエラーが出てしまいます。
ERROR: invalid input syntax for type bigint
整数値でも .0 となっているのが原因のようです。
...