[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
357
質問
0
票
1
回答
128
閲覧数
Pythonで特定の列を抽出しメールで送信する
csvの日付と内容の列だけを抽出し、昨日の日付だけが含んだ列だけを抽出しメールを送信したいです。
下記のコードで記載しましたが、エラーが発生します。
ilocではdataframeがemptyだとエラーになるからだと思います。
① csvの 特定の列 だけを抽出した pandasのDataFrame を作成する
② 昨日の列だけを抽出する
③ 作成したDataFrameの 1行目と2行目(...
0
票
1
回答
491
閲覧数
PythonでCSVから特定の列を読み込みメール送信 [クローズ済み]
Pythonで下記の条件でメールを送信したいです。
① csvの 特定の列 だけを抽出した pandasのDataFrame を作成する
② 作成したDataFrameの 1行目と2行目(indexは0と1) に対して③~⑤の処理を行う
③ 処理対象行の 各列の列名とデータを抽出してそれぞれに改行コードを付加し、連結する
④ 抽出・連結した各列名+データを、さらに改行コードで連結する
⑤ ...
0
票
3
回答
134
閲覧数
Python 3.8.5 seriesでの正規表現を用いた文字列検索について
tpye を見ると <class 'pandas.core.series.Series'> というデータになっています。
このデータに含まれる文字列検索をしたいと思っています。
match = Series_data[Series_data == "F:\\"]
とやると、目的の結果が得られています。(今のところそう見える)
実際には、...
0
票
0
回答
146
閲覧数
pandas 1.2.0 で、行ごとの加算値を求めたい
pythonのpandasで、ゼロ列目(行名)が日付になって、1列目以降は整数データのみのデータフレームなのですが、いままでは、
df['加算結果'] = df.sum(axis=1)
という具合に日にちごと(=行ごと)の加算値が計算できていました。
最近、pandasをアップデートしたことが問題らしく、
TypeError: Addition/subtraction of integers ...
0
票
2
回答
92
閲覧数
リストを作るときに、必要な要素数になるまで回したい
データセットを作成したい。そこで以下のコードに改良を加えたい。
コードで計算されているDisが、1<Dis<2の間に収まるようにしたい。
つまり、それ以外の値を取るDisの行の組み合わせは捨てたいです。
しかし、最終的に得られるP_sample_2のデータは10×6の行列になるようにしたい。
どのように考えるのがよいでしょうか?
P_sample = []
PP_sample = []
...
0
票
1
回答
1,087
閲覧数
CSV ヘッダーの追加と列名の順番変更について
Pythonで既存のcsvにヘッダーの追加と列名の順番変更を行いたいです。
データ毎回不定期に変わります。下記の①〜③条件で変わります。
①既存のCSV 順番の変更
A B C D E F
test1 test2 test3 test5 test4 test6
②既存のCSV D,Fの列がない時
A B C ...
1
票
1
回答
2,328
閲覧数
pandasでグループごとの箱ひげ図を作る方法
pandasにて、下のようなデータを写真のような箱ひげ図で表すにはどうすればよいですか?
import numpy as np
import pandas as pd
df = pd.DataFrame({
'group':np.random.choice(['A','B','C'], 10),
'test1':np.random.randint(1, 100, 10),
...
1
票
1
回答
1,136
閲覧数
pandasの読み込みでエラー
csvファイルを読み込むためにpandasを使いたいのですが、エラーが発生します。
ソースコード(エラーと関係なさそうな部分は省略しています)
import numpy as np
import cv2
import math
import os
import csv
import pandas as pd
def main():
width = 320
height = ...
0
票
2
回答
623
閲覧数
pandas で標準入力からデータ読み込む方法
pandas で標準入力 (STDIN) から read_csv のように読み込むこと可能でしょうか?
STDIN を変数に入れて、それを stringIO にして読み込むのは可能なのですが、もっとスマートにやる方法はないでしょうか?理想としては、jupyter 環境でストリーム(標準出力など)を設定して、次に、そのストリームをpandas で読み込むようなことをしたいです。
0
票
1
回答
147
閲覧数
クロス表で集計軸(columns)を水平方向に複数並べる方法。
【質問文修正】
「stock_a」と1つの変数を軸にした集計表の出力はできましたが、
例えば「stock_a」「industry_a」等、複数の変数を同じレベルで並べた集計表の出力ができません。どのようなコードが適切でしょうか。
コード
import pandas as pd
df = pd.DataFrame({
'id':['id00001','id00002','id00003','...
0
票
2
回答
1,236
閲覧数
Pandasでif文に2つ以上の条件が入る変換
x1,..,y14
abc, ..., -
のようなデータフレームdfがあります。
x1 == 'abc' かつ y14 == '-' ならば y14 = '★'のような変換をしたいと考えております。
def henkan(x):
if x == abc:
return '★'
df.y14 = df.y14.apply(henkan)
...
0
票
1
回答
68
閲覧数
dropna(axis=1)とdropna(axis=0)で出力された内容が同じになるのはなぜですか?
pandasのdropnaについて質問です。一通りpandasなどをインポートした後に
今、df1のような欠損値ありのExcalデータを作って、試しています。
データは以下の通りです。
[In]
df1=pd.read_excel('mo.xlsx')
print(df1)
[Out]
T A B C
0 2 2.0 5.0 1.0
...
1
票
1
回答
235
閲覧数
pandasの重複したデータの更新
pandasで.jsonファイルを読み取り、データの更新をして保存するコードを書いています。
以下のような二つのデータフレームがあり、連結し、
重複したデータが出ないように果物と店の列を重複したものを
df.drop_duplicates(subset=['fruit', 'store'])で削除しています。
df1 = pd.DataFrame({'fruit':['apple', '...
0
票
2
回答
160
閲覧数
pythonで日付リストから、ある月の出現頻度を取得する方法
以下のような日付データがあります。
DatetimeIndex(['2019-06-05', '2019-06-14', '2019-06-24', '2019-07-03',
'2019-07-30', '2019-07-31', '2019-08-06', '2019-08-28',
'2019-09-03', '2019-09-26'...
0
票
0
回答
143
閲覧数
Pandasでカラム名がどうしても小文字で出力される際の対処
pandasのデータフレームdfで最終id、という名前のカラムがあり、
df.rename(columns = {'最終id':'最終ID'})
とリネームしても出力物では小文字のidに戻ってしまいます。
どのようにすれば回避できますでしょうか。
よろしくお願いいたします。
実行環境
Windows 10
Python 3.7
0
票
1
回答
271
閲覧数
Python の正規表現で特定の文字列を抽出する関数の定義
下記のように、URLを格納したデータフレームがあります。
こちらに、特定のパラメータの値を抽出し、新しい列を作って代入したいと考えています。
df = pd.DataFrame({'ulr' : ['https://www.shop.jp/shop/pro_source=google&pro_md=list_1&pro_cp=sweets_&gclid=?...
1
票
1
回答
1,022
閲覧数
特定の文字列を含むかを判定する関数の定義
下記のURLを格納したデータフレームに対し、特定の文字列に【完全一致する場合】【部分一致する場合】【NULLの場合】【それ以外】かを判定して、フラグを作成したいと考えています。元のデータフレームは、下記の通りです。
df = pd.DataFrame({'full_url': ['https://www.ABCDec.jp/shop/default.aspx', 'https://www....
1
票
1
回答
1,461
閲覧数
特定の文字列を含む行にフラグを立てる関数を作成したい
下記のデータフレームに対し、
> df = pd.DataFrame({'pref': ['東京都', '神奈川県', '北海道', '埼玉県', '千葉県', '静岡県',
> '長野県'],
> 'city' : ['渋谷区', '横浜市', '函館市', '浦和市', '浦安市' , '浜松市', '岡谷市']})
"...
1
票
1
回答
369
閲覧数
Pythonでデータフレームをエクセル出力する際、説明文を入れたい
データフレームが複数個あり、to_excelでそれぞれ別のシートに出力しています。
また、各々のデータフレームについてそれぞれ説明文を1行程度入れたいと考えていますが、
説明文の入ったデータフレームをそれぞれ縦結合するとデータが崩れてしまい、うまくいきません。
どのようにすればきれいに説明文を入れることができますでしょうか。
よろしくお願いいたします。
0
票
1
回答
672
閲覧数
データフレームの2列から辞書を作る際、keyが重複しているのでvalueをリスト化する方法
データフレームから
dic1 = dict(zip(df['pid'], df['nid']))
を使って辞書を作りたいのですが、
pidに重複があるためうまくいきません。(おそらく上書きが起こっています。)
(pid, nid) = {'8':'11', '8':'19'}
の際はkeyが重複していればvalueがリストになるように、
この場合だと{8:[11,19]}
のようにしたいです。
(...
1
票
1
回答
747
閲覧数
pd.read_sql()ですべて文字列で読むことは可能か
Pythonで
import pandas as pd
import pandas.io.sql as psql
のもと、pd.read_sql()でdtype=objectの実行(もしくはそれに類する操作)は可能でしょうか。
マニュアル的なページを見たのですが、特に記述がありませんでした。
これはそういう機能は存在しないということでよろしいでしょうか。
0
票
0
回答
105
閲覧数
過去ログ、ヒストリーを確認したい
python spyder の過去ログ、ヒストリーを確認したい。前回やったコマンドと結果の記録がない。
0
票
1
回答
283
閲覧数
得られたデータ(deque)を書式に合わせてcsvに出力したいです.
現在,筋電センサを用いて動作推定するプログラムを作っているのですが,個人学習する際に得られるデータをトーレーニングデータの書式(csv)と同じようにcsvに出力したいと考えています.使用している筋電センサは8電極あり,8行1列の行列値でデータが取得できます.
例 deque([160067619223897, [-12, 13, 2, 4, 1, 4, 0, 0])のような形式で表示されます.
...
0
票
0
回答
159
閲覧数
Pythonで生成したdataframeを呼び出したい
Tkinterにより読み込んだ複数のファイルをそれぞれ(i番目の)Dataframeに格納するプログラムを作成したのですが、それぞれのDataframeにアクセスする方法が知りたいです。
例えば print(i番目のDataframe) などの動作を想定しております。i 番目のDataframeを宣言する方法を教えてください。
import pandas as pd
import tkinter
...
0
票
1
回答
192
閲覧数
pandasのヘッダが数字になってしまったときの対処法
cross = pd.crosstab(x["id"], x["flag"])
として以下のデータフレームが生成されました。
「9」列が0でないものに絞りたいのですが、
cross
Out[1]:
flag 1 2 3 4 5 9
id
10001 1 0 1 0 2 0
10002 1 0 0 0 1 0
...
1
票
2
回答
423
閲覧数
pandas における index 番号と対象列を別データフレームとして指定してのデータフレーム変換
pandasのデータフレームで変換するためのプログラムを書こうと試みていますが、うまくいきません。
masterという名前のデータフレームにidごとにどの変数をどう上書きするか、の対応が入っています。
id,上書き列名,上書き文字列
1,x2,ああああ
2,x4,いいい
dfというデータフレームをmasterの対応を用いて変換したいです。
(ちなみにdfの全サンプルを変換するのではなく、...
1
票
2
回答
418
閲覧数
Pandasデータフレームで特定行を削除する方法
(購買データの前処理に関するご質問です)
同「id」「購入日」「店舗」「商品」「売上タイプ」ごとに連番を振った、下記データフレームがあるのですが、
df = pd.DataFrame({'id': ['111', '111', '111', '111', '111', '222', '222', '222', '333', '333', '333', '333', '333'],
...
1
票
1
回答
118
閲覧数
データフレームの転置方法
Pandasのデータフレームで、軸を指定して転置する方法がありましたらご教示いただけませんでしょうか?
具体的には、下記データフレーム(「ID」「year」別に「金額」「個数」を集計したもの)を、
df = pd.DataFrame({'id': ['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
'year': ['...
0
票
1
回答
86
閲覧数
Pandasにおいて、IDでグループ化してからデータ削除を行いたい
Pandasで以下のdfを処理しようとしています。A列(ID)が同じデータのうち、E列において、後ろに0がない1の値が不要であり、削除したいです。つまり、13、14行目はA列(ID)が3であり、ID=3において後ろにE列の値に0がないので削除したいです。(21行目のID=5においても同様)
初心者にもわかりやすい方法があればご教示いただけますでしょうか。
A B C D E ...
0
票
1
回答
68
閲覧数
pandasで少し複雑なデータの選択を行いたい
Pandasでデータ処理をしています。以下のデータセット(df)で、 A列(IDです)の値が2の行ではE列の値が1のみ(0が存在しない)4の行ではE列の値が0のみ(1が存在しない)です。このようなデータから、E列の値が0と1の両方を含むデータだけを取り出したいです。(A列が2と4の行を削除して、A列が1、3、5の行だけを残したいです。)
何か良い操作があればご教示くださいませんか?
A ...
1
票
1
回答
271
閲覧数
Pandasで、飛び飛びの列番号を連番にしたい。
Pandasでデータの処理をしています。 A列がIDで、同じ数字が連続したり 、飛び飛びになっていたりします。
A列の同じ数字はそのまま、飛んでいる数字の隙間を埋めるのに効果的な操作はあれば教えて頂けませんか?
A B C D E F
1 1 0 0 0 4 1163.7
2 1 0.8 0.8 2.2 0 0
3 1 0....
0
票
1
回答
112
閲覧数
Pandasで行の削除をしたい
以下のようなデータをPandasで扱っており、A列が連番になるように行を削除したいです。
(2-13行目、15-21行目を削除してA列の数字が1,2...になるようにしたいです。)
良い方法があればご教示くださいませんか?
対象のデータ:
A B C D E F
1 1 0 0 0 4 1163.7
2 1 0.8 0.8 2.2 0 ...
1
票
2
回答
3,269
閲覧数
Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2
複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。
1、データの確認をしました
import pandas as pd
file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv"
df1 = pd.read_csv(file_path, ...
0
票
1
回答
273
閲覧数
データフレームのnanとNoneの比較
PythonのPandasで、2つのデータフレームraw1, raw2があり、raw1のx1,x2とraw2のy1,y2を比べて違うもの(x1!=y1 or x2!=y2)のみを出力したいと考えていますが、片方は欠損値がnan, もう一方はNoneになっており、比較ができなくて困っています。
raw1 = raw1.where((pd.notnull(raw1)), None)
として、...
0
票
1
回答
4,562
閲覧数
Pandasで複数ファイルの結合時にエラー "ValueError: No objects to concatenate"
Pandasで複数のファイルを結合したいと考えております。
下記手順で進めましたが、エラーが出ており、ヘルプいただきたくお願いします。
使用環境はWindows 10、miniconda、jupyterlabになります。
まず下記のコードでファイルが実際認識されているか確認しました。
実行したコード:
import os
path = r'C:\Users\???\anaconda\???\...
0
票
1
回答
197
閲覧数
Pandasで複数のファイルを結合したい
Pandasで複数のファイルを結合したいとかんがえております。
import pandas as pd
import glob
csv_files = glob.glob('*.csv')
list = []
for file in csv_files:
list.append(pd.read_csv(file))
df = pd.concat(list)
df.to_csv(“total....
0
票
2
回答
94
閲覧数
pandasの表の処理方法に悩んでいます
pythonのpandasを使ったデータ加工方法で悩んでおります。
どなたかご教授お願いいたします。
以下のようなデータを加工したいです。
このデータを
import pandas as pd
pd.DataFrame([[1,'ame', 30,'hare',40],[2,'kumori', 20,'kosame',30]], columns=['id','today_tenki', '...
0
票
1
回答
4,002
閲覧数
pandasで欠損により小数点がつく問題を回避したい
psycopg2でデータベースからSQLでデータを取得し、データフレーム化していますがその際欠損のあるbigint列がfloatになってしまいます。
Pandasで加工した後、DBに戻したいと考えているのですがfloatだとエラーが出てしまいます。
ERROR: invalid input syntax for type bigint
整数値でも .0 となっているのが原因のようです。
...
1
票
1
回答
128
閲覧数
Dataframeにネストした辞書を一つずつ追加していく方法
下記1、2の処理で辞書をDataframeに一行ずつ追加していく方法を教えてください。
下記ocのvalueを更新
oc_dfに一行ずつvalueを追加
1、2を繰り返してoc_dfを更新
oc_dfに追加する行はリングバッファのように更新して最大10行としたいのですが中々うまくいきません。
PTPSYNC = "hoge"
SWD1 = "delay"
...
2
票
1
回答
897
閲覧数
Pandasを使ってCSVの内容を出力するコードで、日本語で書いたヘッダーの部分と数値の位置がずれてしまう
csvとして保存したデータをpandasを使ってPythonで出力するコードを書きました。
しかし、いざ結果を出力してみると日本語で書いたヘッダーの部分と数値の位置がずれてしまいます。
触っているうちにわかったことは、ヘッダーを英語でcsvのヘッダーを英語で入力するときれいに揃った表ができるということです。ヘッダーを日本語できれいにそろえることはできませんか?...
0
票
1
回答
326
閲覧数
Pandasで文字列に対して関数を適用したい
Python3.7です。
df['cnt'] = df.x1.count('$')
として、x1列(文字列)に出てくる$の回数を数えた列を作ろうと考えていますが、
KeyError: 'Requested level ($) does not match index name (None)'
とエラーが出てしまいます。
どう対処すればよろしいでしょうか。
追記
df.x1.str.count('...
1
票
2
回答
282
閲覧数
年齢を区間ごとにダミー変数化したい
初めまして、Pythonおよびデータ分析初心者です。主にPandasとNumpy,Sklearnを使ってkaggle等のコンペに挑戦している最中の者です。
データセットをロジスティック回帰によって分析したいのですが、質的データであればpd.getdummies()で簡単にダミー変数を作ることができることを最近学びました。...
0
票
1
回答
736
閲覧数
時系列データで、時間の歯抜けと欠損のあるデータを処理したい
時系列で、1時間ごとに以下のような形式でデータの入っているものがあります。
datetime on_off
2020-05-31 11:31 00000000000000000000000000000
2020-05-31 12:00 ...
3
票
2
回答
118
閲覧数
pandasの2次元配列から、1の値が入っている行、列番号を列挙する方法
2値の値が入っているnumpy arrayがあります。
そのarrayから1の値が入っている行と列番号を列挙したいです。
イメージ
以下のようなdataframeデータがあるとします
df = pd.DataFrame(np.array([[0,0,1],[1,0,1],[4,0,1]]))
df.index = [0, 1, 4]
これは以下のような表になると思います。
...
0
票
1
回答
952
閲覧数
pandasでcsvファイルを読み込むとinvalid character in identifier
resasからダウンロードした人口データcsvファイルをpandasに読み込みたいが、
以下のエラーメッセージが発生した。
df File "<ipython-input-13-5abd90abec15>", line 4
df = pd.read_csv(url, encoding="SHIFT-JIS")
...
0
票
1
回答
1,223
閲覧数
DataFrame からタイムゾーンを削除したいがうまくいかない
以下の DataFrame があります。
install_t
0 NaT
1 2020-03-28 19:31:22.159174+09:00
2 NaT
3 2019-12-31 10:38:38.165566+09:00
4 ...
0
票
1
回答
132
閲覧数
MultiindexなSeriesを表形式に変換する方法
以下のようなデータがあります。
sample code:
import pandas as pd
arrays = [np.array(['bar', 'bar', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux']),
np.array(['one', 'two', 'one', 'two', 'one', 'two', 'one', '...
0
票
1
回答
98
閲覧数
Pandasで予め商品ごとのメーカーリストを使用し、仕入れリストの商品詳細からメーカーを特定・自動入力したい。
Pandasにて以下の処理を行いたいです。
DataFrame1
DataFrame1 は仕入れリストです。
A, B, C, D は商品名とします。
%は関係ない文字・数字とします
DataFrame 2
<実行したいこと>
①DataFrame1に、"Marker"という列を追加します。
②DataFrame1の"Product_Description&...
0
票
1
回答
424
閲覧数
json_normalize を使用してDFを作成したいのですが、keyエラーになってしまう。
以下のようにJSONファイルを読み込んでDFにしようすると「keyerror」になってしまいます。
なぜでしょうか。
元のJSONファイルは以下です。
[
{
"creat_at": "2020-04-26T12:55:58+0900",
"pay_id": "E86F0CD0B346",
"pay": {
"a":...
0
票
1
回答
342
閲覧数
pandasで列を選択する際、startswithやendswithと同じ操作を使いたい
Pandasで条件に当てはまる列だけ同じ変換をしたい
という質問を以前させていただき、回答をいただきましたがcontainsではなくstartswithやendswithのパターンの際は正規表現を利用する以外にやり方はありますでしょうか。
同じような質問になるかもしれませんが、
SASでのkeepはRやPythonではどのように書くのか
のように、データフレーム上の列を選択して少なくしたいとき、...