[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
58
未回答やベストアンサーなし質問
2
票
1
回答
125
閲覧数
DataFrame/Seriesの欠損値を定数で補完するとき、内挿のみに指定したい
DataFrame/Seriesの欠損値を、定数で補完したいのですが、内挿[limit_area='inside']を指定する方法ありますでしょうか?
両端の欠損値はそのまま補完しないようにしたいです。
import pandas as pd
series = pd.Series(data=[ None, 20, None, 40, None ], index=[ 'aa', 'bb', 'cc'...
2
票
1
回答
1,813
閲覧数
object 型データから int 型への変換でエラーが発生する
csvで読み込んだデータがobject型として読み込まれてしまい、int型への変換を実施したところ添付のようなエラーでつまずいてしまっております。
色々やり方は調べたのですがどうしても解決できないため、解決方法を教示いただけると幸いです。
おそらく空欄が影響してしまっているのでreplaceでnp.NaNにした上でastypeにてint型変換をかけたのですがうまくいっていない状況です。
...
2
票
1
回答
118
閲覧数
gurobi からpyomoへの変換
pythonでgurobiからpyomoへ二次制約付き問題であるため、変更したいのですがやり方がわからなくて困っています。
from gurobipy import *
import pandas as pd
import numpy as np
import csv
from pyomo.environ import SolverFactory
opt = SolverFactory("...
1
票
3
回答
148
閲覧数
CSVファイル内の時系列データを1秒区切りで平均化するコードを書いているのですがエラーの解消方法を知りたいです
前提
各列にTIME(データ取得日時)、測定値が格納されたCSVファイルを読み込んで、1秒毎に平均化してCSVファイルに出力したいです。
コードを書いてみたのですがエラーが出てしまい対処方法が分からないので教えて頂けるとありがたいです。
下記は使用するCSVデータで名称は「test.csv」です。
[LOGGING],RD81DL96_1,2,3,4
DATETIME[YYYY/MM/DD hh:...
1
票
2
回答
5,277
閲覧数
Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2
複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。
1、データの確認をしました
import pandas as pd
file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv"
df1 = pd.read_csv(file_path, ...
1
票
0
回答
917
閲覧数
AttributeError: module 'pandas' has no attribute 'read_csv' の対処法
以下のコードでcsvを読み込もうとしたら、題名の通りエラーが出てしまいます。
実行したコード
import pandas as pd
x = pd.read_csv("wine-R.csv")
エラーメッセージ
AttributeError: module 'pandas' has no attribute 'read_csv'
確認したこと:
・カレントディレクトリ内にpandas....
1
票
1
回答
609
閲覧数
pandas-highcharts でグラフが描画されない
実現したいこと
取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。
該当のソースコード
from pandas_highcharts.display import display_charts
df = ... # ...
1
票
0
回答
164
閲覧数
GCPのVMインスタンス上でImportError: No module named 'pandas' エラーが発生します
▼前提
GCP上のVMインスタンスにPython3.6の環境を構築し、pip3でpandas,numpy,sklearnなどのモジュールをインストールしました。
▼事象
しかし、import pandas を実行すると、
[Tue Dec 24 09:09:11.447228 2019] [cgi:error] [pid 19982] [client 34.84.154.183:35282] ...
1
票
0
回答
58
閲覧数
ilocを使用した際のindex値の抽出
以下の様にilocでデータを抽出した場合、
そのindex値を取り出す(2010-03-09)を取り出す方法はありますか?
data.iloc[2500]
Open 925.69
High 927.79
Low 923.60
Close 924.38
Name: 2010-03-09 00:00:00, dtype: float64
data.iloc[2500]...
0
票
0
回答
114
閲覧数
VSCode上のJupyter Notebookで、sklearn配下のメンバーを呼び出そうとすると静的解析ではエラーが出るけど実行できる
質問者はPython初心者です。パッケージ本体のこともあんまりわかってません。
状況
Pythonを使ったデータ分析関連。Pandas-Profilingを使おうとしてます。
Pandas-Profilingに渡すデータを作るのにsklearnを使おうとしたんですが、そこでpylanceがエラーを吐く。でも、実行できます。
と、思ったら、実際にPandas-...
0
票
2
回答
140
閲覧数
pandas dataframeはなるべく使いまわしたほうが良いのでしょうか?
pandasに限らないと思うのですが、大きなサイズのdataframeを扱う場合、加工後は代入して使いまわしたほうが良いのでしょうか?
df = df.drop()
または
df2 = df.drop()
補足
代入したほうがガベージコレクションによってメモリを開放してくれるのかなと思いました。
0
票
1
回答
475
閲覧数
for文を使用して連続的にファイルを読み込みたい
pandasの read_text_file = pd.read_csv() を使用してテキストファイルを読み取っているのですが、ファイルが数百あるので連続的にfor文を使用して文中でテキストファイル名を変更して自動化できないかと考えています。
そこで、下記のコードのように試作として for i in range(1, 4): で i という変数を1~3まで連続的に変化させて、その次の行にある ...
0
票
1
回答
874
閲覧数
pandas groupby で集計を行った列の列名
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧金','鎧銀'],
'カテゴリ':['戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','外部有識者','管理者','...
0
票
2
回答
105
閲覧数
relativedelta使用時のilocについて
ilocについて教えてください。
for i in range(len(predict_data)): とした場合、i に入るのは整数なので、.iloc[i] とすべきだと思ったのですが、解答では iloc を使わず、下記のようになっておりました。
なぜ、iloc 省略なのでしょうか。
できれば初学者用に分かりやすく教えていただけると幸いです。
よろしくお願いいたします。
for i in ...
0
票
2
回答
276
閲覧数
エクセルから読み込んだ数値データが形が変わって出力される
エクセルから読み込んだ数値データをvscode上で表示すると、小数点まで表示される。
例えば2という値だと、2.0と表示される。こちらを小数点を抜きにしたいと考えています。0001が1.0と表示されるのを0001のまま出力したい。
・エクセルデータの値をそのまま出力したい
・vscode上の出力[.0]を表示されないようにしたい。
どちらもExcelの設定の問題であれば、...
0
票
5
回答
402
閲覧数
エクセルのデータを数字か数字以外かでチェックしたい
エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。
条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
0
票
0
回答
134
閲覧数
ハイパーパラメータのチューニングでエラーが発生する
開発環境:
Anaconda
Windows 10
Jupiter labで作業をしています。
ハイパーパラメータチューニングを実行するとエラーが出て、Kernel errorで赤ランプがつき落ちてしまいます。
lgb_train = lgb_o.Dataset(X_train.values, y_train.values)
lgb_valid = lgb_o.Dataset(X_valid....
0
票
0
回答
154
閲覧数
x軸のラベルがdatetimeの日付形式のまま出力されてしまう
概要
csvデータからmatplotlibを使用し、棒グラフを作成しているのですが
日付形式がdatetimeの型のまま出力されてしまいます。(yyyy-mm-dd hh:ss:mm)
出力されているデータ自体は問題ないのですが、x軸のラベルだけ修正したいと考えてます。(yyyy/mm/ddに変えたい。)
試してみたこと
csvデータを読み込んで、、とありますが元データはExcel形式となります。
...
0
票
0
回答
94
閲覧数
Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい
Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて
CSVで出力したいと考えています。
Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら
教えていただけますと幸いです。以下が試したことになります。
1.Big queryにテーブルstringsA, strinsBを2つ作成
stringsA
id
name
...
0
票
1
回答
580
閲覧数
DataFrameセル内のリストを列方向に展開したい
今、以下のような各セルにリストが入ったDataFrameがあります。
import pandas as pd
df = pd.DataFrame(
{'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]},
index=[1, 2, 3])
このDataFrameを以下のように加工をしたいです。
x1, x2 ...
0
票
1
回答
620
閲覧数
pandasのデータフレームをスプレッドシートへ反映したい
スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。
やりたいこと
データフレームをスプレッドシートの最下部に追加したい
コード:
import pandas as pd
import gspread
import csv
import json
from oauth2client.service_account ...
0
票
1
回答
64
閲覧数
Pythonのデータ結合についての質問です。
Pythonのデータ結合についての質問です。
seriesに対し、日付をkeyにしてdf1を左外部結合するやり方を教えていただけませんか。
series=pd.series ([‘1/1’,’1/2’,…..’1/10’],name=‘日付’)
df1=pd.DataFrame ({‘日付’:[‘1/1’,’1/2’,…..’1/7’], {‘天気’:[‘晴れ,’’曇り’,…..’曇り’]})
0
票
0
回答
939
閲覧数
pandasでエクセル読み込み時のエラーの解決方法を教えてください
pandasでエクセル(xlsx)を読み込んでcsvファイルを書き出す、というプログラムを作っています。
pandasでエクセルファイル読み込み時にエラーがでるようで、それについて調べてみると pip install xlrd で解決、ということでしたがインストールしても解決しません。
コマンドプロンプトを開いて python test.py でプログラムは動きます。
しかし、test....
0
票
2
回答
127
閲覧数
pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい
pandasの縦方向の計算が苦手で、教えていただければと思います。
シミュレーション用のデータを作成したいと考えているのですが、顧客ごとに、5つの行動をします。その5つの行動によって、顧客の認知レベルが上がるということを想定します。行動1から行動5まであった場合に、顧客ステージを0~5の6段階に分けて、初期状態では、まず顧客ステージが0を入れます。表は時系列になっています。
・顧客ステージが0の時、...
0
票
0
回答
161
閲覧数
pandasguiの表示がウィンドウ内に収まらない
当方pythonをあまり使用した経験がなく、初歩的な質問でしたら大変申し訳ございません。
知っている範囲で検索してみたのですが、解決できずこちらで質問させていただきます。
pandasguiを起動したところ、
以下のようなエラーとともに、起動したアプリの表示が添付の画像のようにアプリ全体がwindow内に収まらない状態となってしまっています。
パッケージのバージョンも確かめて、...
0
票
1
回答
153
閲覧数
pandas.plotにおいてstring indexの場合のvlines()がうまく機能しない
文字列のindexを持つpandas.Dataframeにおいて、縦の補助線を引く場合にindex(x軸)をうまく指定できないです。
plotしたいpandas.Dataframeは以下のようになります。indexがobjectなのは確認できています。
print(df_occ_test.index.dtype)
object
print(df_occ_test)
a ...
0
票
0
回答
183
閲覧数
日本郵便の住所とe-Statの住所を紐づける方法
日本郵便が配布している郵便番号,住所テーブルとe-Statが提供しているshpファイルを用いて郵便番号-緯度経度テーブルを作成したいと考えてます。しかし、日本郵便とe-Statの住所表記に数多くの表記揺れが存在しており、簡単にジョインできない状況です。住所以外に共通するユニークなカラムが存在しないためどのようにすれば上手く結合できるかアイデアをいただきたく思い質問しました。...
0
票
0
回答
250
閲覧数
JSON-LD を Pandas の DataFrame へ変換する方法
JSON-LDで値を返す RESTful API を使って、r = requests.get( <API> ) で受け取った
r の type は <class 'requests.models.Response'> です。
JSON を Pandas DataFrame に変換する のページを見ながら真似してみたのですが、エラーとなってしまいます。
json.loads(...
0
票
0
回答
1,265
閲覧数
Python3.8.3でpandasが使えない
現在VScodeで作業をしているのですが、pandasライブラリがPython3.8.8では使えるのに対し、3.8.3の環境では使えず困っています。ライブラリのインストールはpipコマンドで行いました。
自分なりに調べましたが、pandasのバージョンを変更すべきか再インストールすべきかも分かりませんでした。対処法を教えていただけると幸いです。
エラーメッセージ:
Import "...
0
票
1
回答
78
閲覧数
読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したい
プログラミング初心者です。
読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したいです。
イメージとしては、
ファイル1つ目:2020/01/01 - 2020/04/01
ファイル2つ目:2020/01/01 - 2020/07/01
ファイル3つ目:2020/01/01 - 2020/10/01
など
エラーメッセージは出ないのですが、...
0
票
1
回答
137
閲覧数
Pandasでmode()の結果のみをfor文で取得する方法
以下のコードを実行した結果、最頻値をseries型で取得できたのですが、「大字仲原」や「大字鉄輪」など実際のデータだけを取得するためにはどうすればいいでしょうか?
▼コード
null_stationAreas = df["地区名"].isnull()
for null_stationArea in list(df.loc[null_stationAreas,"最寄駅:...
0
票
0
回答
177
閲覧数
Pandasのdataframeでcsvファイルの値を扱う際の"..."による省略が行われてしまう
以下の写真のように、csvファイルのある値(1枚目)を用いて、関数内で処理を行う際に、長すぎるためか2枚目の写真のように途中から"..."で省略が行われ、それがそのまま値として扱われてしまいます。
3枚目にエラーの内容も載せます。これを解決する方法はあるのでしょうか。
表示に関しては調べたら出てきましたが、自分が悩む問題に関しては関係なさそうでした。
宜しくお願いします。
0
票
0
回答
4,749
閲覧数
import pandas as pdと入れて実行するとNo module named 'pandas'とエラーが出る
Python始めたての初心者です。わからない用語も多く悪戦苦闘しています。
タイトルの通り、import pandas as pd と実行すると No module named 'pandas' とエラーが出てしまいます。
「No module named 'pandas'」でGoogle検索をしたのですが、なかなかどうして対処法がわからず困っています。
お力添えくださいますと幸いです。...
0
票
1
回答
149
閲覧数
csvをheaderとして結合したい
同じ列数を持つcsvを片方をheaderに設定するように結合したい
やってみたこと
header.csv
Columns: [a,b,c] Index: []
axis.csv
Columns: [1,2,3]
[4,5,6]
df=pd.read_csv('header.csv')
df1=pd.read_csv('axis.csv')
df2=pd.concat([df1, ...
0
票
1
回答
697
閲覧数
PythonのStyleFrameでエクセルに上書きせず追記できるようにしたい
StyleFrame を使ってエクセルに上書きせずに保存したいのですがうまく行きません。
試したことは with StyleFrame.ExcelWriter(s_path,mode='a') as writer: です。
これではエラーになってしまって出来ませんでした。
教えていただけたら嬉しいです、よろしくお願いします。
0
票
1
回答
100
閲覧数
pandasで数列の各値を一定区間のstdevを計算してそれで割り算したいとき
いつもお世話になっております。
【背景】
株の価格をpriceに格納して、そのsmaを窓関数を使って以下のように求めてます
sma8 = pd.Series(price).rolling(8).mean().values
sma24 = pd.Series(price).rolling(8).mean().values
【やりたいこと】
概念のようなものを書きます。
sma20_std = ...
0
票
1
回答
144
閲覧数
Pythonで特定の列を抽出しメールで送信する
csvの日付と内容の列だけを抽出し、昨日の日付だけが含んだ列だけを抽出しメールを送信したいです。
下記のコードで記載しましたが、エラーが発生します。
ilocではdataframeがemptyだとエラーになるからだと思います。
① csvの 特定の列 だけを抽出した pandasのDataFrame を作成する
② 昨日の列だけを抽出する
③ 作成したDataFrameの 1行目と2行目(...
0
票
3
回答
278
閲覧数
Python 3.8.5 seriesでの正規表現を用いた文字列検索について
tpye を見ると <class 'pandas.core.series.Series'> というデータになっています。
このデータに含まれる文字列検索をしたいと思っています。
match = Series_data[Series_data == "F:\\"]
とやると、目的の結果が得られています。(今のところそう見える)
実際には、...
0
票
0
回答
215
閲覧数
pandas 1.2.0 で、行ごとの加算値を求めたい
pythonのpandasで、ゼロ列目(行名)が日付になって、1列目以降は整数データのみのデータフレームなのですが、いままでは、
df['加算結果'] = df.sum(axis=1)
という具合に日にちごと(=行ごと)の加算値が計算できていました。
最近、pandasをアップデートしたことが問題らしく、
TypeError: Addition/subtraction of integers ...
0
票
0
回答
311
閲覧数
Pandasでカラム名がどうしても小文字で出力される際の対処
pandasのデータフレームdfで最終id、という名前のカラムがあり、
df.rename(columns = {'最終id':'最終ID'})
とリネームしても出力物では小文字のidに戻ってしまいます。
どのようにすれば回避できますでしょうか。
よろしくお願いいたします。
実行環境
Windows 10
Python 3.7
0
票
1
回答
307
閲覧数
Python の正規表現で特定の文字列を抽出する関数の定義
下記のように、URLを格納したデータフレームがあります。
こちらに、特定のパラメータの値を抽出し、新しい列を作って代入したいと考えています。
df = pd.DataFrame({'ulr' : ['https://www.shop.jp/shop/pro_source=google&pro_md=list_1&pro_cp=sweets_&gclid=?...
0
票
0
回答
221
閲覧数
過去ログ、ヒストリーを確認したい
python spyder の過去ログ、ヒストリーを確認したい。前回やったコマンドと結果の記録がない。
0
票
1
回答
321
閲覧数
得られたデータ(deque)を書式に合わせてcsvに出力したいです.
現在,筋電センサを用いて動作推定するプログラムを作っているのですが,個人学習する際に得られるデータをトーレーニングデータの書式(csv)と同じようにcsvに出力したいと考えています.使用している筋電センサは8電極あり,8行1列の行列値でデータが取得できます.
例 deque([160067619223897, [-12, 13, 2, 4, 1, 4, 0, 0])のような形式で表示されます.
...
0
票
0
回答
179
閲覧数
Pythonで生成したdataframeを呼び出したい
Tkinterにより読み込んだ複数のファイルをそれぞれ(i番目の)Dataframeに格納するプログラムを作成したのですが、それぞれのDataframeにアクセスする方法が知りたいです。
例えば print(i番目のDataframe) などの動作を想定しております。i 番目のDataframeを宣言する方法を教えてください。
import pandas as pd
import tkinter
...
0
票
1
回答
760
閲覧数
json_normalize を使用してDFを作成したいのですが、keyエラーになってしまう。
以下のようにJSONファイルを読み込んでDFにしようすると「keyerror」になってしまいます。
なぜでしょうか。
元のJSONファイルは以下です。
[
{
"creat_at": "2020-04-26T12:55:58+0900",
"pay_id": "E86F0CD0B346",
"pay": {
"a":...
0
票
1
回答
114
閲覧数
以下のリストデータがあり、さらにカラムの中に辞書型のデータがあります。これを以下の形に変換したいのですが、やり方が不明
現在以下の形のリストデータを抽出しました。
[['A (S)' 'B (M)']
['1234'
'{ "voltage" : { "name" : { "S" : "R00070" }, "button" : { "L" : [ { "N" : "29" }, { "N" : "0" } ] }']
['5678'
'{ "voltage" : { "name" : { "...
0
票
0
回答
292
閲覧数
pykakasiでローマ字変換したリストをCSVファイルにするには?
pykakasiで日本語をローマ字に変換した場合、再度CSVファイルで取り出すにはどうしたらよいでしょうか?ご助言頂けますと幸いです。
エラー
ValueError: DataFrame constructor not properly called!
コード
G=nx.Graph()
df=pd.read_csv("at1.csv",header=None)
df
...
0
票
0
回答
2,772
閲覧数
excelファイルから複数シートを読み込み、別々のDataFrameを作成する方法
以下の通り、excelファイルから複数シート(ファイル内の全シート)を読み込んだ後、
各シートごとに任意の名前をつけDataFrame化したいと考えています。
all_sheets = pd.read_excel('分析データ.xlsx', sheet_name=None)
具体的には、本ファイルには合計4シートあり、それぞれ data_4、data_5、data_6、data_7 ...
0
票
0
回答
243
閲覧数
pythonのmatplotlib
一番下に載せたカンマ区切りのcsvファイルを、contourで等高線にしたいです。
空白欄のNANの部分を0に置き換えた上で下記のコードで実行すると、等高線は出てくるのですが、0という値は考えないので本当は出てきてほしくないです。
・NANの空欄ところの処理はどうすれば良いのでしょうか?
・y軸の値は0.01〜1.00なのに、実行すると0~100になってしまうのはなぜでしょうか?
・...
0
票
1
回答
340
閲覧数
fill_betweenでwhereを認識させたい
plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?)
知っている方はぜひ教えていただけると助かります。
import matplotlib.pyplot as plt
import numpy as np
f1 = np.loadtxt(filepath1)
f2 = np.loadtxt(...