[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
57
未回答やベストアンサーなし質問
2
票
1
回答
82
閲覧数
DataFrame/Seriesの欠損値を定数で補完するとき、内挿のみに指定したい
DataFrame/Seriesの欠損値を、定数で補完したいのですが、内挿[limit_area='inside']を指定する方法ありますでしょうか?
両端の欠損値はそのまま補完しないようにしたいです。
import pandas as pd
series = pd.Series(data=[ None, 20, None, 40, None ], index=[ 'aa', 'bb', 'cc'...
2
票
1
回答
587
閲覧数
object 型データから int 型への変換でエラーが発生する
csvで読み込んだデータがobject型として読み込まれてしまい、int型への変換を実施したところ添付のようなエラーでつまずいてしまっております。
色々やり方は調べたのですがどうしても解決できないため、解決方法を教示いただけると幸いです。
おそらく空欄が影響してしまっているのでreplaceでnp.NaNにした上でastypeにてint型変換をかけたのですがうまくいっていない状況です。
...
1
票
1
回答
73
閲覧数
gurobi からpyomoへの変換
pythonでgurobiからpyomoへ二次制約付き問題であるため、変更したいのですがやり方がわからなくて困っています。
from gurobipy import *
import pandas as pd
import numpy as np
import csv
from pyomo.environ import SolverFactory
opt = SolverFactory("...
1
票
3
回答
387
閲覧数
一つのカラムの中にリストでデータが入っている場合、リストの各要素を分割して新たに列を増やし、各要素をダミー変数化方法はありますか?
データ分析初心者です。
初めて簡単なコンペのようなものに挑戦しています。
何からやればよいのかわからず手探りでググって一つ一つ進めてきたのですが、これについてはどのようにググれば答えが見つかるのかもわからずの状態です。
そのため、タイトルもなかなかうまく言語化できておらず、わかりにくくなってしまっていると思います。すみません。
コンペの内容としては民泊サービスの価格予測です。...
1
票
2
回答
3,300
閲覧数
Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2
複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。
1、データの確認をしました
import pandas as pd
file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv"
df1 = pd.read_csv(file_path, ...
1
票
0
回答
725
閲覧数
AttributeError: module 'pandas' has no attribute 'read_csv' の対処法
以下のコードでcsvを読み込もうとしたら、題名の通りエラーが出てしまいます。
実行したコード
import pandas as pd
x = pd.read_csv("wine-R.csv")
エラーメッセージ
AttributeError: module 'pandas' has no attribute 'read_csv'
確認したこと:
・カレントディレクトリ内にpandas....
1
票
1
回答
471
閲覧数
pandas-highcharts でグラフが描画されない
実現したいこと
取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。
該当のソースコード
from pandas_highcharts.display import display_charts
df = ... # ...
1
票
0
回答
135
閲覧数
GCPのVMインスタンス上でImportError: No module named 'pandas' エラーが発生します
▼前提
GCP上のVMインスタンスにPython3.6の環境を構築し、pip3でpandas,numpy,sklearnなどのモジュールをインストールしました。
▼事象
しかし、import pandas を実行すると、
[Tue Dec 24 09:09:11.447228 2019] [cgi:error] [pid 19982] [client 34.84.154.183:35282] ...
1
票
1
回答
1,058
閲覧数
クリップボードにコピーしたweb上の表をエクセルファイルに張り付けるコードをPythonで書きたい
対象のwebサイトは鍵付きのためスクレイピングが使えないので、クリップボードにコピーしてからエクセルにペーストするコードを書きたいと考えています。
クリップボードにコピー→データフレームとして読み込み→CSV変換→エクセルに張り付けとしたいのですが、最初の段階で pandas.read_clipboard() を使おうとすると以下のエラーが出てうまくいきません。
エラーメッセージ
...
1
票
0
回答
58
閲覧数
ilocを使用した際のindex値の抽出
以下の様にilocでデータを抽出した場合、
そのindex値を取り出す(2010-03-09)を取り出す方法はありますか?
data.iloc[2500]
Open 925.69
High 927.79
Low 923.60
Close 924.38
Name: 2010-03-09 00:00:00, dtype: float64
data.iloc[2500]...
0
票
1
回答
27
閲覧数
DataFrameセル内のリストを列方向に展開したい
今、以下のような各セルにリストが入ったDataFrameがあります。
import pandas as pd
df = pd.DataFrame(
{'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]},
index=[1, 2, 3])
このDataFrameを以下のように加工をしたいです。
x1, x2 ...
0
票
1
回答
63
閲覧数
pandasのデータフレームをスプレッドシートへ反映したい
スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。
やりたいこと
データフレームをスプレッドシートの最下部に追加したい
コード:
import pandas as pd
import gspread
import csv
import json
from oauth2client.service_account ...
0
票
1
回答
62
閲覧数
Pandas でのデータ結合時にエラーが発生する
seriesに対し、日付をkeyにしてmerge_df1を左外部結合の下記のプログラムを実行するとエラーが発生するのですがなぜなのでしょうか?
import numpy as np
import pandas as pd
series = pd.Series(['1/1', '1/2', '1/3', '1/4', '1/5', '1/6','1/7',
'1/8'...
0
票
1
回答
47
閲覧数
Pythonのデータ結合についての質問です。
Pythonのデータ結合についての質問です。
seriesに対し、日付をkeyにしてdf1を左外部結合するやり方を教えていただけませんか。
series=pd.series ([‘1/1’,’1/2’,…..’1/10’],name=‘日付’)
df1=pd.DataFrame ({‘日付’:[‘1/1’,’1/2’,…..’1/7’], {‘天気’:[‘晴れ,’’曇り’,…..’曇り’]})
0
票
0
回答
66
閲覧数
pandasでエクセル読み込み時のエラーの解決方法を教えてください
pandasでエクセル(xlsx)を読み込んでcsvファイルを書き出す、というプログラムを作っています。
pandasでエクセルファイル読み込み時にエラーがでるようで、それについて調べてみると pip install xlrd で解決、ということでしたがインストールしても解決しません。
コマンドプロンプトを開いて python test.py でプログラムは動きます。
しかし、test....
0
票
2
回答
119
閲覧数
pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい
pandasの縦方向の計算が苦手で、教えていただければと思います。
シミュレーション用のデータを作成したいと考えているのですが、顧客ごとに、5つの行動をします。その5つの行動によって、顧客の認知レベルが上がるということを想定します。行動1から行動5まであった場合に、顧客ステージを0~5の6段階に分けて、初期状態では、まず顧客ステージが0を入れます。表は時系列になっています。
・顧客ステージが0の時、...
0
票
0
回答
65
閲覧数
pandasguiの表示がウィンドウ内に収まらない
当方pythonをあまり使用した経験がなく、初歩的な質問でしたら大変申し訳ございません。
知っている範囲で検索してみたのですが、解決できずこちらで質問させていただきます。
pandasguiを起動したところ、
以下のようなエラーとともに、起動したアプリの表示が添付の画像のようにアプリ全体がwindow内に収まらない状態となってしまっています。
パッケージのバージョンも確かめて、...
0
票
1
回答
50
閲覧数
pandas.plotにおいてstring indexの場合のvlines()がうまく機能しない
文字列のindexを持つpandas.Dataframeにおいて、縦の補助線を引く場合にindex(x軸)をうまく指定できないです。
plotしたいpandas.Dataframeは以下のようになります。indexがobjectなのは確認できています。
print(df_occ_test.index.dtype)
object
print(df_occ_test)
a ...
0
票
0
回答
95
閲覧数
日本郵便の住所とe-Statの住所を紐づける方法
日本郵便が配布している郵便番号,住所テーブルとe-Statが提供しているshpファイルを用いて郵便番号-緯度経度テーブルを作成したいと考えてます。しかし、日本郵便とe-Statの住所表記に数多くの表記揺れが存在しており、簡単にジョインできない状況です。住所以外に共通するユニークなカラムが存在しないためどのようにすれば上手く結合できるかアイデアをいただきたく思い質問しました。...
0
票
0
回答
111
閲覧数
JSON-LD を Pandas の DataFrame へ変換する方法
JSON-LDで値を返す RESTful API を使って、r = requests.get( <API> ) で受け取った
r の type は <class 'requests.models.Response'> です。
JSON を Pandas DataFrame に変換する のページを見ながら真似してみたのですが、エラーとなってしまいます。
json.loads(...
0
票
0
回答
557
閲覧数
Python3.8.3でpandasが使えない
現在VScodeで作業をしているのですが、pandasライブラリがPython3.8.8では使えるのに対し、3.8.3の環境では使えず困っています。ライブラリのインストールはpipコマンドで行いました。
自分なりに調べましたが、pandasのバージョンを変更すべきか再インストールすべきかも分かりませんでした。対処法を教えていただけると幸いです。
エラーメッセージ:
Import "...
0
票
1
回答
73
閲覧数
読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したい
プログラミング初心者です。
読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したいです。
イメージとしては、
ファイル1つ目:2020/01/01 - 2020/04/01
ファイル2つ目:2020/01/01 - 2020/07/01
ファイル3つ目:2020/01/01 - 2020/10/01
など
エラーメッセージは出ないのですが、...
0
票
1
回答
64
閲覧数
Pandasでmode()の結果のみをfor文で取得する方法
以下のコードを実行した結果、最頻値をseries型で取得できたのですが、「大字仲原」や「大字鉄輪」など実際のデータだけを取得するためにはどうすればいいでしょうか?
▼コード
null_stationAreas = df["地区名"].isnull()
for null_stationArea in list(df.loc[null_stationAreas,"最寄駅:...
0
票
0
回答
109
閲覧数
Pandasのdataframeでcsvファイルの値を扱う際の"..."による省略が行われてしまう
以下の写真のように、csvファイルのある値(1枚目)を用いて、関数内で処理を行う際に、長すぎるためか2枚目の写真のように途中から"..."で省略が行われ、それがそのまま値として扱われてしまいます。
3枚目にエラーの内容も載せます。これを解決する方法はあるのでしょうか。
表示に関しては調べたら出てきましたが、自分が悩む問題に関しては関係なさそうでした。
宜しくお願いします。
0
票
0
回答
1,357
閲覧数
import pandas as pdと入れて実行するとNo module named 'pandas'とエラーが出る
Python始めたての初心者です。わからない用語も多く悪戦苦闘しています。
タイトルの通り、import pandas as pd と実行すると No module named 'pandas' とエラーが出てしまいます。
「No module named 'pandas'」でGoogle検索をしたのですが、なかなかどうして対処法がわからず困っています。
お力添えくださいますと幸いです。...
0
票
0
回答
356
閲覧数
OpenPyXL で Excel ファイルへの保存時にエラー AttributeErro: 'NoneType' object has no attribute 'write'
Python初心者で、只今勉強中です。こちらに質問は初めてですので、至らぬ点もあるかとは思いますが何卒宜しくお願い致します。
下記の➀~➂をどうにか自動化できないものか、と悪戦苦闘しております。
現在➁のところでつまずいております。何卒ご指南の程宜しくお願い致します。
➀売上管理表から、条件に合ったものだけを抽出する。
↓
➁歩合計算表のテンプレートを用いて、...
0
票
0
回答
118
閲覧数
Pythonでスクレイピング データを取得してCSVの該当箇所に書き込みたい
前提・実現したいこと
Pythonでスクレイピング データを取得してCSVに書き込みたいです。
セレニウムとPandasを利用しています。
Python3ヶ月目ほどで 本を読んだり検索したりしながら進めている状態です。
注文番号がはいったCSVファイルがあります。
この注文番号をURLに含めると 注文データの記載されたページにアクセスできるので、
そこから情報を取得して ...
0
票
1
回答
701
閲覧数
pythonとcsvファイルを使って3次元グラフを作りたい
pythonとcsvファイルを用いて3次元グラフを作りたいです。
画像のようなCSVファイルを用いて三次元グラフを作ることを目標としています。(エクセルで開いているのでコンマの位置でセル分けされています。)
pos=768,列はAMKまで存在しています。
この画像中の9行目がx軸、A列がy軸に該当し、中のデータがz軸で表現される量に該当します。
...
0
票
1
回答
773
閲覧数
Python でのValueError: Length mismatchへの対処が分かりません。
以下のコードで突然ValueError: Length mismatchが出てきて、対処の方法が分かりません。同じ証券コードを繰り返し取得したからかと思ったのですがそうではなく、昨日までは問題なく動作していたためどこを改善してよいかも不明です。
解決策を教えていただけますでしょうか。
%matplotlib inline
import pandas as pd
import matplotlib....
0
票
0
回答
118
閲覧数
Pythonにおいて返り値がデータフレームの場合の指定
Python3系の書き方について質問です。
以下のように型を明示することがあると思いますが、返り値がpandasのデータフレームになる場合は、どのように書けばよろしいでしょうか?
どうぞよろしくお願いいたします。
def hoge(): -> None:
pass
0
票
1
回答
102
閲覧数
csvをheaderとして結合したい
同じ列数を持つcsvを片方をheaderに設定するように結合したい
やってみたこと
header.csv
Columns: [a,b,c] Index: []
axis.csv
Columns: [1,2,3]
[4,5,6]
df=pd.read_csv('header.csv')
df1=pd.read_csv('axis.csv')
df2=pd.concat([df1, ...
0
票
1
回答
398
閲覧数
PythonのStyleFrameでエクセルに上書きせず追記できるようにしたい
StyleFrame を使ってエクセルに上書きせずに保存したいのですがうまく行きません。
試したことは with StyleFrame.ExcelWriter(s_path,mode='a') as writer: です。
これではエラーになってしまって出来ませんでした。
教えていただけたら嬉しいです、よろしくお願いします。
0
票
1
回答
69
閲覧数
pandasで数列の各値を一定区間のstdevを計算してそれで割り算したいとき
いつもお世話になっております。
【背景】
株の価格をpriceに格納して、そのsmaを窓関数を使って以下のように求めてます
sma8 = pd.Series(price).rolling(8).mean().values
sma24 = pd.Series(price).rolling(8).mean().values
【やりたいこと】
概念のようなものを書きます。
sma20_std = ...
0
票
2
回答
540
閲覧数
dataframe内の数値から文字列に変換する方法
file_name expression
0 test_0000.jpg 1
1 test_0001.jpg 0
2 test_0002.jpg 0
3 test_0003.jpg 0
4 test_0004.jpg 2
... ... ...
307 test_0307.jpg 1
308 test_0308.jpg 0
309 ...
0
票
1
回答
129
閲覧数
Pythonで特定の列を抽出しメールで送信する
csvの日付と内容の列だけを抽出し、昨日の日付だけが含んだ列だけを抽出しメールを送信したいです。
下記のコードで記載しましたが、エラーが発生します。
ilocではdataframeがemptyだとエラーになるからだと思います。
① csvの 特定の列 だけを抽出した pandasのDataFrame を作成する
② 昨日の列だけを抽出する
③ 作成したDataFrameの 1行目と2行目(...
0
票
3
回答
135
閲覧数
Python 3.8.5 seriesでの正規表現を用いた文字列検索について
tpye を見ると <class 'pandas.core.series.Series'> というデータになっています。
このデータに含まれる文字列検索をしたいと思っています。
match = Series_data[Series_data == "F:\\"]
とやると、目的の結果が得られています。(今のところそう見える)
実際には、...
0
票
0
回答
146
閲覧数
pandas 1.2.0 で、行ごとの加算値を求めたい
pythonのpandasで、ゼロ列目(行名)が日付になって、1列目以降は整数データのみのデータフレームなのですが、いままでは、
df['加算結果'] = df.sum(axis=1)
という具合に日にちごと(=行ごと)の加算値が計算できていました。
最近、pandasをアップデートしたことが問題らしく、
TypeError: Addition/subtraction of integers ...
0
票
0
回答
147
閲覧数
Pandasでカラム名がどうしても小文字で出力される際の対処
pandasのデータフレームdfで最終id、という名前のカラムがあり、
df.rename(columns = {'最終id':'最終ID'})
とリネームしても出力物では小文字のidに戻ってしまいます。
どのようにすれば回避できますでしょうか。
よろしくお願いいたします。
実行環境
Windows 10
Python 3.7
0
票
1
回答
271
閲覧数
Python の正規表現で特定の文字列を抽出する関数の定義
下記のように、URLを格納したデータフレームがあります。
こちらに、特定のパラメータの値を抽出し、新しい列を作って代入したいと考えています。
df = pd.DataFrame({'ulr' : ['https://www.shop.jp/shop/pro_source=google&pro_md=list_1&pro_cp=sweets_&gclid=?...
0
票
0
回答
106
閲覧数
過去ログ、ヒストリーを確認したい
python spyder の過去ログ、ヒストリーを確認したい。前回やったコマンドと結果の記録がない。
0
票
1
回答
283
閲覧数
得られたデータ(deque)を書式に合わせてcsvに出力したいです.
現在,筋電センサを用いて動作推定するプログラムを作っているのですが,個人学習する際に得られるデータをトーレーニングデータの書式(csv)と同じようにcsvに出力したいと考えています.使用している筋電センサは8電極あり,8行1列の行列値でデータが取得できます.
例 deque([160067619223897, [-12, 13, 2, 4, 1, 4, 0, 0])のような形式で表示されます.
...
0
票
0
回答
159
閲覧数
Pythonで生成したdataframeを呼び出したい
Tkinterにより読み込んだ複数のファイルをそれぞれ(i番目の)Dataframeに格納するプログラムを作成したのですが、それぞれのDataframeにアクセスする方法が知りたいです。
例えば print(i番目のDataframe) などの動作を想定しております。i 番目のDataframeを宣言する方法を教えてください。
import pandas as pd
import tkinter
...
0
票
1
回答
430
閲覧数
json_normalize を使用してDFを作成したいのですが、keyエラーになってしまう。
以下のようにJSONファイルを読み込んでDFにしようすると「keyerror」になってしまいます。
なぜでしょうか。
元のJSONファイルは以下です。
[
{
"creat_at": "2020-04-26T12:55:58+0900",
"pay_id": "E86F0CD0B346",
"pay": {
"a":...
0
票
1
回答
111
閲覧数
以下のリストデータがあり、さらにカラムの中に辞書型のデータがあります。これを以下の形に変換したいのですが、やり方が不明
現在以下の形のリストデータを抽出しました。
[['A (S)' 'B (M)']
['1234'
'{ "voltage" : { "name" : { "S" : "R00070" }, "button" : { "L" : [ { "N" : "29" }, { "N" : "0" } ] }']
['5678'
'{ "voltage" : { "name" : { "...
0
票
0
回答
242
閲覧数
pykakasiでローマ字変換したリストをCSVファイルにするには?
初歩的な質問で恐縮ですが、pykakasiで日本語をローマ字に変換した場合、
再度CSVファイルで取り出すにはどうしたらよいでしょうか?
ご助言頂けますと幸いです。
エラー
ValueError: DataFrame constructor not properly called!
コード
G=nx.Graph()
df=pd.read_csv("at1.csv",header=None)
...
0
票
0
回答
2,286
閲覧数
excelファイルから複数シートを読み込み、別々のDataFrameを作成する方法
以下の通り、excelファイルから複数シート(ファイル内の全シート)を読み込んだ後、
各シートごとに任意の名前をつけDataFrame化したいと考えています。
all_sheets = pd.read_excel('分析データ.xlsx', sheet_name=None)
具体的には、本ファイルには合計4シートあり、それぞれ data_4、data_5、data_6、data_7 ...
0
票
0
回答
230
閲覧数
pythonのmatplotlib
一番下に載せたカンマ区切りのcsvファイルを、contourで等高線にしたいです。
空白欄のNANの部分を0に置き換えた上で下記のコードで実行すると、等高線は出てくるのですが、0という値は考えないので本当は出てきてほしくないです。
・NANの空欄ところの処理はどうすれば良いのでしょうか?
・y軸の値は0.01〜1.00なのに、実行すると0~100になってしまうのはなぜでしょうか?
・...
0
票
1
回答
311
閲覧数
fill_betweenでwhereを認識させたい
plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?)
知っている方はぜひ教えていただけると助かります。
import matplotlib.pyplot as plt
import numpy as np
f1 = np.loadtxt(filepath1)
f2 = np.loadtxt(...
0
票
0
回答
297
閲覧数
pandas Typeエラー
python pandas学習中の初心者です。
https://note.nkmk.me/python-pandas-where-mask/
こちらのサイトを参考にして print(df < 0) を実行したところ、下記のエラーが表示されます。
回避方法をご教授お願いします。
DataFremeデータサンプル
>>> df
A B C D
0 -20 ...
0
票
1
回答
174
閲覧数
pandas series mean値がnan値になる
kaggle Home Credit Default Riskのapplication_{train|test}.csvの欠損値補完を行っております。
以下の2つの特徴量を平均値で埋めたいのですが、mean()の戻り値がnanになってしまいます。
特徴量
'YEARS_BUILD_AVG'
'YEARS_BEGINEXPLUATATION_AVG'
print(train['...