[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

58 未回答やベストアンサーなし質問
絞り込み
並べ替え
タグ付けされた
2
1 回答
125 閲覧数

DataFrame/Seriesの欠損値を定数で補完するとき、内挿のみに指定したい

DataFrame/Seriesの欠損値を、定数で補完したいのですが、内挿[limit_area='inside']を指定する方法ありますでしょうか? 両端の欠損値はそのまま補完しないようにしたいです。 import pandas as pd series = pd.Series(data=[ None, 20, None, 40, None ], index=[ 'aa', 'bb', 'cc'...
Sasaki's user avatar
  • 400
2
1 回答
1,813 閲覧数

object 型データから int 型への変換でエラーが発生する

csvで読み込んだデータがobject型として読み込まれてしまい、int型への変換を実施したところ添付のようなエラーでつまずいてしまっております。 色々やり方は調べたのですがどうしても解決できないため、解決方法を教示いただけると幸いです。 おそらく空欄が影響してしまっているのでreplaceでnp.NaNにした上でastypeにてint型変換をかけたのですがうまくいっていない状況です。 ...
issei's user avatar
  • 71
2
1 回答
118 閲覧数

gurobi からpyomoへの変換

pythonでgurobiからpyomoへ二次制約付き問題であるため、変更したいのですがやり方がわからなくて困っています。 from gurobipy import * import pandas as pd import numpy as np import csv from pyomo.environ import SolverFactory opt = SolverFactory("...
炎天下修羅's user avatar
1
3 回答
148 閲覧数

CSVファイル内の時系列データを1秒区切りで平均化するコードを書いているのですがエラーの解消方法を知りたいです

前提 各列にTIME(データ取得日時)、測定値が格納されたCSVファイルを読み込んで、1秒毎に平均化してCSVファイルに出力したいです。 コードを書いてみたのですがエラーが出てしまい対処方法が分からないので教えて頂けるとありがたいです。 下記は使用するCSVデータで名称は「test.csv」です。 [LOGGING],RD81DL96_1,2,3,4 DATETIME[YYYY/MM/DD hh:...
masimasimasi's user avatar
1
2 回答
5,277 閲覧数

Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2

複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。 1、データの確認をしました import pandas as pd file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv" df1 = pd.read_csv(file_path, ...
user avatar
1
0 回答
917 閲覧数

AttributeError: module 'pandas' has no attribute 'read_csv' の対処法

以下のコードでcsvを読み込もうとしたら、題名の通りエラーが出てしまいます。 実行したコード import pandas as pd x = pd.read_csv("wine-R.csv") エラーメッセージ AttributeError: module 'pandas' has no attribute 'read_csv' 確認したこと: ・カレントディレクトリ内にpandas....
渡邊彰久's user avatar
1
1 回答
609 閲覧数

pandas-highcharts でグラフが描画されない

実現したいこと 取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。 該当のソースコード from pandas_highcharts.display import display_charts df = ... # ...
Kitchen's user avatar
  • 11
1
0 回答
164 閲覧数

GCPのVMインスタンス上でImportError: No module named 'pandas' エラーが発生します

▼前提 GCP上のVMインスタンスにPython3.6の環境を構築し、pip3でpandas,numpy,sklearnなどのモジュールをインストールしました。 ▼事象 しかし、import pandas を実行すると、 [Tue Dec 24 09:09:11.447228 2019] [cgi:error] [pid 19982] [client 34.84.154.183:35282] ...
Satomi Takei's user avatar
1
0 回答
58 閲覧数

ilocを使用した際のindex値の抽出

以下の様にilocでデータを抽出した場合、 そのindex値を取り出す(2010-03-09)を取り出す方法はありますか? data.iloc[2500] Open 925.69 High 927.79 Low 923.60 Close 924.38 Name: 2010-03-09 00:00:00, dtype: float64 data.iloc[2500]...
Eiji's user avatar
  • 271
0
0 回答
114 閲覧数

VSCode上のJupyter Notebookで、sklearn配下のメンバーを呼び出そうとすると静的解析ではエラーが出るけど実行できる

質問者はPython初心者です。パッケージ本体のこともあんまりわかってません。 状況 Pythonを使ったデータ分析関連。Pandas-Profilingを使おうとしてます。 Pandas-Profilingに渡すデータを作るのにsklearnを使おうとしたんですが、そこでpylanceがエラーを吐く。でも、実行できます。 と、思ったら、実際にPandas-...
石のトンネル's user avatar
0
2 回答
140 閲覧数

pandas dataframeはなるべく使いまわしたほうが良いのでしょうか?

pandasに限らないと思うのですが、大きなサイズのdataframeを扱う場合、加工後は代入して使いまわしたほうが良いのでしょうか? df = df.drop() または df2 = df.drop() 補足 代入したほうがガベージコレクションによってメモリを開放してくれるのかなと思いました。
hogehoge's user avatar
0
1 回答
475 閲覧数

for文を使用して連続的にファイルを読み込みたい

pandasの read_text_file = pd.read_csv() を使用してテキストファイルを読み取っているのですが、ファイルが数百あるので連続的にfor文を使用して文中でテキストファイル名を変更して自動化できないかと考えています。 そこで、下記のコードのように試作として for i in range(1, 4): で i という変数を1~3まで連続的に変化させて、その次の行にある ...
Matt's user avatar
  • 1
0
1 回答
874 閲覧数

pandas groupby で集計を行った列の列名

import pandas as pd import numpy as np df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧金','鎧銀'], 'カテゴリ':['戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','外部有識者','管理者','...
ちゃんきよ's user avatar
0
2 回答
105 閲覧数

relativedelta使用時のilocについて

ilocについて教えてください。 for i in range(len(predict_data)): とした場合、i に入るのは整数なので、.iloc[i] とすべきだと思ったのですが、解答では iloc を使わず、下記のようになっておりました。 なぜ、iloc 省略なのでしょうか。 できれば初学者用に分かりやすく教えていただけると幸いです。 よろしくお願いいたします。 for i in ...
hasune's user avatar
  • 1
0
2 回答
276 閲覧数

エクセルから読み込んだ数値データが形が変わって出力される

エクセルから読み込んだ数値データをvscode上で表示すると、小数点まで表示される。 例えば2という値だと、2.0と表示される。こちらを小数点を抜きにしたいと考えています。0001が1.0と表示されるのを0001のまま出力したい。 ・エクセルデータの値をそのまま出力したい ・vscode上の出力[.0]を表示されないようにしたい。 どちらもExcelの設定の問題であれば、...
sawamura's user avatar
0
5 回答
402 閲覧数

エクセルのデータを数字か数字以外かでチェックしたい

エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。 条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
sawamura's user avatar
0
0 回答
134 閲覧数

ハイパーパラメータのチューニングでエラーが発生する

開発環境: Anaconda Windows 10 Jupiter labで作業をしています。 ハイパーパラメータチューニングを実行するとエラーが出て、Kernel errorで赤ランプがつき落ちてしまいます。 lgb_train = lgb_o.Dataset(X_train.values, y_train.values) lgb_valid = lgb_o.Dataset(X_valid....
koma's user avatar
  • 1
0
0 回答
154 閲覧数

x軸のラベルがdatetimeの日付形式のまま出力されてしまう

概要 csvデータからmatplotlibを使用し、棒グラフを作成しているのですが 日付形式がdatetimeの型のまま出力されてしまいます。(yyyy-mm-dd hh:ss:mm) 出力されているデータ自体は問題ないのですが、x軸のラベルだけ修正したいと考えてます。(yyyy/mm/ddに変えたい。) 試してみたこと csvデータを読み込んで、、とありますが元データはExcel形式となります。 ...
rakuda's user avatar
  • 11
0
0 回答
94 閲覧数

Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい

Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて CSVで出力したいと考えています。 Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら 教えていただけますと幸いです。以下が試したことになります。 1.Big queryにテーブルstringsA, strinsBを2つ作成 stringsA id name ...
hafuuu's user avatar
  • 7
0
1 回答
580 閲覧数

DataFrameセル内のリストを列方向に展開したい

今、以下のような各セルにリストが入ったDataFrameがあります。 import pandas as pd df = pd.DataFrame( {'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]}, index=[1, 2, 3]) このDataFrameを以下のように加工をしたいです。 x1, x2 ...
Takumi Mukaiyama's user avatar
0
1 回答
620 閲覧数

pandasのデータフレームをスプレッドシートへ反映したい

スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。 やりたいこと データフレームをスプレッドシートの最下部に追加したい コード: import pandas as pd import gspread import csv import json from oauth2client.service_account ...
merce's user avatar
  • 1
0
1 回答
64 閲覧数

Pythonのデータ結合についての質問です。

Pythonのデータ結合についての質問です。 seriesに対し、日付をkeyにしてdf1を左外部結合するやり方を教えていただけませんか。 series=pd.series ([‘1/1’,’1/2’,…..’1/10’],name=‘日付’) df1=pd.DataFrame ({‘日付’:[‘1/1’,’1/2’,…..’1/7’], {‘天気’:[‘晴れ,’’曇り’,…..’曇り’]})
kaeru's user avatar
  • 1
0
0 回答
939 閲覧数

pandasでエクセル読み込み時のエラーの解決方法を教えてください

pandasでエクセル(xlsx)を読み込んでcsvファイルを書き出す、というプログラムを作っています。 pandasでエクセルファイル読み込み時にエラーがでるようで、それについて調べてみると pip install xlrd で解決、ということでしたがインストールしても解決しません。 コマンドプロンプトを開いて python test.py でプログラムは動きます。 しかし、test....
Tani chan's user avatar
0
2 回答
127 閲覧数

pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい

pandasの縦方向の計算が苦手で、教えていただければと思います。 シミュレーション用のデータを作成したいと考えているのですが、顧客ごとに、5つの行動をします。その5つの行動によって、顧客の認知レベルが上がるということを想定します。行動1から行動5まであった場合に、顧客ステージを0~5の6段階に分けて、初期状態では、まず顧客ステージが0を入れます。表は時系列になっています。 ・顧客ステージが0の時、...
Akira Onozuka's user avatar
0
0 回答
161 閲覧数

pandasguiの表示がウィンドウ内に収まらない

当方pythonをあまり使用した経験がなく、初歩的な質問でしたら大変申し訳ございません。 知っている範囲で検索してみたのですが、解決できずこちらで質問させていただきます。 pandasguiを起動したところ、 以下のようなエラーとともに、起動したアプリの表示が添付の画像のようにアプリ全体がwindow内に収まらない状態となってしまっています。 パッケージのバージョンも確かめて、...
user52271's user avatar
0
1 回答
153 閲覧数

pandas.plotにおいてstring indexの場合のvlines()がうまく機能しない

文字列のindexを持つpandas.Dataframeにおいて、縦の補助線を引く場合にindex(x軸)をうまく指定できないです。 plotしたいpandas.Dataframeは以下のようになります。indexがobjectなのは確認できています。 print(df_occ_test.index.dtype) object print(df_occ_test) a ...
swkky's user avatar
  • 1
0
0 回答
183 閲覧数

日本郵便の住所とe-Statの住所を紐づける方法

日本郵便が配布している郵便番号,住所テーブルとe-Statが提供しているshpファイルを用いて郵便番号-緯度経度テーブルを作成したいと考えてます。しかし、日本郵便とe-Statの住所表記に数多くの表記揺れが存在しており、簡単にジョインできない状況です。住所以外に共通するユニークなカラムが存在しないためどのようにすれば上手く結合できるかアイデアをいただきたく思い質問しました。...
0018's user avatar
  • 337
0
0 回答
250 閲覧数

JSON-LD を Pandas の DataFrame へ変換する方法

JSON-LDで値を返す RESTful API を使って、r = requests.get( <API> ) で受け取った r の type は <class 'requests.models.Response'> です。 JSON を Pandas DataFrame に変換する のページを見ながら真似してみたのですが、エラーとなってしまいます。 json.loads(...
 BrainOverflow's user avatar
0
0 回答
1,265 閲覧数

Python3.8.3でpandasが使えない

現在VScodeで作業をしているのですが、pandasライブラリがPython3.8.8では使えるのに対し、3.8.3の環境では使えず困っています。ライブラリのインストールはpipコマンドで行いました。 自分なりに調べましたが、pandasのバージョンを変更すべきか再インストールすべきかも分かりませんでした。対処法を教えていただけると幸いです。 エラーメッセージ: Import "...
Lightning's user avatar
0
1 回答
78 閲覧数

読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したい

プログラミング初心者です。 読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したいです。 イメージとしては、  ファイル1つ目:2020/01/01 - 2020/04/01  ファイル2つ目:2020/01/01 - 2020/07/01  ファイル3つ目:2020/01/01 - 2020/10/01  など エラーメッセージは出ないのですが、...
kitkat's user avatar
  • 1
0
1 回答
137 閲覧数

Pandasでmode()の結果のみをfor文で取得する方法

以下のコードを実行した結果、最頻値をseries型で取得できたのですが、「大字仲原」や「大字鉄輪」など実際のデータだけを取得するためにはどうすればいいでしょうか? ▼コード null_stationAreas = df["地区名"].isnull() for null_stationArea in list(df.loc[null_stationAreas,"最寄駅:...
Yuki Kubota's user avatar
0
0 回答
177 閲覧数

Pandasのdataframeでcsvファイルの値を扱う際の"..."による省略が行われてしまう

以下の写真のように、csvファイルのある値(1枚目)を用いて、関数内で処理を行う際に、長すぎるためか2枚目の写真のように途中から"..."で省略が行われ、それがそのまま値として扱われてしまいます。 3枚目にエラーの内容も載せます。これを解決する方法はあるのでしょうか。 表示に関しては調べたら出てきましたが、自分が悩む問題に関しては関係なさそうでした。 宜しくお願いします。
Mtsn's user avatar
  • 3
0
0 回答
4,749 閲覧数

import pandas as pdと入れて実行するとNo module named 'pandas'とエラーが出る

Python始めたての初心者です。わからない用語も多く悪戦苦闘しています。 タイトルの通り、import pandas as pd と実行すると No module named 'pandas' とエラーが出てしまいます。 「No module named 'pandas'」でGoogle検索をしたのですが、なかなかどうして対処法がわからず困っています。 お力添えくださいますと幸いです。...
homer o's user avatar
0
1 回答
149 閲覧数

csvをheaderとして結合したい

同じ列数を持つcsvを片方をheaderに設定するように結合したい やってみたこと header.csv Columns: [a,b,c] Index: [] axis.csv Columns: [1,2,3]      [4,5,6] df=pd.read_csv('header.csv') df1=pd.read_csv('axis.csv') df2=pd.concat([df1, ...
まさる's user avatar
0
1 回答
697 閲覧数

PythonのStyleFrameでエクセルに上書きせず追記できるようにしたい

StyleFrame を使ってエクセルに上書きせずに保存したいのですがうまく行きません。 試したことは with StyleFrame.ExcelWriter(s_path,mode='a') as writer: です。 これではエラーになってしまって出来ませんでした。 教えていただけたら嬉しいです、よろしくお願いします。
Ino Express's user avatar
0
1 回答
100 閲覧数

pandasで数列の各値を一定区間のstdevを計算してそれで割り算したいとき

いつもお世話になっております。 【背景】 株の価格をpriceに格納して、そのsmaを窓関数を使って以下のように求めてます sma8 = pd.Series(price).rolling(8).mean().values sma24 = pd.Series(price).rolling(8).mean().values 【やりたいこと】 概念のようなものを書きます。 sma20_std = ...
Rich-4-coding's user avatar
0
1 回答
144 閲覧数

Pythonで特定の列を抽出しメールで送信する

csvの日付と内容の列だけを抽出し、昨日の日付だけが含んだ列だけを抽出しメールを送信したいです。 下記のコードで記載しましたが、エラーが発生します。 ilocではdataframeがemptyだとエラーになるからだと思います。 ① csvの 特定の列 だけを抽出した pandasのDataFrame を作成する ② 昨日の列だけを抽出する ③ 作成したDataFrameの 1行目と2行目(...
幸589's user avatar
  • 435
0
3 回答
278 閲覧数

Python 3.8.5 seriesでの正規表現を用いた文字列検索について

tpye を見ると <class 'pandas.core.series.Series'> というデータになっています。 このデータに含まれる文字列検索をしたいと思っています。 match = Series_data[Series_data == "F:\\"] とやると、目的の結果が得られています。(今のところそう見える) 実際には、...
 BrainOverflow's user avatar
0
0 回答
215 閲覧数

pandas 1.2.0 で、行ごとの加算値を求めたい

pythonのpandasで、ゼロ列目(行名)が日付になって、1列目以降は整数データのみのデータフレームなのですが、いままでは、 df['加算結果'] = df.sum(axis=1) という具合に日にちごと(=行ごと)の加算値が計算できていました。 最近、pandasをアップデートしたことが問題らしく、 TypeError: Addition/subtraction of integers ...
 BrainOverflow's user avatar
0
0 回答
311 閲覧数

Pandasでカラム名がどうしても小文字で出力される際の対処

pandasのデータフレームdfで最終id、という名前のカラムがあり、 df.rename(columns = {'最終id':'最終ID'}) とリネームしても出力物では小文字のidに戻ってしまいます。 どのようにすれば回避できますでしょうか。 よろしくお願いいたします。 実行環境 Windows 10 Python 3.7
user87562's user avatar
  • 853
0
1 回答
307 閲覧数

Python の正規表現で特定の文字列を抽出する関数の定義

下記のように、URLを格納したデータフレームがあります。 こちらに、特定のパラメータの値を抽出し、新しい列を作って代入したいと考えています。 df = pd.DataFrame({'ulr' : ['https://www.shop.jp/shop/pro_source=google&pro_md=list_1&pro_cp=sweets_&gclid=?...
ogawa's user avatar
  • 57
0
0 回答
221 閲覧数

過去ログ、ヒストリーを確認したい

python spyder の過去ログ、ヒストリーを確認したい。前回やったコマンドと結果の記録がない。
user41011's user avatar
0
1 回答
321 閲覧数

得られたデータ(deque)を書式に合わせてcsvに出力したいです.

現在,筋電センサを用いて動作推定するプログラムを作っているのですが,個人学習する際に得られるデータをトーレーニングデータの書式(csv)と同じようにcsvに出力したいと考えています.使用している筋電センサは8電極あり,8行1列の行列値でデータが取得できます. 例 deque([160067619223897, [-12, 13, 2, 4, 1, 4, 0, 0])のような形式で表示されます. ...
tazawa's user avatar
  • 1
0
0 回答
179 閲覧数

Pythonで生成したdataframeを呼び出したい

Tkinterにより読み込んだ複数のファイルをそれぞれ(i番目の)Dataframeに格納するプログラムを作成したのですが、それぞれのDataframeにアクセスする方法が知りたいです。 例えば print(i番目のDataframe) などの動作を想定しております。i 番目のDataframeを宣言する方法を教えてください。 import pandas as pd import tkinter ...
ways's user avatar
  • 1
0
1 回答
760 閲覧数

json_normalize を使用してDFを作成したいのですが、keyエラーになってしまう。

以下のようにJSONファイルを読み込んでDFにしようすると「keyerror」になってしまいます。 なぜでしょうか。 元のJSONファイルは以下です。 [ { "creat_at": "2020-04-26T12:55:58+0900", "pay_id": "E86F0CD0B346", "pay": { "a":...
tabo0073's user avatar
0
1 回答
114 閲覧数

以下のリストデータがあり、さらにカラムの中に辞書型のデータがあります。これを以下の形に変換したいのですが、やり方が不明

現在以下の形のリストデータを抽出しました。 [['A (S)' 'B (M)'] ['1234' '{ "voltage" : { "name" : { "S" : "R00070" }, "button" : { "L" : [ { "N" : "29" }, { "N" : "0" } ] }'] ['5678' '{ "voltage" : { "name" : { "...
tabo0073's user avatar
0
0 回答
292 閲覧数

pykakasiでローマ字変換したリストをCSVファイルにするには?

pykakasiで日本語をローマ字に変換した場合、再度CSVファイルで取り出すにはどうしたらよいでしょうか?ご助言頂けますと幸いです。 エラー ValueError: DataFrame constructor not properly called! コード G=nx.Graph() df=pd.read_csv("at1.csv",header=None) df ...
maruchanz's user avatar
0
0 回答
2,772 閲覧数

excelファイルから複数シートを読み込み、別々のDataFrameを作成する方法

以下の通り、excelファイルから複数シート(ファイル内の全シート)を読み込んだ後、 各シートごとに任意の名前をつけDataFrame化したいと考えています。 all_sheets = pd.read_excel('分析データ.xlsx', sheet_name=None) 具体的には、本ファイルには合計4シートあり、それぞれ data_4、data_5、data_6、data_7 ...
ogawa's user avatar
  • 11
0
0 回答
243 閲覧数

pythonのmatplotlib

一番下に載せたカンマ区切りのcsvファイルを、contourで等高線にしたいです。 空白欄のNANの部分を0に置き換えた上で下記のコードで実行すると、等高線は出てくるのですが、0という値は考えないので本当は出てきてほしくないです。 ・NANの空欄ところの処理はどうすれば良いのでしょうか? ・y軸の値は0.01〜1.00なのに、実行すると0~100になってしまうのはなぜでしょうか? ・...
iyyhs's user avatar
  • 1
0
1 回答
340 閲覧数

fill_betweenでwhereを認識させたい

plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?) 知っている方はぜひ教えていただけると助かります。 import matplotlib.pyplot as plt import numpy as np f1 = np.loadtxt(filepath1) f2 = np.loadtxt(...
user36532's user avatar