[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
417
質問
0
票
2
回答
466
閲覧数
エクセルから読み込んだ数値データが形が変わって出力される
エクセルから読み込んだ数値データをvscode上で表示すると、小数点まで表示される。
例えば2という値だと、2.0と表示される。こちらを小数点を抜きにしたいと考えています。0001が1.0と表示されるのを0001のまま出力したい。
・エクセルデータの値をそのまま出力したい
・vscode上の出力[.0]を表示されないようにしたい。
どちらもExcelの設定の問題であれば、...
0
票
5
回答
594
閲覧数
エクセルのデータを数字か数字以外かでチェックしたい
エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。
条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
0
票
0
回答
184
閲覧数
x軸のラベルがdatetimeの日付形式のまま出力されてしまう
概要
csvデータからmatplotlibを使用し、棒グラフを作成しているのですが
日付形式がdatetimeの型のまま出力されてしまいます。(yyyy-mm-dd hh:ss:mm)
出力されているデータ自体は問題ないのですが、x軸のラベルだけ修正したいと考えてます。(yyyy/mm/ddに変えたい。)
試してみたこと
csvデータを読み込んで、、とありますが元データはExcel形式となります。
...
-1
票
1
回答
55
閲覧数
Pandas で条件付けした列の抽出をしたい
3つの変数(A,B,C)から成るdfから C=True(Cはbool)に限定した、変数をAとBのみに限定した新たなdf1を作成する際のコードについてですが、下記を考えましたがエラーになります。どこがおかしいのでしょうか?どなたかご教示ねがえないでしょうか? それとも1行で記載するのは難しいのでしょうか?
df1 = df[['A', 'B']].query('C == True')
df1
-1
票
1
回答
587
閲覧数
正規表現で電話番号の文字列を正規化したい
前提
pandas の電話番号の列を正規表現にしたいです。
現在下記の読み込みcsvのように先頭の0が抜けたりハイフンなしがあります。
国際番号も含まれています。
読み込みcsv
※テスト電話番号です。
電話番号
8012345678
9012345678
90-1234-5678
080-1234-5678
110000000
06-1234-5678
(0)0 812345678
...
0
票
0
回答
115
閲覧数
Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい
Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて
CSVで出力したいと考えています。
Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら
教えていただけますと幸いです。以下が試したことになります。
1.Big queryにテーブルstringsA, strinsBを2つ作成
stringsA
id
name
...
0
票
1
回答
107
閲覧数
find_element(By)にURLによって変わる要素を入れたい
以下のような2つのデータフレームから各URLのIDと一致するtxtを抜き出してfind_element(By.LINK_TEXT)に入れ込むようなことは可能でしょうか?df2のtxt部分は重複する場合もあります。よろしくお願い致します。
df1:
URL ID
aaa 1
bbb 2
ccc 3
ddd 4
... ...
df2:
ID txt
1 xxx
2 yyy
3 zzz
4 ...
0
票
1
回答
345
閲覧数
pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処
KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。
>>> train.info()
<class 'pandas.core.frame.DataFrame'>
Index: 458913 entries, ...
0
票
2
回答
242
閲覧数
Pandasを使った行の比較方法について
やりたいこと
PythonでBook1とBook2のエクセルを比較します。
Book1には無い行を、Book2のヘッダーFlagとしてどの行がないかを記載したいです。
両方のエクセルのキーとなるものはtitleにしています。
Book1のエクセル
created_at,title,messageId,content
2022-06-16T06:43:17.488Z,日本,2332528852,雨
...
1
票
1
回答
127
閲覧数
Pandas の DataFrame にビットを振りたい
以下に示すようなDataFrameとlistがあります。
DataFrameのうち、listに含まれる要素と一致する行に対してビットを振りたいです。
例えば以下のようにするとビットを振ることができますが、for文を使うのでは処理が遅すぎます。
同様の処理をより高速に実装するにはどうすればよいでしょうか。
試したコード:
for i, j in lst:
df.loc[(df["...
0
票
1
回答
96
閲覧数
PandasのDataframeにあるデータを対象に分位数を使った足切りをしたい
概要
PandasのDataframeにあるデータを、列のラベルごとに集計し、特定の分位数を使って外れ値の除外をするにはどのようなコードを書けばよいでしょうか?
詳細
環境はpython3.6です
対象となるDataframeは以下のような内容です
sensor_name temperature Humidity Pressure
sensor1 15.5 67 1001
sensor1 15.8 ...
0
票
1
回答
217
閲覧数
データフレームを結合し、名前の変更と加重平均を算出する
前提
材料開発においてMIを使用したいと考えております。言語はpythonを使用しています。
材料a,b,cを比率a : b : c=A:B:Cで混合する実験を想定しています。a,b,cには種類があり、例えばaはa_1とa_2があります。
a,b,cにはそれぞれx,y,zという特性値をもっており、別のデータフレームにまとまっています。
目標
...
0
票
2
回答
542
閲覧数
辞書配列のデータをdfに変換するには?
辞書からデータフレームを作成したいのですが、一列のデータフレームになってしまいます。どのようにして、辞書のキーをカラム名にしたデータフレームを作るのか教えていただけないでしょうか?
dictlist = [[{'viewCount': '1387827', 'likeCount': '48171', 'favoriteCount': '0', 'commentCount': '6352'}], [{...
0
票
2
回答
1,809
閲覧数
Pandasでgroupbyを使って重複した値を1行でまとめたい
やりたいこと
表1に 定刻[変更] のように同じ列を含む行が複数あった場合、表2のように1行にまとめたいです。
Pandasのgroupbyを使ってみましたが、実現したい結果と上手くいかないです。
コードでは何がいけないのか、もしくは他に簡単な方法がありましたら、教えていただけると嬉しいです。お手数ですが、よろしくお願い致します。
表1.csv
定刻[変更],出発地,経由地,航空会社,便名,機種,...
0
票
1
回答
784
閲覧数
DataFrameセル内のリストを列方向に展開したい
今、以下のような各セルにリストが入ったDataFrameがあります。
import pandas as pd
df = pd.DataFrame(
{'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]},
index=[1, 2, 3])
このDataFrameを以下のように加工をしたいです。
x1, x2 ...
0
票
1
回答
742
閲覧数
pandasのデータフレームをスプレッドシートへ反映したい
スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。
やりたいこと
データフレームをスプレッドシートの最下部に追加したい
コード:
import pandas as pd
import gspread
import csv
import json
from oauth2client.service_account ...
0
票
1
回答
1,878
閲覧数
Pandas でのデータ結合時にエラーが発生する
seriesに対し、日付をkeyにしてmerge_df1を左外部結合の下記のプログラムを実行するとエラーが発生するのですがなぜなのでしょうか?
import numpy as np
import pandas as pd
series = pd.Series(['1/1', '1/2', '1/3', '1/4', '1/5', '1/6','1/7',
'1/8'...
0
票
1
回答
65
閲覧数
Pythonのデータ結合についての質問です。
Pythonのデータ結合についての質問です。
seriesに対し、日付をkeyにしてdf1を左外部結合するやり方を教えていただけませんか。
series=pd.series ([‘1/1’,’1/2’,…..’1/10’],name=‘日付’)
df1=pd.DataFrame ({‘日付’:[‘1/1’,’1/2’,…..’1/7’], {‘天気’:[‘晴れ,’’曇り’,…..’曇り’]})
-1
票
1
回答
227
閲覧数
Pandasでフィルターもしくは行削除後、データを書き込みしたい
やりたいこと
pythonで下記のエクセルを読み込み
searchの列が空白の時だけその行を処理して,google上で検索したいです。
検索後、searchにOKとして記載したいです。
エクセル
country
search
america
canada
OK
spain
japan
OK
現在の結果
現在は書き込みする際に元のデータが消えてしまいます。
消えない方法ありますでしょうか。...
0
票
0
回答
1,311
閲覧数
pandasでエクセル読み込み時のエラーの解決方法を教えてください
pandasでエクセル(xlsx)を読み込んでcsvファイルを書き出す、というプログラムを作っています。
pandasでエクセルファイル読み込み時にエラーがでるようで、それについて調べてみると pip install xlrd で解決、ということでしたがインストールしても解決しません。
コマンドプロンプトを開いて python test.py でプログラムは動きます。
しかし、test....
0
票
1
回答
1万
閲覧数
Pandas でCSV ファイルの読み込み時にエラー UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81
CSVファイルの読み込みができません。
import pandas as pd
import matplotlib.pyplot as plt
#data input
df_2021 = pd.read_csv('2021.csv',engine="python")
df_2021
結果
>>> #data input
>>> ...
1
票
3
回答
633
閲覧数
データフレームから不要な行データを削除する方法
先ずはPythonで特定の行番号を取得したいです。
番号を取得後、任意の行数を抽出して、それ以降の行を削除したいです。
コードのどこがいけないのかpandasに詳しい方教えていただけませんでしょうか。
set_indexの部分でしょうか。
元のエクセル
国
America
2022/5/10
Japan
実現したいエクセル
条件
日付がある行の番号を取得して、それ以後の行を削除したいです。...
0
票
1
回答
917
閲覧数
pd.read_htmlがうまく機能しない
以下のURLからテーブルデータを取ろうとしていますが、片方のURLの場合(aa1)だけうまくいきません。
これは取ってくるデータの文字列に何か原因があるのでしょうか。また、色々他のサイトで調べた結果、encoding="cp932"と行ってもうまくいきませんでした。
例えば、
import pandas as pd
aa0 = "https://db.netkeiba....
0
票
1
回答
583
閲覧数
pandasにてcsvを読み込んだときにカンマで区切られない
pandasにてcsvを読み込んだ時にカンマで区切ることができません。
図のように、columnが1と表示されてしまいます。
delimiterも試してみましたが、変化がありません。
何か足りない部分があるのでしょうか?
以下、追記--------------------
3行目と4行目を記載します。
行全体がダブルクォートで囲まれている様には見えないのですが。。
DATA No ...
0
票
2
回答
128
閲覧数
pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい
pandasの縦方向の計算が苦手で、教えていただければと思います。
シミュレーション用のデータを作成したいと考えているのですが、顧客ごとに、5つの行動をします。その5つの行動によって、顧客の認知レベルが上がるということを想定します。行動1から行動5まであった場合に、顧客ステージを0~5の6段階に分けて、初期状態では、まず顧客ステージが0を入れます。表は時系列になっています。
・顧客ステージが0の時、...
0
票
0
回答
194
閲覧数
pandasguiの表示がウィンドウ内に収まらない
当方pythonをあまり使用した経験がなく、初歩的な質問でしたら大変申し訳ございません。
知っている範囲で検索してみたのですが、解決できずこちらで質問させていただきます。
pandasguiを起動したところ、
以下のようなエラーとともに、起動したアプリの表示が添付の画像のようにアプリ全体がwindow内に収まらない状態となってしまっています。
パッケージのバージョンも確かめて、...
0
票
1
回答
287
閲覧数
DataFrame.queryの使い方について
https://note.nkmk.me/python-pandas-query/
にある、
print(df.query('name.str.contains("li")', engine='python'))
を真似してコーディングしているのですが、
raise NotImplementedError(f"'{node_name}' nodes are not ...
0
票
2
回答
220
閲覧数
DataFrameで各行毎に処理をした結果を1つのリストにまとめる方法
DataFrameで各行毎に処理をした結果を1つのリストにまとめたいです。
下記のように書くことはできたのですが、可読性向上のために、myfunc内で関数外のリストに要素を追加しているのをやめて、別の方法で書くことはできないでしょうか?
apply以外の方法でも構わないのですが、iterrowsは使わずに書きたいです。
import pandas as pd
df = pd.DataFrame(
...
0
票
1
回答
927
閲覧数
DataFrameで条件に一致した文字から始まる列の値が条件に一致した文字以外であれば抽出する方法
DataFrameで「条件に一致した文字("input")から始まる列の値が条件に一致した文字("a")以外であれば抽出」したいです。
下記のように書くことはできたのですが、もう少し簡潔に書けないでしょうか?
import pandas as pd
df = pd.DataFrame(
[["Yamada", "a&...
0
票
2
回答
390
閲覧数
JSONファイルのエラー箇所の特定
Python 3.9.10を使っています。
JSONファイルを読もうとしたときに、
import pandas as pd
json_file = open(ファイルパス, 'r', encoding='utf-8')
df = pd.read_json(json_file)
というようなことをやっていますが、エラーが出ることがあります。エラーの意味することが何なのかというかということは、...
0
票
1
回答
178
閲覧数
pandas.plotにおいてstring indexの場合のvlines()がうまく機能しない
文字列のindexを持つpandas.Dataframeにおいて、縦の補助線を引く場合にindex(x軸)をうまく指定できないです。
plotしたいpandas.Dataframeは以下のようになります。indexがobjectなのは確認できています。
print(df_occ_test.index.dtype)
object
print(df_occ_test)
a ...
0
票
1
回答
1,247
閲覧数
concatの使い方について。(pandasのappendでやっている作業をconcatに置き換えたい)
データフレームに関する作業をしていたら、
FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead.
というのがでたので、concatに変えた方がよいのかなと思っていますが、...
0
票
2
回答
209
閲覧数
`df.groupby("user").resample("W",on="date",label="left",closed="left")[["count"]].sum()`を実行したときに`KeyError`が発生する原因を教えてください。
実行環境
Python 3.10.2
pandas 1.4.1
やりたいこと
以下のpandas.DataFrameに対して、userごとにcountを1週間単位で集計したいです。
In [1]: df=pandas.DataFrame({"count":[1,2,3], "working_hours":[6,7,8], "user"...
0
票
0
回答
198
閲覧数
日本郵便の住所とe-Statの住所を紐づける方法
日本郵便が配布している郵便番号,住所テーブルとe-Statが提供しているshpファイルを用いて郵便番号-緯度経度テーブルを作成したいと考えてます。しかし、日本郵便とe-Statの住所表記に数多くの表記揺れが存在しており、簡単にジョインできない状況です。住所以外に共通するユニークなカラムが存在しないためどのようにすれば上手く結合できるかアイデアをいただきたく思い質問しました。...
0
票
1
回答
264
閲覧数
pandas.DataFrame.resample関数の`label`引数, `closed`引数のデフォルト値は、なぜ特定の条件だけ`right`なのでしょうか?
やりたいこと
以下のデータのcountを、1週間単位(日曜日始まり)で集計した値を算出したいです。
In [1]: df=pandas.DataFrame({"count":[1,2,3],
"date": pandas.date_range('2022-03-13', periods=3, freq='D')})
In [2]: df
Out[2]:
...
0
票
0
回答
289
閲覧数
JSON-LD を Pandas の DataFrame へ変換する方法
JSON-LDで値を返す RESTful API を使って、r = requests.get( <API> ) で受け取った
r の type は <class 'requests.models.Response'> です。
JSON を Pandas DataFrame に変換する のページを見ながら真似してみたのですが、エラーとなってしまいます。
json.loads(...
1
票
2
回答
86
閲覧数
awareなDataTimeIndexのshiftによる、不可解なAmbiguousTimeErrorについて
freq='D'のDateTimeIndexで、ニューヨーク時刻の2022/02/07を92日前にずらすとAmbiguousTimeErrorが発生します。
freq属性をNoneにすればエラーを回避できることが確認できましたが、現在の振る舞い/仕様が不可解で納得できずにいます。
タイムゾーンを変換するときに、夏時間によるあいまいさが発生するのは理解でできたのですが、...
1
票
2
回答
158
閲覧数
マルチインデックスなデータフレームから、ループなしで、行を抽出する方法
以下のような、マルチインデックスなデータフレーム(価格データ)と、
期間が含まれるデータフレーム(対象期間データ)から作成したスライスを利用して、
対象の期間の行を抽出したいです。
ループを利用すれば何とか出来たのですが、
(パフォーマンス向上のために、)ループやapplyなしで、
記述することはできますでしょうか?
import io
import pandas as pd
...
0
票
1
回答
376
閲覧数
最終的に、ilocで取得した列を新しいDataFrameへ横にappendする処理を繰り返したい
下記のコードを実行することで行いたい処理は次のとおりです。
フォルダ内にあるcsvファイルを全取得する
ファイル構成(カラム名や行数)は同じなので最初に開いたcsvファイル(data_r)の列名から抽出したいカラム番号を選択する
data_rからilocで欲しい列を全行取得(data_c)する(このとき欲しい列は選択したカラム番号になる)
カラム名はどのファイルでも同名のため、...
0
票
2
回答
344
閲覧数
コラムの値を空白文字で区切り、別のコラムに分割したい
Pandasで以下のようなCSVファイルをDFとして読み込みました。
このDF内の、郵便番号と住所を別のコラムにしたいです。
下記のコードを試しました。
gyoumu_add_csv['split'] = gyoumu_add_csv['A'].str.split(' ')
gyoumu_add_csv['A1'] = gyoumu_add_csv['split'].str.get(0)
...
1
票
2
回答
127
閲覧数
0.1 刻みのデータから特定の値だけが取り出せない
pandasを使い、0~0.9までの値を0.1刻みで取り出そうとしているのですが、
なぜか0.6だけ取り出すことができません。
0.6は存在することを確認しましたが、取り出すことができません。
aa = pd.DataFrame()
for i in range(10):
aa = aa.append((b[b["Gate Voltage[V]"] == 0.100*i]...
0
票
2
回答
3,102
閲覧数
pandasで別のデータフレームへのappendがうまくできません
特定の行の最大値を調べ、その最大値が存在する行を別のデータフレームにappendさせたいのですが、
上手くappendできません。どうすればいいのでしょうか?
import pandas as pd
df1 = pd.DataFrame({'col1': [0, 3, 2, 3], 'col2': [5, 0, 2, 1]})
print(df)
print(df["col2"...
0
票
1
回答
218
閲覧数
pandasでindexの値を取り出したい
pandasで指定した行のindexの取り出し方を知りたいです。
Name Type
0 blue Raptors
1 delta Raptors
2 echo Raptors
3 charlie Raptors
4 alpha ...
2
票
3
回答
898
閲覧数
マルチインデックスのDataFrameに、複数の列をまとめて追加する方法
列がマルチインデックスなDataFrameへ、
複数の列を、ループを利用せずに、まとめて追加することできないでしょうか?
参考にしたサイト:https://www.fixes.pub/program/312227.html
import pandas as pd
df = pd.DataFrame(
data=[
['a', 10, 'あ', 11],
['...
0
票
0
回答
1,434
閲覧数
Python3.8.3でpandasが使えない
現在VScodeで作業をしているのですが、pandasライブラリがPython3.8.8では使えるのに対し、3.8.3の環境では使えず困っています。ライブラリのインストールはpipコマンドで行いました。
自分なりに調べましたが、pandasのバージョンを変更すべきか再インストールすべきかも分かりませんでした。対処法を教えていただけると幸いです。
エラーメッセージ:
Import "...
0
票
1
回答
1,525
閲覧数
pandasで任意の位置の値に代入locの利用方法について
Pythonのpandasのライブラリを使って
任意の位置の値に代入したいです。
ExcelからYahooの交通費検索して取得した金額の値を
金額の列に値を入力したいです。
既に入力しているもの除外しております。
Excel Data
出発
到着
金額
備考
東京
品川
池袋
浅草
新宿
五反田
168
20211222利用済み
実現結果のExcel Data
出発
到着
金額
備考
...
0
票
1
回答
866
閲覧数
pandasのリスト要素を加算するときにNaNになることを避ける方法
DateFrameの複数の列にそれぞれリストが格納されているときに、リスト内の値を結合して1つのリストを生成したいです。列の値としてNaNが含まれていない場合は列同時を結合すれば実現できたのですが、NaNが含まれる場合に結果がNaNとなってしまいます。NaNを除いて処理を行うにはどうすればよいでしょうか?
import pandas as pd
import numpy as np
...
0
票
2
回答
261
閲覧数
pandas list型にするには
csvファイル(A_csv)
A B C D E F G H I J
1 1 2 3 4 5 6 7 8 9 10
をpandasを使いプログラム上に読み込み
リスト型
[1,2,3,4,5,6,7,8,9,10]
に変更したいのですが,
Empty DataFrame
Columns: [1 2 3 4 5 6 7 8 9 10]
Index: []
...
3
票
1
回答
131
閲覧数
DataFrame/Seriesの欠損値を定数で補完するとき、内挿のみに指定したい
DataFrame/Seriesの欠損値を、定数で補完したいのですが、内挿[limit_area='inside']を指定する方法ありますでしょうか?
両端の欠損値はそのまま補完しないようにしたいです。
import pandas as pd
series = pd.Series(data=[ None, 20, None, 40, None ], index=[ 'aa', 'bb', 'cc'...
0
票
1
回答
80
閲覧数
読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したい
プログラミング初心者です。
読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したいです。
イメージとしては、
ファイル1つ目:2020/01/01 - 2020/04/01
ファイル2つ目:2020/01/01 - 2020/07/01
ファイル3つ目:2020/01/01 - 2020/10/01
など
エラーメッセージは出ないのですが、...