[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
0
1 回答
85 閲覧数

PandasのDataframeにあるデータを対象に分位数を使った足切りをしたい

概要 PandasのDataframeにあるデータを、列のラベルごとに集計し、特定の分位数を使って外れ値の除外をするにはどのようなコードを書けばよいでしょうか? 詳細 環境はpython3.6です 対象となるDataframeは以下のような内容です sensor_name temperature Humidity Pressure sensor1 15.5 67 1001 sensor1 15.8 ...
  • 387
0
1 回答
183 閲覧数

データフレームを結合し、名前の変更と加重平均を算出する

前提 材料開発においてMIを使用したいと考えております。言語はpythonを使用しています。 材料a,b,cを比率a : b : c=A:B:Cで混合する実験を想定しています。a,b,cには種類があり、例えばaはa_1とa_2があります。 a,b,cにはそれぞれx,y,zという特性値をもっており、別のデータフレームにまとまっています。 目標 ...
  • 3
0
2 回答
388 閲覧数

辞書配列のデータをdfに変換するには?

辞書からデータフレームを作成したいのですが、一列のデータフレームになってしまいます。どのようにして、辞書のキーをカラム名にしたデータフレームを作るのか教えていただけないでしょうか? dictlist = [[{'viewCount': '1387827', 'likeCount': '48171', 'favoriteCount': '0', 'commentCount': '6352'}], [{...
  • 5
0
2 回答
1,111 閲覧数

Pandasでgroupbyを使って重複した値を1行でまとめたい

やりたいこと 表1に 定刻[変更] のように同じ列を含む行が複数あった場合、表2のように1行にまとめたいです。 Pandasのgroupbyを使ってみましたが、実現したい結果と上手くいかないです。 コードでは何がいけないのか、もしくは他に簡単な方法がありましたら、教えていただけると嬉しいです。お手数ですが、よろしくお願い致します。 表1.csv 定刻[変更],出発地,経由地,航空会社,便名,機種,...
  • 435
0
1 回答
504 閲覧数

DataFrameセル内のリストを列方向に展開したい

今、以下のような各セルにリストが入ったDataFrameがあります。 import pandas as pd df = pd.DataFrame( {'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]}, index=[1, 2, 3]) このDataFrameを以下のように加工をしたいです。 x1, x2 ...
0
1 回答
571 閲覧数

pandasのデータフレームをスプレッドシートへ反映したい

スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。 やりたいこと データフレームをスプレッドシートの最下部に追加したい コード: import pandas as pd import gspread import csv import json from oauth2client.service_account ...
  • 1
0
1 回答
1,004 閲覧数

Pandas でのデータ結合時にエラーが発生する

seriesに対し、日付をkeyにしてmerge_df1を左外部結合の下記のプログラムを実行するとエラーが発生するのですがなぜなのでしょうか? import numpy as np import pandas as pd series = pd.Series(['1/1', '1/2', '1/3', '1/4', '1/5', '1/6','1/7', '1/8'...
  • 1
0
1 回答
63 閲覧数

Pythonのデータ結合についての質問です。

Pythonのデータ結合についての質問です。 seriesに対し、日付をkeyにしてdf1を左外部結合するやり方を教えていただけませんか。 series=pd.series ([‘1/1’,’1/2’,…..’1/10’],name=‘日付’) df1=pd.DataFrame ({‘日付’:[‘1/1’,’1/2’,…..’1/7’], {‘天気’:[‘晴れ,’’曇り’,…..’曇り’]})
  • 1
-1
1 回答
188 閲覧数

Pandasでフィルターもしくは行削除後、データを書き込みしたい

やりたいこと pythonで下記のエクセルを読み込み searchの列が空白の時だけその行を処理して,google上で検索したいです。 検索後、searchにOKとして記載したいです。 エクセル country search america canada OK spain japan OK 現在の結果 現在は書き込みする際に元のデータが消えてしまいます。 消えない方法ありますでしょうか。...
  • 435
0
0 回答
798 閲覧数

pandasでエクセル読み込み時のエラーの解決方法を教えてください

pandasでエクセル(xlsx)を読み込んでcsvファイルを書き出す、というプログラムを作っています。 pandasでエクセルファイル読み込み時にエラーがでるようで、それについて調べてみると pip install xlrd で解決、ということでしたがインストールしても解決しません。 コマンドプロンプトを開いて python test.py でプログラムは動きます。 しかし、test....
0
1 回答
7,473 閲覧数

Pandas でCSV ファイルの読み込み時にエラー UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81

CSVファイルの読み込みができません。 import pandas as pd import matplotlib.pyplot as plt #data input df_2021 = pd.read_csv('2021.csv',engine="python") df_2021 結果 >>> #data input >>> ...
1
3 回答
509 閲覧数

データフレームから不要な行データを削除する方法

先ずはPythonで特定の行番号を取得したいです。 番号を取得後、任意の行数を抽出して、それ以降の行を削除したいです。 コードのどこがいけないのかpandasに詳しい方教えていただけませんでしょうか。 set_indexの部分でしょうか。 元のエクセル 国 America 2022/5/10 Japan 実現したいエクセル 条件 日付がある行の番号を取得して、それ以後の行を削除したいです。...
  • 435
0
1 回答
609 閲覧数

pd.read_htmlがうまく機能しない

以下のURLからテーブルデータを取ろうとしていますが、片方のURLの場合(aa1)だけうまくいきません。 これは取ってくるデータの文字列に何か原因があるのでしょうか。また、色々他のサイトで調べた結果、encoding="cp932"と行ってもうまくいきませんでした。 例えば、 import pandas as pd aa0 = "https://db.netkeiba....
  • 337
0
1 回答
376 閲覧数

pandasにてcsvを読み込んだときにカンマで区切られない

pandasにてcsvを読み込んだ時にカンマで区切ることができません。 図のように、columnが1と表示されてしまいます。 delimiterも試してみましたが、変化がありません。 何か足りない部分があるのでしょうか? 以下、追記-------------------- 3行目と4行目を記載します。 行全体がダブルクォートで囲まれている様には見えないのですが。。 DATA No ...
0
2 回答
127 閲覧数

pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい

pandasの縦方向の計算が苦手で、教えていただければと思います。 シミュレーション用のデータを作成したいと考えているのですが、顧客ごとに、5つの行動をします。その5つの行動によって、顧客の認知レベルが上がるということを想定します。行動1から行動5まであった場合に、顧客ステージを0~5の6段階に分けて、初期状態では、まず顧客ステージが0を入れます。表は時系列になっています。 ・顧客ステージが0の時、...
0
0 回答
142 閲覧数

pandasguiの表示がウィンドウ内に収まらない

当方pythonをあまり使用した経験がなく、初歩的な質問でしたら大変申し訳ございません。 知っている範囲で検索してみたのですが、解決できずこちらで質問させていただきます。 pandasguiを起動したところ、 以下のようなエラーとともに、起動したアプリの表示が添付の画像のようにアプリ全体がwindow内に収まらない状態となってしまっています。 パッケージのバージョンも確かめて、...
0
1 回答
202 閲覧数

DataFrame.queryの使い方について

https://note.nkmk.me/python-pandas-query/ にある、 print(df.query('name.str.contains("li")', engine='python')) を真似してコーディングしているのですが、 raise NotImplementedError(f"'{node_name}' nodes are not ...
0
2 回答
185 閲覧数

DataFrameで各行毎に処理をした結果を1つのリストにまとめる方法

DataFrameで各行毎に処理をした結果を1つのリストにまとめたいです。 下記のように書くことはできたのですが、可読性向上のために、myfunc内で関数外のリストに要素を追加しているのをやめて、別の方法で書くことはできないでしょうか? apply以外の方法でも構わないのですが、iterrowsは使わずに書きたいです。 import pandas as pd df = pd.DataFrame( ...
0
1 回答
728 閲覧数

DataFrameで条件に一致した文字から始まる列の値が条件に一致した文字以外であれば抽出する方法

DataFrameで「条件に一致した文字("input")から始まる列の値が条件に一致した文字("a")以外であれば抽出」したいです。 下記のように書くことはできたのですが、もう少し簡潔に書けないでしょうか? import pandas as pd df = pd.DataFrame( [["Yamada", "a&...
0
2 回答
268 閲覧数

JSONファイルのエラー箇所の特定

Python 3.9.10を使っています。 JSONファイルを読もうとしたときに、 import pandas as pd json_file = open(ファイルパス, 'r', encoding='utf-8') df = pd.read_json(json_file) というようなことをやっていますが、エラーが出ることがあります。エラーの意味することが何なのかというかということは、...
0
1 回答
139 閲覧数

pandas.plotにおいてstring indexの場合のvlines()がうまく機能しない

文字列のindexを持つpandas.Dataframeにおいて、縦の補助線を引く場合にindex(x軸)をうまく指定できないです。 plotしたいpandas.Dataframeは以下のようになります。indexがobjectなのは確認できています。 print(df_occ_test.index.dtype) object print(df_occ_test) a ...
  • 1
0
1 回答
1,123 閲覧数

concatの使い方について。(pandasのappendでやっている作業をconcatに置き換えたい)

データフレームに関する作業をしていたら、  FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead. というのがでたので、concatに変えた方がよいのかなと思っていますが、...
0
2 回答
154 閲覧数

`df.groupby("user").resample("W",on="date",label="left",closed="left")[["count"]].sum()`を実行したときに`KeyError`が発生する原因を教えてください。

実行環境 Python 3.10.2 pandas 1.4.1 やりたいこと 以下のpandas.DataFrameに対して、userごとにcountを1週間単位で集計したいです。 In [1]: df=pandas.DataFrame({"count":[1,2,3], "working_hours":[6,7,8], "user"...
  • 1,626
0
0 回答
173 閲覧数

日本郵便の住所とe-Statの住所を紐づける方法

日本郵便が配布している郵便番号,住所テーブルとe-Statが提供しているshpファイルを用いて郵便番号-緯度経度テーブルを作成したいと考えてます。しかし、日本郵便とe-Statの住所表記に数多くの表記揺れが存在しており、簡単にジョインできない状況です。住所以外に共通するユニークなカラムが存在しないためどのようにすれば上手く結合できるかアイデアをいただきたく思い質問しました。...
  • 337
0
1 回答
212 閲覧数

pandas.DataFrame.resample関数の`label`引数, `closed`引数のデフォルト値は、なぜ特定の条件だけ`right`なのでしょうか?

やりたいこと 以下のデータのcountを、1週間単位(日曜日始まり)で集計した値を算出したいです。 In [1]: df=pandas.DataFrame({"count":[1,2,3], "date": pandas.date_range('2022-03-13', periods=3, freq='D')}) In [2]: df Out[2]: ...
  • 1,626
0
0 回答
234 閲覧数

JSON-LD を Pandas の DataFrame へ変換する方法

JSON-LDで値を返す RESTful API を使って、r = requests.get( <API> ) で受け取った r の type は <class 'requests.models.Response'> です。 JSON を Pandas DataFrame に変換する のページを見ながら真似してみたのですが、エラーとなってしまいます。 json.loads(...
1
2 回答
84 閲覧数

awareなDataTimeIndexのshiftによる、不可解なAmbiguousTimeErrorについて

freq='D'のDateTimeIndexで、ニューヨーク時刻の2022/02/07を92日前にずらすとAmbiguousTimeErrorが発生します。 freq属性をNoneにすればエラーを回避できることが確認できましたが、現在の振る舞い/仕様が不可解で納得できずにいます。 タイムゾーンを変換するときに、夏時間によるあいまいさが発生するのは理解でできたのですが、...
  • 336
1
2 回答
145 閲覧数

マルチインデックスなデータフレームから、ループなしで、行を抽出する方法

以下のような、マルチインデックスなデータフレーム(価格データ)と、 期間が含まれるデータフレーム(対象期間データ)から作成したスライスを利用して、 対象の期間の行を抽出したいです。 ループを利用すれば何とか出来たのですが、 (パフォーマンス向上のために、)ループやapplyなしで、 記述することはできますでしょうか? import io import pandas as pd ...
  • 336
0
1 回答
290 閲覧数

最終的に、ilocで取得した列を新しいDataFrameへ横にappendする処理を繰り返したい

下記のコードを実行することで行いたい処理は次のとおりです。 フォルダ内にあるcsvファイルを全取得する ファイル構成(カラム名や行数)は同じなので最初に開いたcsvファイル(data_r)の列名から抽出したいカラム番号を選択する data_rからilocで欲しい列を全行取得(data_c)する(このとき欲しい列は選択したカラム番号になる) カラム名はどのファイルでも同名のため、...
  • 147
0
2 回答
282 閲覧数

コラムの値を空白文字で区切り、別のコラムに分割したい

Pandasで以下のようなCSVファイルをDFとして読み込みました。 このDF内の、郵便番号と住所を別のコラムにしたいです。 下記のコードを試しました。 gyoumu_add_csv['split'] = gyoumu_add_csv['A'].str.split(' ') gyoumu_add_csv['A1'] = gyoumu_add_csv['split'].str.get(0) ...
1
2 回答
122 閲覧数

0.1 刻みのデータから特定の値だけが取り出せない

pandasを使い、0~0.9までの値を0.1刻みで取り出そうとしているのですが、 なぜか0.6だけ取り出すことができません。 0.6は存在することを確認しましたが、取り出すことができません。 aa = pd.DataFrame() for i in range(10): aa = aa.append((b[b["Gate Voltage[V]"] == 0.100*i]...
  • 35
0
2 回答
2,113 閲覧数

pandasで別のデータフレームへのappendがうまくできません

特定の行の最大値を調べ、その最大値が存在する行を別のデータフレームにappendさせたいのですが、 上手くappendできません。どうすればいいのでしょうか? import pandas as pd df1 = pd.DataFrame({'col1': [0, 3, 2, 3], 'col2': [5, 0, 2, 1]}) print(df) print(df["col2"...
  • 35
0
1 回答
143 閲覧数

pandasでindexの値を取り出したい

pandasで指定した行のindexの取り出し方を知りたいです。 Name Type 0 blue Raptors 1 delta Raptors 2 echo Raptors 3 charlie Raptors 4 alpha ...
  • 35
2
3 回答
527 閲覧数

マルチインデックスのDataFrameに、複数の列をまとめて追加する方法

列がマルチインデックスなDataFrameへ、 複数の列を、ループを利用せずに、まとめて追加することできないでしょうか? 参考にしたサイト:https://www.fixes.pub/program/312227.html import pandas as pd df = pd.DataFrame( data=[ ['a', 10, 'あ', 11], ['...
  • 119
0
0 回答
1,181 閲覧数

Python3.8.3でpandasが使えない

現在VScodeで作業をしているのですが、pandasライブラリがPython3.8.8では使えるのに対し、3.8.3の環境では使えず困っています。ライブラリのインストールはpipコマンドで行いました。 自分なりに調べましたが、pandasのバージョンを変更すべきか再インストールすべきかも分かりませんでした。対処法を教えていただけると幸いです。 エラーメッセージ: Import "...
0
1 回答
1,041 閲覧数

pandasで任意の位置の値に代入locの利用方法について

Pythonのpandasのライブラリを使って 任意の位置の値に代入したいです。 ExcelからYahooの交通費検索して取得した金額の値を 金額の列に値を入力したいです。 既に入力しているもの除外しております。 Excel Data 出発 到着 金額 備考 東京 品川 池袋 浅草 新宿 五反田 168 20211222利用済み 実現結果のExcel Data 出発 到着 金額 備考 ...
  • 435
0
1 回答
627 閲覧数

pandasのリスト要素を加算するときにNaNになることを避ける方法

DateFrameの複数の列にそれぞれリストが格納されているときに、リスト内の値を結合して1つのリストを生成したいです。列の値としてNaNが含まれていない場合は列同時を結合すれば実現できたのですが、NaNが含まれる場合に結果がNaNとなってしまいます。NaNを除いて処理を行うにはどうすればよいでしょうか? import pandas as pd import numpy as np ...
0
2 回答
178 閲覧数

pandas list型にするには

csvファイル(A_csv) A B C D E F G H I J 1 1 2 3 4 5 6 7 8 9 10 をpandasを使いプログラム上に読み込み リスト型 [1,2,3,4,5,6,7,8,9,10] に変更したいのですが, Empty DataFrame Columns: [1 2 3 4 5 6 7 8 9 10] Index: [] ...
2
1 回答
122 閲覧数

DataFrame/Seriesの欠損値を定数で補完するとき、内挿のみに指定したい

DataFrame/Seriesの欠損値を、定数で補完したいのですが、内挿[limit_area='inside']を指定する方法ありますでしょうか? 両端の欠損値はそのまま補完しないようにしたいです。 import pandas as pd series = pd.Series(data=[ None, 20, None, 40, None ], index=[ 'aa', 'bb', 'cc'...
  • 336
0
1 回答
77 閲覧数

読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したい

プログラミング初心者です。 読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したいです。 イメージとしては、  ファイル1つ目:2020/01/01 - 2020/04/01  ファイル2つ目:2020/01/01 - 2020/07/01  ファイル3つ目:2020/01/01 - 2020/10/01  など エラーメッセージは出ないのですが、...
  • 1
0
1 回答
287 閲覧数

Pandas でエクセルファイルを取り込んだデータフレームの name で AttributeError が発生する

以下の記事を参考に作業しています。 Excelシートをデータフレームとして読み込む pd_xl = pd.ExcelFile(<略>) temp_df = pd_xl.parse(sheet_name=<略>, names=<略>) temp_df = temp_df.fillna('-') print('temp_df.name-->', ...
1
3 回答
685 閲覧数

pandasのDataFrameの操作において、部分一致複数条件かつ可変長の引数を持って特定のカラムの値を操作する関数を実装したい

※12/28,「文字型」としていたが「データ型」に修正。ご指摘ありがとうございました。 表題について、例えば列名とデータ型が以下の様なデータフレームがあり、この中から カラム名に"A"または"B"の文字列を含む列で、データ型がintのもののみ-1する カラム名に"0"を含むものは操作せず、何もしない といった関数を実装するには、...
0
2 回答
1,238 閲覧数

Beautiful Soup4で動的なクラス名自体を取得するには?

BS4初心者、というかWebスクレイピング初心者です。 スクレイピング対象のサイトの作りが表データと表を説明するデータで構成されており、Pandasを使い表データ取得や加工等はできるようになったのですが、表以外のデータの取得も必要となりBeautifulSoup4を併用することで考えています。 取得する必要があるのは動的に変更となるclass名自体になります。 ...
1
2 回答
2,791 閲覧数

Pandas DataFrame型での複数列を1列にしたい

以下のようなDataFrame型のデータがあります。 Pandas DataFrame型での複数列(fish,meet,vegetable)を1列にして、データ内容についても保持したいと考えております。 date member total fish meet vegetable 2020/10/1 SATO 2000 600 600  400 2020/...
  • 11
0
1 回答
228 閲覧数

マルチインデックスの複数の列の値を、他の列の条件に基づき、一括で更新する方法

列がマルチインデックスなDataFrameの複数の列の値を、 他の列の条件に合わせて変更する方法を教えていただけないでしょうか。 それぞれのAA列、BB列の大小比較結果を新しい列に追加したいです。列方向は可変長を想定しています。 slice(None)を利用して考えたのですが、うまくいきませんでした。 df.loc[ (slice(None), 'AA') > (slice(None), '...
  • 336
0
2 回答
1,223 閲覧数

マルチインデックスの列名をまとめて変更する方法

上段のようなDataFrameから、列名を変更して下段のようにしたいです。 行、列ともに件数が多く、可変長なため、 可能であれば、一括して変更したいのですが、forループを利用せずに列名を一括して変更することはできないでしょうか? import io import pandas as pd # 変更前のDataFrame data = """\ level_0,...
  • 336
0
1 回答
114 閲覧数

Python Pandasでのデータ処理を簡潔に書きたい

困っていること 例のようなデータを入力としてもっています。 Pythonコードの中で、以下の "実現したい処理" を書きたいが、明らかに冗長な方法しか思いつきません。 どなたかスマートな書き方を思いつく方、お力を貸してください。 入力データ "小分類ごとの数"と"中分類ごとの上限"が与えられている。 中分類 小分類 数量 中分類_上限 ...
user avatar
0
1 回答
132 閲覧数

Pandasでmode()の結果のみをfor文で取得する方法

以下のコードを実行した結果、最頻値をseries型で取得できたのですが、「大字仲原」や「大字鉄輪」など実際のデータだけを取得するためにはどうすればいいでしょうか? ▼コード null_stationAreas = df["地区名"].isnull() for null_stationArea in list(df.loc[null_stationAreas,"最寄駅:...
0
1 回答
131 閲覧数

マルチインデックスでidxmaxを利用する方法

マルチインデックスなDataFrameから、最大値と、そのインデックスを取得するにはどうしたらよいでしょうか? 最大値は、df.max(axis='columns', level='種別')で取得できそうなのですが、 idxmaxは引数にlevelを指定できないようで、困っています。 以下の方法が思いついたのですが、どちらもパフォーマンスを損なう気がしています。 ...
  • 119
1
1 回答
126 閲覧数

DateTimeIndexの日時の加算

DateTimeIndexのすべての日付をずらす(加減算)したいのですが、 どのようにすればよいでしょうか? 例えば、以下の場合でしたら、df1から10日後の、df2を作成することは可能でしょうか? import pandas as pd df1 = pd.DataFrame(data={ 'Value':[ 100, 200, 300 ] }, index=[ ...
  • 336