[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
0
2 回答
466 閲覧数

エクセルから読み込んだ数値データが形が変わって出力される

エクセルから読み込んだ数値データをvscode上で表示すると、小数点まで表示される。 例えば2という値だと、2.0と表示される。こちらを小数点を抜きにしたいと考えています。0001が1.0と表示されるのを0001のまま出力したい。 ・エクセルデータの値をそのまま出力したい ・vscode上の出力[.0]を表示されないようにしたい。 どちらもExcelの設定の問題であれば、...
sawamura's user avatar
0
5 回答
594 閲覧数

エクセルのデータを数字か数字以外かでチェックしたい

エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。 条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
sawamura's user avatar
0
0 回答
184 閲覧数

x軸のラベルがdatetimeの日付形式のまま出力されてしまう

概要 csvデータからmatplotlibを使用し、棒グラフを作成しているのですが 日付形式がdatetimeの型のまま出力されてしまいます。(yyyy-mm-dd hh:ss:mm) 出力されているデータ自体は問題ないのですが、x軸のラベルだけ修正したいと考えてます。(yyyy/mm/ddに変えたい。) 試してみたこと csvデータを読み込んで、、とありますが元データはExcel形式となります。 ...
rakuda's user avatar
  • 11
-1
1 回答
55 閲覧数

Pandas で条件付けした列の抽出をしたい

3つの変数(A,B,C)から成るdfから C=True(Cはbool)に限定した、変数をAとBのみに限定した新たなdf1を作成する際のコードについてですが、下記を考えましたがエラーになります。どこがおかしいのでしょうか?どなたかご教示ねがえないでしょうか? それとも1行で記載するのは難しいのでしょうか? df1 = df[['A', 'B']].query('C == True') df1
Kohyan's user avatar
  • 3
-1
1 回答
587 閲覧数

正規表現で電話番号の文字列を正規化したい

前提 pandas の電話番号の列を正規表現にしたいです。 現在下記の読み込みcsvのように先頭の0が抜けたりハイフンなしがあります。 国際番号も含まれています。 読み込みcsv ※テスト電話番号です。 電話番号 8012345678 9012345678 90-1234-5678 080-1234-5678 110000000 06-1234-5678 (0)0 812345678 ...
幸589's user avatar
  • 445
0
0 回答
115 閲覧数

Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい

Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて CSVで出力したいと考えています。 Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら 教えていただけますと幸いです。以下が試したことになります。 1.Big queryにテーブルstringsA, strinsBを2つ作成 stringsA id name ...
hafuuu's user avatar
  • 7
0
1 回答
107 閲覧数

find_element(By)にURLによって変わる要素を入れたい

以下のような2つのデータフレームから各URLのIDと一致するtxtを抜き出してfind_element(By.LINK_TEXT)に入れ込むようなことは可能でしょうか?df2のtxt部分は重複する場合もあります。よろしくお願い致します。 df1: URL ID aaa 1 bbb 2 ccc 3 ddd 4 ... ... df2: ID txt 1 xxx 2 yyy 3 zzz 4 ...
kacha's user avatar
  • 3
0
1 回答
345 閲覧数

pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処

KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。 >>> train.info() <class 'pandas.core.frame.DataFrame'> Index: 458913 entries, ...
onishichi's user avatar
0
2 回答
242 閲覧数

Pandasを使った行の比較方法について

やりたいこと PythonでBook1とBook2のエクセルを比較します。 Book1には無い行を、Book2のヘッダーFlagとしてどの行がないかを記載したいです。 両方のエクセルのキーとなるものはtitleにしています。 Book1のエクセル created_at,title,messageId,content 2022-06-16T06:43:17.488Z,日本,2332528852,雨 ...
幸589's user avatar
  • 445
1
1 回答
127 閲覧数

Pandas の DataFrame にビットを振りたい

以下に示すようなDataFrameとlistがあります。 DataFrameのうち、listに含まれる要素と一致する行に対してビットを振りたいです。 例えば以下のようにするとビットを振ることができますが、for文を使うのでは処理が遅すぎます。 同様の処理をより高速に実装するにはどうすればよいでしょうか。 試したコード: for i, j in lst: df.loc[(df["...
user avatar
0
1 回答
96 閲覧数

PandasのDataframeにあるデータを対象に分位数を使った足切りをしたい

概要 PandasのDataframeにあるデータを、列のラベルごとに集計し、特定の分位数を使って外れ値の除外をするにはどのようなコードを書けばよいでしょうか? 詳細 環境はpython3.6です 対象となるDataframeは以下のような内容です sensor_name temperature Humidity Pressure sensor1 15.5 67 1001 sensor1 15.8 ...
codeZ's user avatar
  • 409
0
1 回答
217 閲覧数

データフレームを結合し、名前の変更と加重平均を算出する

前提 材料開発においてMIを使用したいと考えております。言語はpythonを使用しています。 材料a,b,cを比率a : b : c=A:B:Cで混合する実験を想定しています。a,b,cには種類があり、例えばaはa_1とa_2があります。 a,b,cにはそれぞれx,y,zという特性値をもっており、別のデータフレームにまとまっています。 目標 ...
YUU's user avatar
  • 3
0
2 回答
542 閲覧数

辞書配列のデータをdfに変換するには?

辞書からデータフレームを作成したいのですが、一列のデータフレームになってしまいます。どのようにして、辞書のキーをカラム名にしたデータフレームを作るのか教えていただけないでしょうか? dictlist = [[{'viewCount': '1387827', 'likeCount': '48171', 'favoriteCount': '0', 'commentCount': '6352'}], [{...
domino's user avatar
  • 5
0
2 回答
1,809 閲覧数

Pandasでgroupbyを使って重複した値を1行でまとめたい

やりたいこと 表1に 定刻[変更] のように同じ列を含む行が複数あった場合、表2のように1行にまとめたいです。 Pandasのgroupbyを使ってみましたが、実現したい結果と上手くいかないです。 コードでは何がいけないのか、もしくは他に簡単な方法がありましたら、教えていただけると嬉しいです。お手数ですが、よろしくお願い致します。 表1.csv 定刻[変更],出発地,経由地,航空会社,便名,機種,...
幸589's user avatar
  • 445
0
1 回答
784 閲覧数

DataFrameセル内のリストを列方向に展開したい

今、以下のような各セルにリストが入ったDataFrameがあります。 import pandas as pd df = pd.DataFrame( {'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]}, index=[1, 2, 3]) このDataFrameを以下のように加工をしたいです。 x1, x2 ...
Takumi Mukaiyama's user avatar
0
1 回答
742 閲覧数

pandasのデータフレームをスプレッドシートへ反映したい

スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。 やりたいこと データフレームをスプレッドシートの最下部に追加したい コード: import pandas as pd import gspread import csv import json from oauth2client.service_account ...
merce's user avatar
  • 1
0
1 回答
1,878 閲覧数

Pandas でのデータ結合時にエラーが発生する

seriesに対し、日付をkeyにしてmerge_df1を左外部結合の下記のプログラムを実行するとエラーが発生するのですがなぜなのでしょうか? import numpy as np import pandas as pd series = pd.Series(['1/1', '1/2', '1/3', '1/4', '1/5', '1/6','1/7', '1/8'...
kaeru's user avatar
  • 1
0
1 回答
65 閲覧数

Pythonのデータ結合についての質問です。

Pythonのデータ結合についての質問です。 seriesに対し、日付をkeyにしてdf1を左外部結合するやり方を教えていただけませんか。 series=pd.series ([‘1/1’,’1/2’,…..’1/10’],name=‘日付’) df1=pd.DataFrame ({‘日付’:[‘1/1’,’1/2’,…..’1/7’], {‘天気’:[‘晴れ,’’曇り’,…..’曇り’]})
kaeru's user avatar
  • 1
-1
1 回答
227 閲覧数

Pandasでフィルターもしくは行削除後、データを書き込みしたい

やりたいこと pythonで下記のエクセルを読み込み searchの列が空白の時だけその行を処理して,google上で検索したいです。 検索後、searchにOKとして記載したいです。 エクセル country search america canada OK spain japan OK 現在の結果 現在は書き込みする際に元のデータが消えてしまいます。 消えない方法ありますでしょうか。...
幸589's user avatar
  • 445
0
0 回答
1,311 閲覧数

pandasでエクセル読み込み時のエラーの解決方法を教えてください

pandasでエクセル(xlsx)を読み込んでcsvファイルを書き出す、というプログラムを作っています。 pandasでエクセルファイル読み込み時にエラーがでるようで、それについて調べてみると pip install xlrd で解決、ということでしたがインストールしても解決しません。 コマンドプロンプトを開いて python test.py でプログラムは動きます。 しかし、test....
Tani chan's user avatar
0
1 回答
1万 閲覧数

Pandas でCSV ファイルの読み込み時にエラー UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81

CSVファイルの読み込みができません。 import pandas as pd import matplotlib.pyplot as plt #data input df_2021 = pd.read_csv('2021.csv',engine="python") df_2021 結果 >>> #data input >>> ...
たこすけ's user avatar
1
3 回答
633 閲覧数

データフレームから不要な行データを削除する方法

先ずはPythonで特定の行番号を取得したいです。 番号を取得後、任意の行数を抽出して、それ以降の行を削除したいです。 コードのどこがいけないのかpandasに詳しい方教えていただけませんでしょうか。 set_indexの部分でしょうか。 元のエクセル 国 America 2022/5/10 Japan 実現したいエクセル 条件 日付がある行の番号を取得して、それ以後の行を削除したいです。...
幸589's user avatar
  • 445
0
1 回答
917 閲覧数

pd.read_htmlがうまく機能しない

以下のURLからテーブルデータを取ろうとしていますが、片方のURLの場合(aa1)だけうまくいきません。 これは取ってくるデータの文字列に何か原因があるのでしょうか。また、色々他のサイトで調べた結果、encoding="cp932"と行ってもうまくいきませんでした。 例えば、 import pandas as pd aa0 = "https://db.netkeiba....
0018's user avatar
  • 367
0
1 回答
583 閲覧数

pandasにてcsvを読み込んだときにカンマで区切られない

pandasにてcsvを読み込んだ時にカンマで区切ることができません。 図のように、columnが1と表示されてしまいます。 delimiterも試してみましたが、変化がありません。 何か足りない部分があるのでしょうか? 以下、追記-------------------- 3行目と4行目を記載します。 行全体がダブルクォートで囲まれている様には見えないのですが。。 DATA No ...
Robotman's user avatar
0
2 回答
128 閲覧数

pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい

pandasの縦方向の計算が苦手で、教えていただければと思います。 シミュレーション用のデータを作成したいと考えているのですが、顧客ごとに、5つの行動をします。その5つの行動によって、顧客の認知レベルが上がるということを想定します。行動1から行動5まであった場合に、顧客ステージを0~5の6段階に分けて、初期状態では、まず顧客ステージが0を入れます。表は時系列になっています。 ・顧客ステージが0の時、...
Akira Onozuka's user avatar
0
0 回答
194 閲覧数

pandasguiの表示がウィンドウ内に収まらない

当方pythonをあまり使用した経験がなく、初歩的な質問でしたら大変申し訳ございません。 知っている範囲で検索してみたのですが、解決できずこちらで質問させていただきます。 pandasguiを起動したところ、 以下のようなエラーとともに、起動したアプリの表示が添付の画像のようにアプリ全体がwindow内に収まらない状態となってしまっています。 パッケージのバージョンも確かめて、...
user52271's user avatar
0
1 回答
287 閲覧数

DataFrame.queryの使い方について

https://note.nkmk.me/python-pandas-query/ にある、 print(df.query('name.str.contains("li")', engine='python')) を真似してコーディングしているのですが、 raise NotImplementedError(f"'{node_name}' nodes are not ...
 BrainOverflow's user avatar
0
2 回答
220 閲覧数

DataFrameで各行毎に処理をした結果を1つのリストにまとめる方法

DataFrameで各行毎に処理をした結果を1つのリストにまとめたいです。 下記のように書くことはできたのですが、可読性向上のために、myfunc内で関数外のリストに要素を追加しているのをやめて、別の方法で書くことはできないでしょうか? apply以外の方法でも構わないのですが、iterrowsは使わずに書きたいです。 import pandas as pd df = pd.DataFrame( ...
shimmy0619's user avatar
0
1 回答
927 閲覧数

DataFrameで条件に一致した文字から始まる列の値が条件に一致した文字以外であれば抽出する方法

DataFrameで「条件に一致した文字("input")から始まる列の値が条件に一致した文字("a")以外であれば抽出」したいです。 下記のように書くことはできたのですが、もう少し簡潔に書けないでしょうか? import pandas as pd df = pd.DataFrame( [["Yamada", "a&...
shimmy0619's user avatar
0
2 回答
390 閲覧数

JSONファイルのエラー箇所の特定

Python 3.9.10を使っています。 JSONファイルを読もうとしたときに、 import pandas as pd json_file = open(ファイルパス, 'r', encoding='utf-8') df = pd.read_json(json_file) というようなことをやっていますが、エラーが出ることがあります。エラーの意味することが何なのかというかということは、...
 BrainOverflow's user avatar
0
1 回答
178 閲覧数

pandas.plotにおいてstring indexの場合のvlines()がうまく機能しない

文字列のindexを持つpandas.Dataframeにおいて、縦の補助線を引く場合にindex(x軸)をうまく指定できないです。 plotしたいpandas.Dataframeは以下のようになります。indexがobjectなのは確認できています。 print(df_occ_test.index.dtype) object print(df_occ_test) a ...
swkky's user avatar
  • 1
0
1 回答
1,247 閲覧数

concatの使い方について。(pandasのappendでやっている作業をconcatに置き換えたい)

データフレームに関する作業をしていたら、  FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead. というのがでたので、concatに変えた方がよいのかなと思っていますが、...
 BrainOverflow's user avatar
0
2 回答
209 閲覧数

`df.groupby("user").resample("W",on="date",label="left",closed="left")[["count"]].sum()`を実行したときに`KeyError`が発生する原因を教えてください。

実行環境 Python 3.10.2 pandas 1.4.1 やりたいこと 以下のpandas.DataFrameに対して、userごとにcountを1週間単位で集計したいです。 In [1]: df=pandas.DataFrame({"count":[1,2,3], "working_hours":[6,7,8], "user"...
yuji38kwmt's user avatar
  • 1,956
0
0 回答
198 閲覧数

日本郵便の住所とe-Statの住所を紐づける方法

日本郵便が配布している郵便番号,住所テーブルとe-Statが提供しているshpファイルを用いて郵便番号-緯度経度テーブルを作成したいと考えてます。しかし、日本郵便とe-Statの住所表記に数多くの表記揺れが存在しており、簡単にジョインできない状況です。住所以外に共通するユニークなカラムが存在しないためどのようにすれば上手く結合できるかアイデアをいただきたく思い質問しました。...
0018's user avatar
  • 367
0
1 回答
264 閲覧数

pandas.DataFrame.resample関数の`label`引数, `closed`引数のデフォルト値は、なぜ特定の条件だけ`right`なのでしょうか?

やりたいこと 以下のデータのcountを、1週間単位(日曜日始まり)で集計した値を算出したいです。 In [1]: df=pandas.DataFrame({"count":[1,2,3], "date": pandas.date_range('2022-03-13', periods=3, freq='D')}) In [2]: df Out[2]: ...
yuji38kwmt's user avatar
  • 1,956
0
0 回答
289 閲覧数

JSON-LD を Pandas の DataFrame へ変換する方法

JSON-LDで値を返す RESTful API を使って、r = requests.get( <API> ) で受け取った r の type は <class 'requests.models.Response'> です。 JSON を Pandas DataFrame に変換する のページを見ながら真似してみたのですが、エラーとなってしまいます。 json.loads(...
 BrainOverflow's user avatar
1
2 回答
86 閲覧数

awareなDataTimeIndexのshiftによる、不可解なAmbiguousTimeErrorについて

freq='D'のDateTimeIndexで、ニューヨーク時刻の2022/02/07を92日前にずらすとAmbiguousTimeErrorが発生します。 freq属性をNoneにすればエラーを回避できることが確認できましたが、現在の振る舞い/仕様が不可解で納得できずにいます。 タイムゾーンを変換するときに、夏時間によるあいまいさが発生するのは理解でできたのですが、...
Sasaki's user avatar
  • 452
1
2 回答
158 閲覧数

マルチインデックスなデータフレームから、ループなしで、行を抽出する方法

以下のような、マルチインデックスなデータフレーム(価格データ)と、 期間が含まれるデータフレーム(対象期間データ)から作成したスライスを利用して、 対象の期間の行を抽出したいです。 ループを利用すれば何とか出来たのですが、 (パフォーマンス向上のために、)ループやapplyなしで、 記述することはできますでしょうか? import io import pandas as pd ...
Sasaki's user avatar
  • 452
0
1 回答
376 閲覧数

最終的に、ilocで取得した列を新しいDataFrameへ横にappendする処理を繰り返したい

下記のコードを実行することで行いたい処理は次のとおりです。 フォルダ内にあるcsvファイルを全取得する ファイル構成(カラム名や行数)は同じなので最初に開いたcsvファイル(data_r)の列名から抽出したいカラム番号を選択する data_rからilocで欲しい列を全行取得(data_c)する(このとき欲しい列は選択したカラム番号になる) カラム名はどのファイルでも同名のため、...
manatsu's user avatar
  • 177
0
2 回答
344 閲覧数

コラムの値を空白文字で区切り、別のコラムに分割したい

Pandasで以下のようなCSVファイルをDFとして読み込みました。 このDF内の、郵便番号と住所を別のコラムにしたいです。 下記のコードを試しました。 gyoumu_add_csv['split'] = gyoumu_add_csv['A'].str.split(' ') gyoumu_add_csv['A1'] = gyoumu_add_csv['split'].str.get(0) ...
Ichiro Nakajima's user avatar
1
2 回答
127 閲覧数

0.1 刻みのデータから特定の値だけが取り出せない

pandasを使い、0~0.9までの値を0.1刻みで取り出そうとしているのですが、 なぜか0.6だけ取り出すことができません。 0.6は存在することを確認しましたが、取り出すことができません。 aa = pd.DataFrame() for i in range(10): aa = aa.append((b[b["Gate Voltage[V]"] == 0.100*i]...
aaa's user avatar
  • 35
0
2 回答
3,102 閲覧数

pandasで別のデータフレームへのappendがうまくできません

特定の行の最大値を調べ、その最大値が存在する行を別のデータフレームにappendさせたいのですが、 上手くappendできません。どうすればいいのでしょうか? import pandas as pd df1 = pd.DataFrame({'col1': [0, 3, 2, 3], 'col2': [5, 0, 2, 1]}) print(df) print(df["col2"...
aaa's user avatar
  • 35
0
1 回答
218 閲覧数

pandasでindexの値を取り出したい

pandasで指定した行のindexの取り出し方を知りたいです。 Name Type 0 blue Raptors 1 delta Raptors 2 echo Raptors 3 charlie Raptors 4 alpha ...
aaa's user avatar
  • 35
2
3 回答
898 閲覧数

マルチインデックスのDataFrameに、複数の列をまとめて追加する方法

列がマルチインデックスなDataFrameへ、 複数の列を、ループを利用せずに、まとめて追加することできないでしょうか? 参考にしたサイト:https://www.fixes.pub/program/312227.html import pandas as pd df = pd.DataFrame( data=[ ['a', 10, 'あ', 11], ['...
Sasaki's user avatar
  • 139
0
0 回答
1,434 閲覧数

Python3.8.3でpandasが使えない

現在VScodeで作業をしているのですが、pandasライブラリがPython3.8.8では使えるのに対し、3.8.3の環境では使えず困っています。ライブラリのインストールはpipコマンドで行いました。 自分なりに調べましたが、pandasのバージョンを変更すべきか再インストールすべきかも分かりませんでした。対処法を教えていただけると幸いです。 エラーメッセージ: Import "...
Lightning's user avatar
0
1 回答
1,525 閲覧数

pandasで任意の位置の値に代入locの利用方法について

Pythonのpandasのライブラリを使って 任意の位置の値に代入したいです。 ExcelからYahooの交通費検索して取得した金額の値を 金額の列に値を入力したいです。 既に入力しているもの除外しております。 Excel Data 出発 到着 金額 備考 東京 品川 池袋 浅草 新宿 五反田 168 20211222利用済み 実現結果のExcel Data 出発 到着 金額 備考 ...
幸589's user avatar
  • 445
0
1 回答
866 閲覧数

pandasのリスト要素を加算するときにNaNになることを避ける方法

DateFrameの複数の列にそれぞれリストが格納されているときに、リスト内の値を結合して1つのリストを生成したいです。列の値としてNaNが含まれていない場合は列同時を結合すれば実現できたのですが、NaNが含まれる場合に結果がNaNとなってしまいます。NaNを除いて処理を行うにはどうすればよいでしょうか? import pandas as pd import numpy as np ...
shimmy0619's user avatar
0
2 回答
261 閲覧数

pandas list型にするには

csvファイル(A_csv) A B C D E F G H I J 1 1 2 3 4 5 6 7 8 9 10 をpandasを使いプログラム上に読み込み リスト型 [1,2,3,4,5,6,7,8,9,10] に変更したいのですが, Empty DataFrame Columns: [1 2 3 4 5 6 7 8 9 10] Index: [] ...
炎天下修羅's user avatar
3
1 回答
131 閲覧数

DataFrame/Seriesの欠損値を定数で補完するとき、内挿のみに指定したい

DataFrame/Seriesの欠損値を、定数で補完したいのですが、内挿[limit_area='inside']を指定する方法ありますでしょうか? 両端の欠損値はそのまま補完しないようにしたいです。 import pandas as pd series = pd.Series(data=[ None, 20, None, 40, None ], index=[ 'aa', 'bb', 'cc'...
Sasaki's user avatar
  • 452
0
1 回答
80 閲覧数

読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したい

プログラミング初心者です。 読み込んだCSVファイルを購入日で3ヵ月毎に遡り、累計したデータを別々のCSVファイルとして出力したいです。 イメージとしては、  ファイル1つ目:2020/01/01 - 2020/04/01  ファイル2つ目:2020/01/01 - 2020/07/01  ファイル3つ目:2020/01/01 - 2020/10/01  など エラーメッセージは出ないのですが、...
kitkat's user avatar
  • 1