[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

426 件の質問
絞り込み
並べ替え
タグ付けされた
1
1 回答
88 閲覧数

PandasのDataFrameから、整数・浮動小数に変換可能な行を抽出するには

PandasのDataFrameで、文字列型の列から、整数や浮動小数に変換可能な値をもつ行を抽出する方法を教えていただけないでしょうか? Seriesの str.isidigit() などを利用することで、次のように整数に変換可能な行は抽出できました。 さらに小数に型変換可能かどうか判定するには、どのようにしたらよいでしょうか。 import pandas as pd df = pd....
Sasaki's user avatar
  • 584
0
1 回答
209 閲覧数

DataFrame型データのexcelファイルへの出力

pandasにより取得したDataFrame型データをexcelファイルに移す作業を行いました。 9行ごとに5つの表が貼り付けられている状態を予想していましたが,結果は5つ目の表のみ想定通りの位置に貼り付けられている状態でした。(下図のような感じ) また表データは6行6列のデータです。 DataFrame型データをexcelファイルに出力するたびにすべてのセル情報が上書きされると考え,...
poti's user avatar
  • 49
2
2 回答
175 閲覧数

Seleniumで同じcsvが重複して追加されてしまうのはなぜ?

pythonやプログラミングの初心者です。 色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。 基本的な内容かもしれませんが、ご協力いただけますと幸いです。 やりたいこと Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして csvとして出力して、データ解析をしたいです。 http://regalkes....
Augusto_Soba's user avatar
0
1 回答
2,074 閲覧数

pandas groupby で集計を行った列の列名

import pandas as pd import numpy as np df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧金','鎧銀'], 'カテゴリ':['戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','外部有識者','管理者','...
おらいりい's user avatar
0
2 回答
150 閲覧数

relativedelta使用時のilocについて

ilocについて教えてください。 for i in range(len(predict_data)): とした場合、i に入るのは整数なので、.iloc[i] とすべきだと思ったのですが、解答では iloc を使わず、下記のようになっておりました。 なぜ、iloc 省略なのでしょうか。 できれば初学者用に分かりやすく教えていただけると幸いです。 よろしくお願いいたします。 for i in ...
hasune's user avatar
  • 1
1
1 回答
161 閲覧数

python pandas データの参照、検索、取得およびファイル書き出し

ほぼ初心者のため、ご教授のほどよろしくお願いいたします。 とあるファイル(length.txt、約40万行×2列、画像左参照)を1行ずつ参照してデータ取得し、そのデータをもとに別のファイル(effect.txt、約4万行×2列、画像右参照)のデータを検索、照合し、データをテキストファイルに書き出すということを行いたいです。 具体的には、以下の流れです。 length.txt内のlocus列、...
yui's user avatar
  • 15
0
1 回答
235 閲覧数

python pandas データフレームにおける各要素をリストではなくしたい

ほぼ初心者なので、見当違いのこと言ってるかもしれませんがご教授よろしくお願いします。 添付した画像上部のように、約4万行×1列に約100~200個(各行によって個数はまちまち)の0、1、2のいずれかが並んだデータがあります。 これを、約100~200個の0、1、2の並びを分割して約4万行×100~200列(欠測の要素は#N/Aや-などで表現したいです)のデータに変換したいです。 ...
yui's user avatar
  • 15
0
1 回答
635 閲覧数

PandasのDataFrameのデータの抽出について(Seriesが返されるケースと値が取得できるケースの違い)

import pandas as pd import numpy as np df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧'], 'HP':[2,50,100,600,60,72,1000,np.nan]}) df1 上記のようなdf1から「うさぎ」の「HP」...
おらいりい's user avatar
0
2 回答
395 閲覧数

データフレームである列の値に特定の文字列を含む場合、追加した列に指定した文字列を表示したい

どのようにコードを書き換えれば「期待する結果」のような出力がだせるのかわかりません。 お知恵をいただければ幸いです。 データセット import pandas as pd import numpy as np df = pd.DataFrame([["tanaka", 81], ["naka", 63], ["ka", 89], [&...
domino's user avatar
  • 5
0
2 回答
971 閲覧数

エクセルから読み込んだ数値データが形が変わって出力される

エクセルから読み込んだ数値データをvscode上で表示すると、小数点まで表示される。 例えば2という値だと、2.0と表示される。こちらを小数点を抜きにしたいと考えています。0001が1.0と表示されるのを0001のまま出力したい。 ・エクセルデータの値をそのまま出力したい ・vscode上の出力[.0]を表示されないようにしたい。 どちらもExcelの設定の問題であれば、...
sawamura's user avatar
0
5 回答
1,019 閲覧数

エクセルのデータを数字か数字以外かでチェックしたい

エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。 条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
sawamura's user avatar
0
0 回答
250 閲覧数

x軸のラベルがdatetimeの日付形式のまま出力されてしまう

概要 csvデータからmatplotlibを使用し、棒グラフを作成しているのですが 日付形式がdatetimeの型のまま出力されてしまいます。(yyyy-mm-dd hh:ss:mm) 出力されているデータ自体は問題ないのですが、x軸のラベルだけ修正したいと考えてます。(yyyy/mm/ddに変えたい。) 試してみたこと csvデータを読み込んで、、とありますが元データはExcel形式となります。 ...
rakuda's user avatar
  • 11
-1
1 回答
65 閲覧数

Pandas で条件付けした列の抽出をしたい

3つの変数(A,B,C)から成るdfから C=True(Cはbool)に限定した、変数をAとBのみに限定した新たなdf1を作成する際のコードについてですが、下記を考えましたがエラーになります。どこがおかしいのでしょうか?どなたかご教示ねがえないでしょうか? それとも1行で記載するのは難しいのでしょうか? df1 = df[['A', 'B']].query('C == True') df1
Kohyan's user avatar
  • 3
-1
1 回答
765 閲覧数

正規表現で電話番号の文字列を正規化したい

前提 pandas の電話番号の列を正規表現にしたいです。 現在下記の読み込みcsvのように先頭の0が抜けたりハイフンなしがあります。 国際番号も含まれています。 読み込みcsv ※テスト電話番号です。 電話番号 8012345678 9012345678 90-1234-5678 080-1234-5678 110000000 06-1234-5678 (0)0 812345678 ...
幸589's user avatar
  • 445
0
0 回答
153 閲覧数

Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい

Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて CSVで出力したいと考えています。 Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら 教えていただけますと幸いです。以下が試したことになります。 1.Big queryにテーブルstringsA, strinsBを2つ作成 stringsA id name ...
hafuuu's user avatar
  • 7
0
1 回答
113 閲覧数

find_element(By)にURLによって変わる要素を入れたい

以下のような2つのデータフレームから各URLのIDと一致するtxtを抜き出してfind_element(By.LINK_TEXT)に入れ込むようなことは可能でしょうか?df2のtxt部分は重複する場合もあります。よろしくお願い致します。 df1: URL ID aaa 1 bbb 2 ccc 3 ddd 4 ... ... df2: ID txt 1 xxx 2 yyy 3 zzz 4 ...
kacha's user avatar
  • 3
0
1 回答
444 閲覧数

pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処

KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。 >>> train.info() <class 'pandas.core.frame.DataFrame'> Index: 458913 entries, ...
onishichi's user avatar
0
2 回答
308 閲覧数

Pandasを使った行の比較方法について

やりたいこと PythonでBook1とBook2のエクセルを比較します。 Book1には無い行を、Book2のヘッダーFlagとしてどの行がないかを記載したいです。 両方のエクセルのキーとなるものはtitleにしています。 Book1のエクセル created_at,title,messageId,content 2022-06-16T06:43:17.488Z,日本,2332528852,雨 ...
幸589's user avatar
  • 445
1
1 回答
137 閲覧数

Pandas の DataFrame にビットを振りたい

以下に示すようなDataFrameとlistがあります。 DataFrameのうち、listに含まれる要素と一致する行に対してビットを振りたいです。 例えば以下のようにするとビットを振ることができますが、for文を使うのでは処理が遅すぎます。 同様の処理をより高速に実装するにはどうすればよいでしょうか。 試したコード: for i, j in lst: df.loc[(df["...
user avatar
0
1 回答
112 閲覧数

PandasのDataframeにあるデータを対象に分位数を使った足切りをしたい

概要 PandasのDataframeにあるデータを、列のラベルごとに集計し、特定の分位数を使って外れ値の除外をするにはどのようなコードを書けばよいでしょうか? 詳細 環境はpython3.6です 対象となるDataframeは以下のような内容です sensor_name temperature Humidity Pressure sensor1 15.5 67 1001 sensor1 15.8 ...
codeZ's user avatar
  • 429
0
1 回答
237 閲覧数

データフレームを結合し、名前の変更と加重平均を算出する

前提 材料開発においてMIを使用したいと考えております。言語はpythonを使用しています。 材料a,b,cを比率a : b : c=A:B:Cで混合する実験を想定しています。a,b,cには種類があり、例えばaはa_1とa_2があります。 a,b,cにはそれぞれx,y,zという特性値をもっており、別のデータフレームにまとまっています。 目標 ...
YUU's user avatar
  • 3
0
2 回答
649 閲覧数

辞書配列のデータをdfに変換するには?

辞書からデータフレームを作成したいのですが、一列のデータフレームになってしまいます。どのようにして、辞書のキーをカラム名にしたデータフレームを作るのか教えていただけないでしょうか? dictlist = [[{'viewCount': '1387827', 'likeCount': '48171', 'favoriteCount': '0', 'commentCount': '6352'}], [{...
domino's user avatar
  • 5
0
2 回答
2,644 閲覧数

Pandasでgroupbyを使って重複した値を1行でまとめたい

やりたいこと 表1に 定刻[変更] のように同じ列を含む行が複数あった場合、表2のように1行にまとめたいです。 Pandasのgroupbyを使ってみましたが、実現したい結果と上手くいかないです。 コードでは何がいけないのか、もしくは他に簡単な方法がありましたら、教えていただけると嬉しいです。お手数ですが、よろしくお願い致します。 表1.csv 定刻[変更],出発地,経由地,航空会社,便名,機種,...
幸589's user avatar
  • 445
0
1 回答
956 閲覧数

DataFrameセル内のリストを列方向に展開したい

今、以下のような各セルにリストが入ったDataFrameがあります。 import pandas as pd df = pd.DataFrame( {'x': [['Li', 'C'], ['Li', 'N'], ['Li', 'O']]}, index=[1, 2, 3]) このDataFrameを以下のように加工をしたいです。 x1, x2 ...
Takumi Mukaiyama's user avatar
0
1 回答
999 閲覧数

pandasのデータフレームをスプレッドシートへ反映したい

スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。 やりたいこと データフレームをスプレッドシートの最下部に追加したい コード: import pandas as pd import gspread import csv import json from oauth2client.service_account ...
merce's user avatar
  • 1
0
1 回答
2,908 閲覧数

Pandas でのデータ結合時にエラーが発生する

seriesに対し、日付をkeyにしてmerge_df1を左外部結合の下記のプログラムを実行するとエラーが発生するのですがなぜなのでしょうか? import numpy as np import pandas as pd series = pd.Series(['1/1', '1/2', '1/3', '1/4', '1/5', '1/6','1/7', '1/8'...
kaeru's user avatar
  • 1
0
1 回答
70 閲覧数

Pythonのデータ結合についての質問です。

Pythonのデータ結合についての質問です。 seriesに対し、日付をkeyにしてdf1を左外部結合するやり方を教えていただけませんか。 series=pd.series ([‘1/1’,’1/2’,…..’1/10’],name=‘日付’) df1=pd.DataFrame ({‘日付’:[‘1/1’,’1/2’,…..’1/7’], {‘天気’:[‘晴れ,’’曇り’,…..’曇り’]})
kaeru's user avatar
  • 1
-1
1 回答
311 閲覧数

Pandasでフィルターもしくは行削除後、データを書き込みしたい

やりたいこと pythonで下記のエクセルを読み込み searchの列が空白の時だけその行を処理して,google上で検索したいです。 検索後、searchにOKとして記載したいです。 エクセル country search america canada OK spain japan OK 現在の結果 現在は書き込みする際に元のデータが消えてしまいます。 消えない方法ありますでしょうか。...
幸589's user avatar
  • 445
0
0 回答
2,093 閲覧数

pandasでエクセル読み込み時のエラーの解決方法を教えてください

pandasでエクセル(xlsx)を読み込んでcsvファイルを書き出す、というプログラムを作っています。 pandasでエクセルファイル読み込み時にエラーがでるようで、それについて調べてみると pip install xlrd で解決、ということでしたがインストールしても解決しません。 コマンドプロンプトを開いて python test.py でプログラムは動きます。 しかし、test....
Tani chan's user avatar
0
1 回答
2万 閲覧数

Pandas でCSV ファイルの読み込み時にエラー UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81

CSVファイルの読み込みができません。 import pandas as pd import matplotlib.pyplot as plt #data input df_2021 = pd.read_csv('2021.csv',engine="python") df_2021 結果 >>> #data input >>> ...
たこすけ's user avatar
1
3 回答
761 閲覧数

データフレームから不要な行データを削除する方法

先ずはPythonで特定の行番号を取得したいです。 番号を取得後、任意の行数を抽出して、それ以降の行を削除したいです。 コードのどこがいけないのかpandasに詳しい方教えていただけませんでしょうか。 set_indexの部分でしょうか。 元のエクセル 国 America 2022/5/10 Japan 実現したいエクセル 条件 日付がある行の番号を取得して、それ以後の行を削除したいです。...
幸589's user avatar
  • 445
0
1 回答
1,402 閲覧数

pd.read_htmlがうまく機能しない

以下のURLからテーブルデータを取ろうとしていますが、片方のURLの場合(aa1)だけうまくいきません。 これは取ってくるデータの文字列に何か原因があるのでしょうか。また、色々他のサイトで調べた結果、encoding="cp932"と行ってもうまくいきませんでした。 例えば、 import pandas as pd aa0 = "https://db.netkeiba....
0018's user avatar
  • 367
0
1 回答
858 閲覧数

pandasにてcsvを読み込んだときにカンマで区切られない

pandasにてcsvを読み込んだ時にカンマで区切ることができません。 図のように、columnが1と表示されてしまいます。 delimiterも試してみましたが、変化がありません。 何か足りない部分があるのでしょうか? 以下、追記-------------------- 3行目と4行目を記載します。 行全体がダブルクォートで囲まれている様には見えないのですが。。 DATA No ...
Robotman's user avatar
0
2 回答
128 閲覧数

pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい

pandasの縦方向の計算が苦手で、教えていただければと思います。 シミュレーション用のデータを作成したいと考えているのですが、顧客ごとに、5つの行動をします。その5つの行動によって、顧客の認知レベルが上がるということを想定します。行動1から行動5まであった場合に、顧客ステージを0~5の6段階に分けて、初期状態では、まず顧客ステージが0を入れます。表は時系列になっています。 ・顧客ステージが0の時、...
Akira Onozuka's user avatar
0
0 回答
249 閲覧数

pandasguiの表示がウィンドウ内に収まらない

当方pythonをあまり使用した経験がなく、初歩的な質問でしたら大変申し訳ございません。 知っている範囲で検索してみたのですが、解決できずこちらで質問させていただきます。 pandasguiを起動したところ、 以下のようなエラーとともに、起動したアプリの表示が添付の画像のようにアプリ全体がwindow内に収まらない状態となってしまっています。 パッケージのバージョンも確かめて、...
user52271's user avatar
0
1 回答
379 閲覧数

DataFrame.queryの使い方について

https://note.nkmk.me/python-pandas-query/ にある、 print(df.query('name.str.contains("li")', engine='python')) を真似してコーディングしているのですが、 raise NotImplementedError(f"'{node_name}' nodes are not ...
 BrainOverflow's user avatar
0
2 回答
269 閲覧数

DataFrameで各行毎に処理をした結果を1つのリストにまとめる方法

DataFrameで各行毎に処理をした結果を1つのリストにまとめたいです。 下記のように書くことはできたのですが、可読性向上のために、myfunc内で関数外のリストに要素を追加しているのをやめて、別の方法で書くことはできないでしょうか? apply以外の方法でも構わないのですが、iterrowsは使わずに書きたいです。 import pandas as pd df = pd.DataFrame( ...
shimmy0619's user avatar
0
1 回答
1,084 閲覧数

DataFrameで条件に一致した文字から始まる列の値が条件に一致した文字以外であれば抽出する方法

DataFrameで「条件に一致した文字("input")から始まる列の値が条件に一致した文字("a")以外であれば抽出」したいです。 下記のように書くことはできたのですが、もう少し簡潔に書けないでしょうか? import pandas as pd df = pd.DataFrame( [["Yamada", "a&...
shimmy0619's user avatar
0
2 回答
549 閲覧数

JSONファイルのエラー箇所の特定

Python 3.9.10を使っています。 JSONファイルを読もうとしたときに、 import pandas as pd json_file = open(ファイルパス, 'r', encoding='utf-8') df = pd.read_json(json_file) というようなことをやっていますが、エラーが出ることがあります。エラーの意味することが何なのかというかということは、...
 BrainOverflow's user avatar
0
1 回答
223 閲覧数

pandas.plotにおいてstring indexの場合のvlines()がうまく機能しない

文字列のindexを持つpandas.Dataframeにおいて、縦の補助線を引く場合にindex(x軸)をうまく指定できないです。 plotしたいpandas.Dataframeは以下のようになります。indexがobjectなのは確認できています。 print(df_occ_test.index.dtype) object print(df_occ_test) a ...
swkky's user avatar
  • 1
0
1 回答
1,344 閲覧数

concatの使い方について。(pandasのappendでやっている作業をconcatに置き換えたい)

データフレームに関する作業をしていたら、  FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead. というのがでたので、concatに変えた方がよいのかなと思っていますが、...
 BrainOverflow's user avatar
0
2 回答
263 閲覧数

`df.groupby("user").resample("W",on="date",label="left",closed="left")[["count"]].sum()`を実行したときに`KeyError`が発生する原因を教えてください。

実行環境 Python 3.10.2 pandas 1.4.1 やりたいこと 以下のpandas.DataFrameに対して、userごとにcountを1週間単位で集計したいです。 In [1]: df=pandas.DataFrame({"count":[1,2,3], "working_hours":[6,7,8], "user"...
yuji38kwmt's user avatar
  • 2,022
0
0 回答
223 閲覧数

日本郵便の住所とe-Statの住所を紐づける方法

日本郵便が配布している郵便番号,住所テーブルとe-Statが提供しているshpファイルを用いて郵便番号-緯度経度テーブルを作成したいと考えてます。しかし、日本郵便とe-Statの住所表記に数多くの表記揺れが存在しており、簡単にジョインできない状況です。住所以外に共通するユニークなカラムが存在しないためどのようにすれば上手く結合できるかアイデアをいただきたく思い質問しました。...
0018's user avatar
  • 367
0
1 回答
301 閲覧数

pandas.DataFrame.resample関数の`label`引数, `closed`引数のデフォルト値は、なぜ特定の条件だけ`right`なのでしょうか?

やりたいこと 以下のデータのcountを、1週間単位(日曜日始まり)で集計した値を算出したいです。 In [1]: df=pandas.DataFrame({"count":[1,2,3], "date": pandas.date_range('2022-03-13', periods=3, freq='D')}) In [2]: df Out[2]: ...
yuji38kwmt's user avatar
  • 2,022
0
0 回答
337 閲覧数

JSON-LD を Pandas の DataFrame へ変換する方法

JSON-LDで値を返す RESTful API を使って、r = requests.get( <API> ) で受け取った r の type は <class 'requests.models.Response'> です。 JSON を Pandas DataFrame に変換する のページを見ながら真似してみたのですが、エラーとなってしまいます。 json.loads(...
 BrainOverflow's user avatar
1
2 回答
91 閲覧数

awareなDataTimeIndexのshiftによる、不可解なAmbiguousTimeErrorについて

freq='D'のDateTimeIndexで、ニューヨーク時刻の2022/02/07を92日前にずらすとAmbiguousTimeErrorが発生します。 freq属性をNoneにすればエラーを回避できることが確認できましたが、現在の振る舞い/仕様が不可解で納得できずにいます。 タイムゾーンを変換するときに、夏時間によるあいまいさが発生するのは理解でできたのですが、...
Sasaki's user avatar
  • 584
1
2 回答
172 閲覧数

マルチインデックスなデータフレームから、ループなしで、行を抽出する方法

以下のような、マルチインデックスなデータフレーム(価格データ)と、 期間が含まれるデータフレーム(対象期間データ)から作成したスライスを利用して、 対象の期間の行を抽出したいです。 ループを利用すれば何とか出来たのですが、 (パフォーマンス向上のために、)ループやapplyなしで、 記述することはできますでしょうか? import io import pandas as pd ...
Sasaki's user avatar
  • 584
0
1 回答
500 閲覧数

最終的に、ilocで取得した列を新しいDataFrameへ横にappendする処理を繰り返したい

下記のコードを実行することで行いたい処理は次のとおりです。 フォルダ内にあるcsvファイルを全取得する ファイル構成(カラム名や行数)は同じなので最初に開いたcsvファイル(data_r)の列名から抽出したいカラム番号を選択する data_rからilocで欲しい列を全行取得(data_c)する(このとき欲しい列は選択したカラム番号になる) カラム名はどのファイルでも同名のため、...
manatsu's user avatar
  • 187
0
2 回答
410 閲覧数

コラムの値を空白文字で区切り、別のコラムに分割したい

Pandasで以下のようなCSVファイルをDFとして読み込みました。 このDF内の、郵便番号と住所を別のコラムにしたいです。 下記のコードを試しました。 gyoumu_add_csv['split'] = gyoumu_add_csv['A'].str.split(' ') gyoumu_add_csv['A1'] = gyoumu_add_csv['split'].str.get(0) ...
Ichiro Nakajima's user avatar
1
2 回答
134 閲覧数

0.1 刻みのデータから特定の値だけが取り出せない

pandasを使い、0~0.9までの値を0.1刻みで取り出そうとしているのですが、 なぜか0.6だけ取り出すことができません。 0.6は存在することを確認しましたが、取り出すことができません。 aa = pd.DataFrame() for i in range(10): aa = aa.append((b[b["Gate Voltage[V]"] == 0.100*i]...
aaa's user avatar
  • 35