[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
0
1 回答
763 閲覧数

Pythonで特定の文字列を含むかをcontains()を使って判断する関数

Pythonでtrain['name']という文字列項目に対して、特定の文字列(例えば、"aaa")を含む場合は"1"、含まない場合は"0"となる項目(train['test'])を別で作りたいと思っています。その際、以下のような関数(kansu1やkansu2)を作り、apply関数でセットしようとしたのですが、...
ryo's user avatar
  • 3
0
1 回答
122 閲覧数

matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'

VSCodeで以下のプログラムを実行するとエラーメッセージが表示されグラフが表示されません。解決法がありましたら教えて下さい エラー 例外が発生しました: TypeError unhashable type: 'numpy.ndarray' コード: import pandas as pd df =pd.read_csv("csvファイルのパス") df.head() x = ...
user avatar
0
1 回答
117 閲覧数

DataFrame型データのexcelファイルへの出力

pandasにより取得したDataFrame型データをexcelファイルに移す作業を行いました。 9行ごとに5つの表が貼り付けられている状態を予想していましたが,結果は5つ目の表のみ想定通りの位置に貼り付けられている状態でした。(下図のような感じ) また表データは6行6列のデータです。 DataFrame型データをexcelファイルに出力するたびにすべてのセル情報が上書きされると考え,...
poti's user avatar
  • 49
0
1 回答
1,337 閲覧数

pandas groupby で集計を行った列の列名

import pandas as pd import numpy as np df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧金','鎧銀'], 'カテゴリ':['戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','外部有識者','管理者','...
ちゃんきよ's user avatar
0
1 回答
218 閲覧数

python pandas データフレームにおける各要素をリストではなくしたい

ほぼ初心者なので、見当違いのこと言ってるかもしれませんがご教授よろしくお願いします。 添付した画像上部のように、約4万行×1列に約100~200個(各行によって個数はまちまち)の0、1、2のいずれかが並んだデータがあります。 これを、約100~200個の0、1、2の並びを分割して約4万行×100~200列(欠測の要素は#N/Aや-などで表現したいです)のデータに変換したいです。 ...
yui's user avatar
  • 15
0
1 回答
757 閲覧数

pandasのデータフレームをスプレッドシートへ反映したい

スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。 やりたいこと データフレームをスプレッドシートの最下部に追加したい コード: import pandas as pd import gspread import csv import json from oauth2client.service_account ...
merce's user avatar
  • 1
0
1 回答
1,917 閲覧数

Pandas でのデータ結合時にエラーが発生する

seriesに対し、日付をkeyにしてmerge_df1を左外部結合の下記のプログラムを実行するとエラーが発生するのですがなぜなのでしょうか? import numpy as np import pandas as pd series = pd.Series(['1/1', '1/2', '1/3', '1/4', '1/5', '1/6','1/7', '1/8'...
kaeru's user avatar
  • 1
0
1 回答
934 閲覧数

pd.read_htmlがうまく機能しない

以下のURLからテーブルデータを取ろうとしていますが、片方のURLの場合(aa1)だけうまくいきません。 これは取ってくるデータの文字列に何か原因があるのでしょうか。また、色々他のサイトで調べた結果、encoding="cp932"と行ってもうまくいきませんでした。 例えば、 import pandas as pd aa0 = "https://db.netkeiba....
0018's user avatar
  • 367
0
2 回答
408 閲覧数

JSONファイルのエラー箇所の特定

Python 3.9.10を使っています。 JSONファイルを読もうとしたときに、 import pandas as pd json_file = open(ファイルパス, 'r', encoding='utf-8') df = pd.read_json(json_file) というようなことをやっていますが、エラーが出ることがあります。エラーの意味することが何なのかというかということは、...
 BrainOverflow's user avatar
0
2 回答
213 閲覧数

`df.groupby("user").resample("W",on="date",label="left",closed="left")[["count"]].sum()`を実行したときに`KeyError`が発生する原因を教えてください。

実行環境 Python 3.10.2 pandas 1.4.1 やりたいこと 以下のpandas.DataFrameに対して、userごとにcountを1週間単位で集計したいです。 In [1]: df=pandas.DataFrame({"count":[1,2,3], "working_hours":[6,7,8], "user"...
yuji38kwmt's user avatar
  • 1,956
0
1 回答
268 閲覧数

pandas.DataFrame.resample関数の`label`引数, `closed`引数のデフォルト値は、なぜ特定の条件だけ`right`なのでしょうか?

やりたいこと 以下のデータのcountを、1週間単位(日曜日始まり)で集計した値を算出したいです。 In [1]: df=pandas.DataFrame({"count":[1,2,3], "date": pandas.date_range('2022-03-13', periods=3, freq='D')}) In [2]: df Out[2]: ...
yuji38kwmt's user avatar
  • 1,956
0
1 回答
1,550 閲覧数

pandasで任意の位置の値に代入locの利用方法について

Pythonのpandasのライブラリを使って 任意の位置の値に代入したいです。 ExcelからYahooの交通費検索して取得した金額の値を 金額の列に値を入力したいです。 既に入力しているもの除外しております。 Excel Data 出発 到着 金額 備考 東京 品川 池袋 浅草 新宿 五反田 168 20211222利用済み 実現結果のExcel Data 出発 到着 金額 備考 ...
幸589's user avatar
  • 445
0
1 回答
877 閲覧数

pandasのリスト要素を加算するときにNaNになることを避ける方法

DateFrameの複数の列にそれぞれリストが格納されているときに、リスト内の値を結合して1つのリストを生成したいです。列の値としてNaNが含まれていない場合は列同時を結合すれば実現できたのですが、NaNが含まれる場合に結果がNaNとなってしまいます。NaNを除いて処理を行うにはどうすればよいでしょうか? import pandas as pd import numpy as np ...
shimmy0619's user avatar
0
1 回答
414 閲覧数

Pandas でエクセルファイルを取り込んだデータフレームの name で AttributeError が発生する

以下の記事を参考に作業しています。 Excelシートをデータフレームとして読み込む pd_xl = pd.ExcelFile(<略>) temp_df = pd_xl.parse(sheet_name=<略>, names=<略>) temp_df = temp_df.fillna('-') print('temp_df.name-->', ...
 BrainOverflow's user avatar
0
2 回答
1,660 閲覧数

Beautiful Soup4で動的なクラス名自体を取得するには?

BS4初心者、というかWebスクレイピング初心者です。 スクレイピング対象のサイトの作りが表データと表を説明するデータで構成されており、Pandasを使い表データ取得や加工等はできるようになったのですが、表以外のデータの取得も必要となりBeautifulSoup4を併用することで考えています。 取得する必要があるのは動的に変更となるclass名自体になります。 ...
user50659's user avatar
0
1 回答
506 閲覧数

PandasのDataFrameのplotメソッドで、同軸グラフの表示順を指定したい

PandasのDataFrameのplotメソッドで、折れ線グラフに、追加で横棒グラフを表示させたいのですが、 表示順(zorder)の指定ができず困っています。(現状は棒グラフを半透明色にしてごまかしています。) 棒グラフを最背面へ、凡例を最前面へ表示を指定することは可能でしょうか? # zorderが効かない例(pd.DataFrameのplotメソッドを利用) import pandas ...
Sasaki's user avatar
  • 467
0
1 回答
1,454 閲覧数

pythonとcsvファイルを使って3次元グラフを作りたい

pythonとcsvファイルを用いて3次元グラフを作りたいです。 画像のようなCSVファイルを用いて三次元グラフを作ることを目標としています。(エクセルで開いているのでコンマの位置でセル分けされています。) pos=768,列はAMKまで存在しています。 この画像中の9行目がx軸、A列がy軸に該当し、中のデータがz軸で表現される量に該当します。 ...
milk's user avatar
  • 73
0
1 回答
1,409 閲覧数

pandasにて末尾."0"ゼロを削除をする方法

やりたいこと Excelからデータを読み込み,.0"ゼロを削除したいです。 Excelのデータ 番号 番号2 備考 123043449019  0123479020 有   0123499020 無 123043449020  有 pythonのデータを読み込むとき ...
幸589's user avatar
  • 445
0
1 回答
4,043 閲覧数

Python でのValueError: Length mismatchへの対処が分かりません。

以下のコードで突然ValueError: Length mismatchが出てきて、対処の方法が分かりません。同じ証券コードを繰り返し取得したからかと思ったのですがそうではなく、昨日までは問題なく動作していたためどこを改善してよいかも不明です。 解決策を教えていただけますでしょうか。 %matplotlib inline import pandas as pd import matplotlib....
user47011's user avatar
0
1 回答
3,463 閲覧数

ValueError: Length of values (2) does not match length of index (5) が起こる

pandasの = の動きを理解しないまま、推測でコードを書いています。 まず、下記のように書くと動くことが確認できました。 import matplotlib.pyplot as plt import pandas as pd df = pd.DataFrame({ 'date': ['01-01', '01-02', '01-03', '02-01', '02-01'], '...
shingo.nakanishi's user avatar
0
1 回答
223 閲覧数

pandasオブジェクトとmatplotlibの関係がわからない

まず、pandasは関係なくmatplotlibにシンプルにデータを渡す書き方だと下記になると思います。 該当ドキュメントはおそらくこちら https://matplotlib.org/stable/api/_as_gen/matplotlib.pyplot.bar.html 書いてみたコード: import matplotlib.pyplot as plt import pandas as pd ...
shingo.nakanishi's user avatar
0
2 回答
347 閲覧数

pandasでログデータに対してセッションIDを付与したい

以下のようなログデータに対してpandasでセッションIDを付与したいのですがやり方がわかりません。 user time 0 2020-05-23 00:01:19 0 2020-05-23 00:13:32 1 2020-05-23 00:13:45 0 2020-05-23 12:59:45 2 2020-05-23 13:13:13 1 2020-05-...
romanteruma's user avatar
0
1 回答
891 閲覧数

ヒストグラムの階級を500区切りにしたい

下記のコードを書いてみました import matplotlib.pyplot as plt import matplotlib.ticker as ticker import pandas as pd import seaborn as sns df = pd.DataFrame( { 'value': [ 5060,5000, 4400, ...
shingo.nakanishi's user avatar
0
1 回答
576 閲覧数

ヒストグラムの縦軸の数が小数になる

下記のようなコードを書きました。 import matplotlib.pyplot as plt import pandas as pd import seaborn as sns df = pd.DataFrame( { 'value': [ 5000, 4000, 2500, 1100, 1000, 900, 800, ...
shingo.nakanishi's user avatar
0
1 回答
679 閲覧数

リストにデータフレームを追加できない

Python3.7.6です。 リストにデータフレームを追加しようとしているのですが、str型と判断されてしまっているのかうまくいきません。 実行結果は以下のとおりです。 filesはfunc関数で読み込むときのファイルパスが入っているリストです。 lst = list() for i in files: lst.append(func(k=files[i])) TypeError: ...
user87562's user avatar
  • 923
0
1 回答
727 閲覧数

PythonでExcelからデータ読込後、ブラウザで検索

やりたいこと Excelからデータを読み込み,yahooで交通費検索したいです。 各項フィルドごとで作業を繰り返したいです。 以下のサイトと同様な処理をPandasで実現したい。 参考: PythonでExcelからデータ読込→サイトで交通費検索→Excelへデータ書込 Pythonでエクセルから情報を取得して検索エンジンに入力! Excelのデータ 日付 出発 到着 ...
幸589's user avatar
  • 445
0
1 回答
789 閲覧数

PythonでCSVから特定の列を読み込みメール送信 [クローズ済み]

Pythonで下記の条件でメールを送信したいです。 ① csvの 特定の列 だけを抽出した pandasのDataFrame を作成する ② 作成したDataFrameの 1行目と2行目(indexは0と1) に対して③~⑤の処理を行う ③ 処理対象行の 各列の列名とデータを抽出してそれぞれに改行コードを付加し、連結する ④ 抽出・連結した各列名+データを、さらに改行コードで連結する ⑤ ...
幸589's user avatar
  • 445
0
1 回答
1,811 閲覧数

CSV ヘッダーの追加と列名の順番変更について

Pythonで既存のcsvにヘッダーの追加と列名の順番変更を行いたいです。 データ毎回不定期に変わります。下記の①〜③条件で変わります。 ①既存のCSV 順番の変更 A B C D  E  F test1 test2 test3 test5 test4 test6 ②既存のCSV D,Fの列がない時       A B C ...
幸589's user avatar
  • 445
0
2 回答
1,182 閲覧数

pandas で標準入力からデータ読み込む方法

pandas で標準入力 (STDIN) から read_csv のように読み込むこと可能でしょうか? STDIN を変数に入れて、それを stringIO にして読み込むのは可能なのですが、もっとスマートにやる方法はないでしょうか?理想としては、jupyter 環境でストリーム(標準出力など)を設定して、次に、そのストリームをpandas で読み込むようなことをしたいです。
Tadashi Nagao's user avatar
0
1 回答
84 閲覧数

dropna(axis=1)とdropna(axis=0)で出力された内容が同じになるのはなぜですか?

pandasのdropnaについて質問です。一通りpandasなどをインポートした後に 今、df1のような欠損値ありのExcalデータを作って、試しています。 データは以下の通りです。 [In] df1=pd.read_excel('mo.xlsx') print(df1) [Out] T A B C 0 2 2.0 5.0 1.0 ...
M T's user avatar
  • 7
0
1 回答
1,110 閲覧数

データフレームの2列から辞書を作る際、keyが重複しているのでvalueをリスト化する方法

データフレームから dic1 = dict(zip(df['pid'], df['nid'])) を使って辞書を作りたいのですが、 pidに重複があるためうまくいきません。(おそらく上書きが起こっています。) (pid, nid) = {'8':'11', '8':'19'} の際はkeyが重複していればvalueがリストになるように、 この場合だと{8:[11,19]} のようにしたいです。 (...
user87562's user avatar
  • 923
0
1 回答
154 閲覧数

Pandasにおいて、IDでグループ化してからデータ削除を行いたい

Pandasで以下のdfを処理しようとしています。A列(ID)が同じデータのうち、E列において、後ろに0がない1の値が不要であり、削除したいです。つまり、13、14行目はA列(ID)が3であり、ID=3において後ろにE列の値に0がないので削除したいです。(21行目のID=5においても同様) 初心者にもわかりやすい方法があればご教示いただけますでしょうか。 A B C D E ...
TR123's user avatar
  • 77
0
1 回答
102 閲覧数

pandasで少し複雑なデータの選択を行いたい

Pandasでデータ処理をしています。以下のデータセット(df)で、 A列(IDです)の値が2の行ではE列の値が1のみ(0が存在しない)4の行ではE列の値が0のみ(1が存在しない)です。このようなデータから、E列の値が0と1の両方を含むデータだけを取り出したいです。(A列が2と4の行を削除して、A列が1、3、5の行だけを残したいです。) 何か良い操作があればご教示くださいませんか? A ...
TR123's user avatar
  • 77
0
1 回答
157 閲覧数

Pandasで行の削除をしたい

以下のようなデータをPandasで扱っており、A列が連番になるように行を削除したいです。 (2-13行目、15-21行目を削除してA列の数字が1,2...になるようにしたいです。) 良い方法があればご教示くださいませんか? 対象のデータ: A B C D E F 1 1 0 0 0 4 1163.7 2 1 0.8 0.8 2.2 0 ...
TR123's user avatar
  • 77
0
2 回答
99 閲覧数

pandasの表の処理方法に悩んでいます

pythonのpandasを使ったデータ加工方法で悩んでおります。 どなたかご教授お願いいたします。 以下のようなデータを加工したいです。 このデータを import pandas as pd pd.DataFrame([[1,'ame', 30,'hare',40],[2,'kumori', 20,'kosame',30]], columns=['id','today_tenki', '...
ktakita's user avatar
  • 199
0
1 回答
9,490 閲覧数

pandasで欠損により小数点がつく問題を回避したい

psycopg2でデータベースからSQLでデータを取得し、データフレーム化していますがその際欠損のあるbigint列がfloatになってしまいます。 Pandasで加工した後、DBに戻したいと考えているのですがfloatだとエラーが出てしまいます。 ERROR: invalid input syntax for type bigint 整数値でも .0 となっているのが原因のようです。 ...
user87562's user avatar
  • 923
0
1 回答
497 閲覧数

Pandasで文字列に対して関数を適用したい

Python3.7です。 df['cnt'] = df.x1.count('$') として、x1列(文字列)に出てくる$の回数を数えた列を作ろうと考えていますが、 KeyError: 'Requested level ($) does not match index name (None)' とエラーが出てしまいます。 どう対処すればよろしいでしょうか。 追記 df.x1.str.count('...
user87562's user avatar
  • 923
0
1 回答
1,249 閲覧数

pandasでcsvファイルを読み込むとinvalid character in identifier

resasからダウンロードした人口データcsvファイルをpandasに読み込みたいが、 以下のエラーメッセージが発生した。 df File "<ipython-input-13-5abd90abec15>", line 4 df = pd.read_csv(url, encoding="SHIFT-JIS") ...
masaki yamashita's user avatar
0
1 回答
2,725 閲覧数

DataFrame からタイムゾーンを削除したいがうまくいかない

以下の DataFrame があります。     install_t 0 NaT 1 2020-03-28 19:31:22.159174+09:00 2 NaT 3 2019-12-31 10:38:38.165566+09:00 4 ...
tabo0073's user avatar
0
1 回答
162 閲覧数

MultiindexなSeriesを表形式に変換する方法

以下のようなデータがあります。 sample code: import pandas as pd arrays = [np.array(['bar', 'bar', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux']), np.array(['one', 'two', 'one', 'two', 'one', 'two', 'one', '...
hashitaku's user avatar
  • 135
0
1 回答
119 閲覧数

Pandasで予め商品ごとのメーカーリストを使用し、仕入れリストの商品詳細からメーカーを特定・自動入力したい。

Pandasにて以下の処理を行いたいです。 DataFrame1 DataFrame1 は仕入れリストです。 A, B, C, D は商品名とします。 %は関係ない文字・数字とします DataFrame 2 <実行したいこと> ①DataFrame1に、"Marker"という列を追加します。 ②DataFrame1の"Product_Description&...
Seiya's user avatar
  • 1
0
1 回答
531 閲覧数

pandasで列を選択する際、startswithやendswithと同じ操作を使いたい

Pandasで条件に当てはまる列だけ同じ変換をしたい という質問を以前させていただき、回答をいただきましたがcontainsではなくstartswithやendswithのパターンの際は正規表現を利用する以外にやり方はありますでしょうか。 同じような質問になるかもしれませんが、 SASでのkeepはRやPythonではどのように書くのか のように、データフレーム上の列を選択して少なくしたいとき、...
user87562's user avatar
  • 923
0
1 回答
1,345 閲覧数

import pandas で、pandas/init.py に対して SyntaxError がでます。

ターミナルで python ファイルを実行したとき、以下のエラーがでます。 python パス/ファイル名.py Traceback (most recent call last): File "/Users/xxx/Desktop/Python/test.py", line 5, in <module> import pandas as pd File "/...
PandaSyntaxError's user avatar
0
1 回答
3,948 閲覧数

複数のdataframeをfor文で回したい

df_1, df_2, df_3 とカラムがすべて同じなデータフレームがあるとき、 df_1['year'].shape df_2['year'].shape df_3['year'].shape 上記を for 文で回したく、 for i in (1,2,3): df_(i)['year'].shape のように実現したいのですが、どのようにすれば自動化できますでしょうか?
m_t_p's user avatar
  • 1
0
1 回答
1万 閲覧数

pandasで'DataFrame' object has no attribute 'split'のエラーを解決したい

CSVからpandasで読み取った"/"で数字のまとまりごとに区切ってある文字列(OIDカラムの数字の文字列)をsplitで分割して再度、リスト化したいのですが、タイトルにあるエラーで上手く実装できません。 何かアドバイスを頂ければ幸いです。 よろしくお願いします。 read_csvの結果 OID 0 1618544796/...
amaturePy's user avatar
0
1 回答
475 閲覧数

pandas リストデータフレームから参照して列を追加したい

先日、pandas 別のデータフレームから参照して置換する方法を質問した者です。 上記は解決したのですが、下記のデータフレームで参照する方法が上手くいきません。 [例] [df2]を参照して、'City'に対応するCityCodeを[df1]に追加したい import pandas as pd df1 = pd.DataFrame({ 'Name': ['John', 'Milke', ...
pyonkichi's user avatar
0
1 回答
5,109 閲覧数

pandas 別のデータフレームから参照して置換する方法

プログラミング初学者です。 pandasでのデータフレームに関しての質問です。 2つのデータフレームで要素が一致したら置換する方法で苦戦しております。 [例] [df1] id, fruits 1, ringo 2, mikan 3, suika [df2] id, fruits_en, fruits_jp 1, apple, ringo 2, watermelon, suika 3, ...
pyonkichi's user avatar
0
1 回答
1万 閲覧数

pip instal pandasでホイールを構築できないとなります

python初心者です。 環境はWindows10、Python 3.8.0です。VScodeを使っています。 pip install pandas を実行すると以下のように表示されます。 Could not build wheels for numpy, since package 'wheel' is not installed. Could not build wheels for ...
masa-HJ's user avatar
0
1 回答
9,356 閲覧数

pandas 日付のソートが上手くいきません

pandasにてソートを行なったのですが、日付(判明日)の部分だけ、上手くソートされません。日の部分が二桁の際には上手く並び替えられているのですが、どうしても日が一桁の日時が無視してソートされてしまいます。どのようにすれば解決するでしょうか。 df_sort=df3.sort_values(["居住地","判明日"]) df_sort.head(50)`
yang's user avatar
  • 17
0
1 回答
2,779 閲覧数

pandas dataframeの列名に〇〇を含む要素を抽出しさらに値にフィルターをかける方法

下記のdataframeに対して 「labelが1かつ列名にP1を含む列の値が1以上かつ列名にP3を含む列の値が1以上の要素を抽出」 という処理を加えたいです。 Pythonコードの例をご教示頂けますでしょうか。 dataframe ↓ ↓ Output data (labelが0のもの以外にも、列名にP1とP3を含む列の値が全て0のものも抽出していない)
daikichi's user avatar

1
3 4
5
6 7
9