[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
1
2 回答
265 閲覧数

DataFrameの作り方によって、dtypeが異なるのはなぜでしょうか?

質問 文字列と数値を含む列があります。 文字列をnumpy.nanに置換した後のdtypeが、DatFrameの作り方によって異なりました。 dictからDataFrameを生成した場合 文字列を置換した後のdtypeはfloat64 In [60]: df = pandas.DataFrame({"x": [1.1, "--"]}) In [62]: ...
  • 1,626
2
3 回答
547 閲覧数

時系列の値を線形補間し、別の時系列インデックスに変換する方法

concatとjoinメソッドを利用することで、DataFrameのインデックスを変換することができたのですが、 もっとスマートな方法ありますでしょうか? (実際は、データの件数が増えることを前提としています。) よろしくお願いします。 import pandas as pd import matplotlib import matplotlib.pyplot as plt # ...
  • 119
0
1 回答
359 閲覧数

PandasのDataFrameのplotメソッドで、同軸グラフの表示順を指定したい

PandasのDataFrameのplotメソッドで、折れ線グラフに、追加で横棒グラフを表示させたいのですが、 表示順(zorder)の指定ができず困っています。(現状は棒グラフを半透明色にしてごまかしています。) 棒グラフを最背面へ、凡例を最前面へ表示を指定することは可能でしょうか? # zorderが効かない例(pd.DataFrameのplotメソッドを利用) import pandas ...
  • 336
0
2 回答
146 閲覧数

期間を含むDataFrameの条件抽出

以下のような期間を含むDataFrameで、指定した日付が期間内に含まれる行を抽出するには、どうしたらよいでしょうか? 例えば、'2021/08/05'を検索条件としたとき、りんごの行を抽出することは可能でしょうか?(applyや行ループするしかないのでしょうか?) よろしくお願いします。 import pandas as pd df = pd.DataFrame( data={ '品名':...
  • 336
1
1 回答
157 閲覧数

DataFrame セル内の記号を消したい

気温データをDFに取り込んだところ、「11月」と「年の値」のコラムに「 ] 」が含まれた数値があります。 この記号を削除したいのですが、どうすればいいでしょうか。 データタイプは、 Miyagi_temp['年の値'].unique().tolist() で確認して記号付きはstrになっています。 Miyagi_temp['年の値'].str.strip(' ]')  を実行すると記号は消えますが、...
3
1 回答
124 閲覧数

python 列と行のデータを照らし合わせて集計したい

データ前処理でどうしても解決できない部分があり質問させていただきます。 2つのテーブルで1つはユーザーIDに基づいたテレビ番組の視聴データ(0:見てない 1:見た)、 2つ目は上記テレビ番組のIDに基づいたCMの出稿データとなっており、製品名、会社名はダミーにしております。 今回やろうとしていることは製品ごとに出稿されたCMをユーザーがいくつ見たのかを集計したく Aという製品は〇回、Bという製品は〇...
  • 71
0
0 回答
153 閲覧数

Pandasのdataframeでcsvファイルの値を扱う際の"..."による省略が行われてしまう

以下の写真のように、csvファイルのある値(1枚目)を用いて、関数内で処理を行う際に、長すぎるためか2枚目の写真のように途中から"..."で省略が行われ、それがそのまま値として扱われてしまいます。 3枚目にエラーの内容も載せます。これを解決する方法はあるのでしょうか。 表示に関しては調べたら出てきましたが、自分が悩む問題に関しては関係なさそうでした。 宜しくお願いします。
  • 3
2
1 回答
1,603 閲覧数

object 型データから int 型への変換でエラーが発生する

csvで読み込んだデータがobject型として読み込まれてしまい、int型への変換を実施したところ添付のようなエラーでつまずいてしまっております。 色々やり方は調べたのですがどうしても解決できないため、解決方法を教示いただけると幸いです。 おそらく空欄が影響してしまっているのでreplaceでnp.NaNにした上でastypeにてint型変換をかけたのですがうまくいっていない状況です。 ...
  • 71
2
2 回答
1,073 閲覧数

複数のcsvファイル名の一部を変数化したうえで、それぞれを一括で読み込み格納したい

ご覧いただきありがとうございます。 表題の通りですが、例えば「首都圏」というフォルダ内に、 tokyo.csv saitama.csv kanagawa.csv chiba.csv があったときに、ある関数function()を用いると、 tokyo = pd.read_csv("./首都圏/tokyo.csv") が他のcsvファイル(saitama.csv等)...
2
2 回答
627 閲覧数

pandasのデータフレームにappendしながら、追加した行の名前を変えたい

pandasのデータフレームdfに1行ずつデータを追加しながら、その1行の行名を指定(変更)したいと思っています。変更しなくてもよい行もあるので、実際のソースでは、df.renameをifでくくっています。ソースコードのイメージは、以下の通りです。 for i in range(0, 100): df = df.append(dict(zip(list_colname, list_data)...
1
1 回答
437 閲覧数

時系列データのパターンマッチングについて

時系列データのパターンマッチングについて ある時系列データ(a)に、あらかじめ指定したパターンデータ(b)と似た形が、 どの時期にどの程度含まれているか、相関関係を求めたいのですが、 どのようなアプローチがよいでしょうか?(以下の方法は適切でしょうか?) ◇想定しているデータ (a)時系列データ 時系列データは、音声データ、株価データなどを想定しています。 インデックスはpd....
  • 119
2
1 回答
106 閲覧数

gurobi からpyomoへの変換

pythonでgurobiからpyomoへ二次制約付き問題であるため、変更したいのですがやり方がわからなくて困っています。 from gurobipy import * import pandas as pd import numpy as np import csv from pyomo.environ import SolverFactory opt = SolverFactory("...
0
0 回答
4,095 閲覧数

import pandas as pdと入れて実行するとNo module named 'pandas'とエラーが出る

Python始めたての初心者です。わからない用語も多く悪戦苦闘しています。 タイトルの通り、import pandas as pd と実行すると No module named 'pandas' とエラーが出てしまいます。 「No module named 'pandas'」でGoogle検索をしたのですが、なかなかどうして対処法がわからず困っています。 お力添えくださいますと幸いです。...
1
2 回答
291 閲覧数

pandasでうまくデータを追加できません。

pandasで、データを追加したいのですが、どうすればいいのかが分かりません。 appendで出来るのかと思ったのですが、コラムで指定したデータに入れたいデータが入りません。 0がラベル名になって、pandasで縦にデータが並んでしまいます。 私は、columnsで指定したラベル名にリストを入れたいのです。 listの順番と、コラムの指定の順番は同じになっています。 data_set_list = ...
  • 101
1
1 回答
232 閲覧数

辞書型のデータをdfに変換したいと考えている。

やりたいこと とあるサイトをスクレイピングしました。 データは取得しましたが、下記のコードのようにnicknameやidなどは通信状況を調べ、 json形式で取得しましたが、twitterURLはseleniumで取得しました。 そのため、片方はデータフレームであり、もう片方は辞書型となっております。 そこで辞書形式のデータのほうをデータフレームに変換した後、二つのデータをまとめたいと ...
  • 113
1
4 回答
1,154 閲覧数

二つの DataFrame から条件に一致する重複データのみを抽出したい

下記のようにAとBのデータがあり、ひとつ前の要素と比較して、AもBも重複していたら、その要素のみを抽出したいと考えております。 この場合、A列の「A4」が抽出の対象となります。 下記のように for 文を使って記述してみましたが、重複のみを抽出することがうまくできませんでした。 ご教示いただけますと幸いです。 よろしくお願いいたします。 df1 = pd.DataFrame({'A': ['A0'...
0
1 回答
1,174 閲覧数

pythonとcsvファイルを使って3次元グラフを作りたい

pythonとcsvファイルを用いて3次元グラフを作りたいです。 画像のようなCSVファイルを用いて三次元グラフを作ることを目標としています。(エクセルで開いているのでコンマの位置でセル分けされています。) pos=768,列はAMKまで存在しています。 この画像中の9行目がx軸、A列がy軸に該当し、中のデータがz軸で表現される量に該当します。 ...
  • 63
1
1 回答
270 閲覧数

Python DataFrameを使ってデータを置換する方法について

Python3で pandas.DataFrame.fillna を使ってExcelファイルの行と列を入れ替えた後に Replace を使ってデータを置換したいです。 実現したい内容が上手くいかないので質問させて頂きます。 ご指導をお願いできますでしょうか。 Excel Data No 国 都市 ディズニーランド有/無 1 アメリカ カリフォルニア 有   フロリダ 有 2 フランス ...
  • 435
1
1 回答
1,364 閲覧数

Python pandas 日付の.str AttributeErrorエラーについて

前提・実現したいこと Ppython, Pandasを使って、A列に08の月が含んでいる日付だけフィルターしたいです。 ただ下記のエラーが表示されます。 raise AttributeError("Can only use .str accessor with string values!") strからdtへ変換しましたがそれでも同じエラーが出ます。 ...
  • 435
1
1 回答
276 閲覧数

Python データ前処理 文字列データの切り出しや抽出に関して

Pythonデータ前処理に関して質問させていただきたきます。 求人内容のデータ分析をしており、添付1枚目のDataFrameにてまずは前処理段階で 添付2枚目の['position']列の文字列データを確認したところ構成が求人名(詳細内容や勤務地)などまとまってしまっているデータが多数あり、取り急ぎやりたいこととしては 求人名と()の内容を分割して()の内容は一旦別の列として抽出する作業なのですが、...
  • 71
1
1 回答
712 閲覧数

ネストされた辞書のリストからデータフレームを作成するには?

下記のようなネストされた辞書のリストから最終的にデータフレームを作成したいと考えています。 辞書がネストされているため、このままpandasで df = pd.DataFrame(sample) としてデータフレームを作成しても列が'Tdnet'のデータフレームが作成されてしまいます。 目標としてcolumnsが'id', 'pubdate', 'company_code'......
1
3 回答
1,312 閲覧数

一つのカラムの中にリストでデータが入っている場合、リストの各要素を分割して新たに列を増やし、各要素をダミー変数化方法はありますか?

データ分析初心者です。 初めて簡単なコンペのようなものに挑戦しています。 何からやればよいのかわからず手探りでググって一つ一つ進めてきたのですが、これについてはどのようにググれば答えが見つかるのかもわからずの状態です。 そのため、タイトルもなかなかうまく言語化できておらず、わかりにくくなってしまっていると思います。すみません。 コンペの内容としては民泊サービスの価格予測です。...
  • 11
0
1 回答
1,078 閲覧数

pandasにて末尾."0"ゼロを削除をする方法

やりたいこと Excelからデータを読み込み,.0"ゼロを削除したいです。 Excelのデータ 番号 番号2 備考 123043449019  0123479020 有   0123499020 無 123043449020  有 pythonのデータを読み込むとき ...
  • 435
0
1 回答
339 閲覧数

seabornで(エラーバー付きの)棒グラフを描くには

seabornにて、(エラーバー付きの)棒グラフを描きたいと思っています。 目標は、以下のdf.plot.bar()のように、「体育会出身」「その他」ふたつの項目を棒グラフとして表示させることです。 ご教示のほど、よろしくお願いいたします。 a=[[63,237,300],[37,163,200],[100,400,500]] import pandas as pd df=pd....
  • 41
2
3 回答
307 閲覧数

pd.DataFrameを、比率を示す図に再構築したい

pandas.DatFrameで作成したクロス図について、以下のように、 a行、b行それぞれの比率を表すクロス図に再構築したいと思っています。 作業を何ステップに分け(無理やり)できましたが、 もっと、シンプルに記述する方法は、ないでしょうか。 よろしく、お願いいたします。 import pandas as pd lst=[[120,80,300],[280,120,400]] df1=pd....
  • 41
0
3 回答
536 閲覧数

同じセル内に2つのDataFrameを表示させたい

Jupyter Notebookにて、pandas.DataFrameで作成した2つの表を、 同じセル内に表示させるのは可能でしょうか。 もし可能なら、その方法を、ご教示ください。 具体的には... 以下の場合、最後のDataFrame(lst2のみ)が表示されます。 lst1=[[1,2,3],[4,5,6]] lst2=[[2,3,4],[5,6,7]] import pandas as pd ...
  • 41
0
1 回答
3,013 閲覧数

Python でのValueError: Length mismatchへの対処が分かりません。

以下のコードで突然ValueError: Length mismatchが出てきて、対処の方法が分かりません。同じ証券コードを繰り返し取得したからかと思ったのですがそうではなく、昨日までは問題なく動作していたためどこを改善してよいかも不明です。 解決策を教えていただけますでしょうか。 %matplotlib inline import pandas as pd import matplotlib....
0
1 回答
300 閲覧数

pandas.DataFrameの結合を自動化したいです。

画像のように、沢山のデータフレームから任意の列を抜き出して右へと結合していき新たなデータフレームを作りたいと思いgoogle colaboratoryでコードを書いています。沢山の列を結合させようとfor文を使用してコードを書いているのですが、取り出した列を結合させる段階でエラーが起きたり、最後に取り出した列しか表示されなかったりします。検索しても同じようなエラーが起きるので詰まっております。...
0
2 回答
155 閲覧数

プロットの横軸が詰まって読めない

試したコード import pandas as pd import matplotlib.pyplot as plt import seaborn as sns tips = sns.load_dataset('tips') tips['total_bill'].plot.bar() 結果 下記のように行数を制限すると読めています。 tips['total_bill'][:10].plot....
1
1 回答
300 閲覧数

group_by 後に count した時、必要なカラムのみ表示したい

下記のように、seabornでデフォルトで読み込める tips のデータで試してみました。 total_billやtipとそれに続くカラムは全て同じカウントの数を出しているだけなので不要です。 countというカラムだけあればいいと思うのですが、どのようにすれば実現できますか? 試したコード: import pandas as pd import pandas_profiling as pdp ...
1
1 回答
1,366 閲覧数

pandasで、うまく、最大の行数を変更できません。

pandasで、うまく、最大の行数を変更できません。 pd.set_option('display.max_columns', 50) pd.set_option('display.max_rows', 500) df_list[0] どうすれば、最大の行数を変更することが出来るのでしょうか?
  • 101
0
1 回答
2,759 閲覧数

ValueError: Length of values (2) does not match length of index (5) が起こる

pandasの = の動きを理解しないまま、推測でコードを書いています。 まず、下記のように書くと動くことが確認できました。 import matplotlib.pyplot as plt import pandas as pd df = pd.DataFrame({ 'date': ['01-01', '01-02', '01-03', '02-01', '02-01'], '...
-1
1 回答
618 閲覧数

右側縦軸を0から表示するにはどうしたらよいのでしょうか?

以前に 累積比率(線グラフを棒グラフに重ねる方法がわかりません の質問をしました。 こちら重ねることはできましたが、右側の縦軸が0.6あたりから始まります。 右側の縦軸を0から始めると、ひとつめのデータが多くの割合を占めていることがよりわかると思うのですが、どうすれば0から始められますか? 上記質問、回答から本質問に必要そうな最低限のコードを下記に書きます。 import matplotlib....
0
1 回答
193 閲覧数

pandasオブジェクトとmatplotlibの関係がわからない

まず、pandasは関係なくmatplotlibにシンプルにデータを渡す書き方だと下記になると思います。 該当ドキュメントはおそらくこちら https://matplotlib.org/stable/api/_as_gen/matplotlib.pyplot.bar.html 書いてみたコード: import matplotlib.pyplot as plt import pandas as pd ...
0
2 回答
320 閲覧数

pandasでログデータに対してセッションIDを付与したい

以下のようなログデータに対してpandasでセッションIDを付与したいのですがやり方がわかりません。 user time 0 2020-05-23 00:01:19 0 2020-05-23 00:13:32 1 2020-05-23 00:13:45 0 2020-05-23 12:59:45 2 2020-05-23 13:13:13 1 2020-05-...
0
1 回答
570 閲覧数

ヒストグラムの階級を500区切りにしたい

下記のコードを書いてみました import matplotlib.pyplot as plt import matplotlib.ticker as ticker import pandas as pd import seaborn as sns df = pd.DataFrame( { 'value': [ 5060,5000, 4400, ...
0
1 回答
484 閲覧数

ヒストグラムの縦軸の数が小数になる

下記のようなコードを書きました。 import matplotlib.pyplot as plt import pandas as pd import seaborn as sns df = pd.DataFrame( { 'value': [ 5000, 4000, 2500, 1100, 1000, 900, 800, ...
0
2 回答
658 閲覧数

累積比率(線グラフ)を棒グラフに重ねる方法がわかりません

線グラフと棒グラフを個別に表示する方法はできました。 これらを同じグラフに描画する方法がわかりません。 環境: Anaconda-Navigator Jupyter Notebook 6.3.0 線グラフ: import matplotlib.pyplot as plt import numpy as np import pandas as pd import seaborn as sns df ...
0
3 回答
4,384 閲覧数

行ごとに列の数が異なる CSV から、特定の値を取り出したい

形が整っていないcsvから特定の値を取り出したい。(行と列を指定して) 以下のようなcsvがあり、pandasを用いてデータを取り出そうとするとエラーが当然出てきます。 実現したいことは、 4行3列の値を取り出す 17行3列の値を取り出す のような操作をできるようにしたいのです。 対象のCSV: SetupTitle, 0_NMOS_id-vg_vg-0.5-1_step2m_vd0....
  • 101
0
1 回答
232 閲覧数

Pandasのgroupbyがうまく機能していないので教えていただきたいです。

問題 以下のようなデータフレームがあります。 都道府県名(47都道府県)と市区町村名(618種類)、面積がカラムになっております。 このDataFrameに対して、 都道府県名が北海道の行に対して、市区町村ごとに面積の平均を求めたいです。 そこで以下のようなコードを実行したところ # 都道府県ごとに面積当たりの価格の平均が高いところを調べたい df[df["都道府県名"]==&...
0
1 回答
512 閲覧数

リストにデータフレームを追加できない

Python3.7.6です。 リストにデータフレームを追加しようとしているのですが、str型と判断されてしまっているのかうまくいきません。 実行結果は以下のとおりです。 filesはfunc関数で読み込むときのファイルパスが入っているリストです。 lst = list() for i in files: lst.append(func(k=files[i])) TypeError: ...
  • 853
0
2 回答
177 閲覧数

Pythonでのグラフ作成方法

グループ× 商品 別に購入数を集計した数表(下記df)があります。 df = pd.DataFrame({'Group': ['A', 'B', 'C', 'D', 'E'], '購入数A': [150, 300, 100, 50, 300], '購入数B': [500, 900, 350, 100, 300], ...
  • 57
0
2 回答
423 閲覧数

pandasのDataFrameに対する演算

Pythonでpandasの練習をしています。CSVから read_csv() でDataFrameを作成し、その特定の列に対して演算を行おうと思っています。例えばこんな感じです。   A 1 12A 2 14A 3 55B 4 99F A列に対して、ある処理 func() を行いその結果を新しい列として追加したいと思っています。どのように記載するのが良いのでしょうか? ...
  • 55
0
1 回答
145 閲覧数

csvをheaderとして結合したい

同じ列数を持つcsvを片方をheaderに設定するように結合したい やってみたこと header.csv Columns: [a,b,c] Index: [] axis.csv Columns: [1,2,3]      [4,5,6] df=pd.read_csv('header.csv') df1=pd.read_csv('axis.csv') df2=pd.concat([df1, ...
0
1 回答
665 閲覧数

PythonのStyleFrameでエクセルに上書きせず追記できるようにしたい

StyleFrame を使ってエクセルに上書きせずに保存したいのですがうまく行きません。 試したことは with StyleFrame.ExcelWriter(s_path,mode='a') as writer: です。 これではエラーになってしまって出来ませんでした。 教えていただけたら嬉しいです、よろしくお願いします。
0
1 回答
96 閲覧数

pandasで数列の各値を一定区間のstdevを計算してそれで割り算したいとき

いつもお世話になっております。 【背景】 株の価格をpriceに格納して、そのsmaを窓関数を使って以下のように求めてます sma8 = pd.Series(price).rolling(8).mean().values sma24 = pd.Series(price).rolling(8).mean().values 【やりたいこと】 概念のようなものを書きます。 sma20_std = ...
0
1 回答
633 閲覧数

PythonでExcelからデータ読込後、ブラウザで検索

やりたいこと Excelからデータを読み込み,yahooで交通費検索したいです。 各項フィルドごとで作業を繰り返したいです。 以下のサイトと同様な処理をPandasで実現したい。 参考: PythonでExcelからデータ読込→サイトで交通費検索→Excelへデータ書込 Pythonでエクセルから情報を取得して検索エンジンに入力! Excelのデータ 日付 出発 到着 ...
  • 435
0
2 回答
794 閲覧数

Pythonのdataframeで、各時刻ごとにデータをグループ化して相関を計算する方法

背景 時系列データの分析を行おうと思っております。 各時刻ごとにseriesを作ってcorrを出そうとしているのですが、NaNになってうまく参照できません。(おそらくデータフレームのインデックスが悪さをしているものと思われます) row_dataは以下で指定したデータフレームです。 ドル円の価格データ、時刻(UTC)を格納してます。 row_data = pd.DataFrame() ...
0
2 回答
1,079 閲覧数

dataframe内の数値から文字列に変換する方法

file_name expression 0 test_0000.jpg 1 1 test_0001.jpg 0 2 test_0002.jpg 0 3 test_0003.jpg 0 4 test_0004.jpg 2 ... ... ... 307 test_0307.jpg 1 308 test_0308.jpg 0 309 ...
1
3 回答
134 閲覧数

dataframeの各列を1列目の値で引きたい

dataframeの各列を1列目の値で引こうとし、以下のコードで試みたのですが、計算結果のdf2を見ると、1列目は自身の値で引いているので当然0になりますが、他の列は1列目で引かれていなものが返されてしまいます こちらどのように書き直せばよいか、ご教示いただけると幸いです df2=df for i in df.columns.values : df2[i]=df[i]-df.iloc[:,...
  • 47