[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
407
質問
1
票
2
回答
265
閲覧数
DataFrameの作り方によって、dtypeが異なるのはなぜでしょうか?
質問
文字列と数値を含む列があります。
文字列をnumpy.nanに置換した後のdtypeが、DatFrameの作り方によって異なりました。
dictからDataFrameを生成した場合
文字列を置換した後のdtypeはfloat64
In [60]: df = pandas.DataFrame({"x": [1.1, "--"]})
In [62]: ...
2
票
3
回答
547
閲覧数
時系列の値を線形補間し、別の時系列インデックスに変換する方法
concatとjoinメソッドを利用することで、DataFrameのインデックスを変換することができたのですが、
もっとスマートな方法ありますでしょうか?
(実際は、データの件数が増えることを前提としています。)
よろしくお願いします。
import pandas as pd
import matplotlib
import matplotlib.pyplot as plt
# ...
0
票
1
回答
359
閲覧数
PandasのDataFrameのplotメソッドで、同軸グラフの表示順を指定したい
PandasのDataFrameのplotメソッドで、折れ線グラフに、追加で横棒グラフを表示させたいのですが、
表示順(zorder)の指定ができず困っています。(現状は棒グラフを半透明色にしてごまかしています。)
棒グラフを最背面へ、凡例を最前面へ表示を指定することは可能でしょうか?
# zorderが効かない例(pd.DataFrameのplotメソッドを利用)
import pandas ...
0
票
2
回答
146
閲覧数
期間を含むDataFrameの条件抽出
以下のような期間を含むDataFrameで、指定した日付が期間内に含まれる行を抽出するには、どうしたらよいでしょうか?
例えば、'2021/08/05'を検索条件としたとき、りんごの行を抽出することは可能でしょうか?(applyや行ループするしかないのでしょうか?)
よろしくお願いします。
import pandas as pd
df = pd.DataFrame(
data={ '品名':...
1
票
1
回答
157
閲覧数
DataFrame セル内の記号を消したい
気温データをDFに取り込んだところ、「11月」と「年の値」のコラムに「 ] 」が含まれた数値があります。
この記号を削除したいのですが、どうすればいいでしょうか。
データタイプは、
Miyagi_temp['年の値'].unique().tolist()
で確認して記号付きはstrになっています。
Miyagi_temp['年の値'].str.strip(' ]')
を実行すると記号は消えますが、...
3
票
1
回答
124
閲覧数
python 列と行のデータを照らし合わせて集計したい
データ前処理でどうしても解決できない部分があり質問させていただきます。
2つのテーブルで1つはユーザーIDに基づいたテレビ番組の視聴データ(0:見てない 1:見た)、
2つ目は上記テレビ番組のIDに基づいたCMの出稿データとなっており、製品名、会社名はダミーにしております。
今回やろうとしていることは製品ごとに出稿されたCMをユーザーがいくつ見たのかを集計したく
Aという製品は〇回、Bという製品は〇...
0
票
0
回答
153
閲覧数
Pandasのdataframeでcsvファイルの値を扱う際の"..."による省略が行われてしまう
以下の写真のように、csvファイルのある値(1枚目)を用いて、関数内で処理を行う際に、長すぎるためか2枚目の写真のように途中から"..."で省略が行われ、それがそのまま値として扱われてしまいます。
3枚目にエラーの内容も載せます。これを解決する方法はあるのでしょうか。
表示に関しては調べたら出てきましたが、自分が悩む問題に関しては関係なさそうでした。
宜しくお願いします。
2
票
1
回答
1,603
閲覧数
object 型データから int 型への変換でエラーが発生する
csvで読み込んだデータがobject型として読み込まれてしまい、int型への変換を実施したところ添付のようなエラーでつまずいてしまっております。
色々やり方は調べたのですがどうしても解決できないため、解決方法を教示いただけると幸いです。
おそらく空欄が影響してしまっているのでreplaceでnp.NaNにした上でastypeにてint型変換をかけたのですがうまくいっていない状況です。
...
2
票
2
回答
1,073
閲覧数
複数のcsvファイル名の一部を変数化したうえで、それぞれを一括で読み込み格納したい
ご覧いただきありがとうございます。
表題の通りですが、例えば「首都圏」というフォルダ内に、
tokyo.csv
saitama.csv
kanagawa.csv
chiba.csv
があったときに、ある関数function()を用いると、
tokyo = pd.read_csv("./首都圏/tokyo.csv")
が他のcsvファイル(saitama.csv等)...
2
票
2
回答
627
閲覧数
pandasのデータフレームにappendしながら、追加した行の名前を変えたい
pandasのデータフレームdfに1行ずつデータを追加しながら、その1行の行名を指定(変更)したいと思っています。変更しなくてもよい行もあるので、実際のソースでは、df.renameをifでくくっています。ソースコードのイメージは、以下の通りです。
for i in range(0, 100):
df = df.append(dict(zip(list_colname, list_data)...
1
票
1
回答
437
閲覧数
時系列データのパターンマッチングについて
時系列データのパターンマッチングについて
ある時系列データ(a)に、あらかじめ指定したパターンデータ(b)と似た形が、
どの時期にどの程度含まれているか、相関関係を求めたいのですが、
どのようなアプローチがよいでしょうか?(以下の方法は適切でしょうか?)
◇想定しているデータ
(a)時系列データ
時系列データは、音声データ、株価データなどを想定しています。
インデックスはpd....
2
票
1
回答
106
閲覧数
gurobi からpyomoへの変換
pythonでgurobiからpyomoへ二次制約付き問題であるため、変更したいのですがやり方がわからなくて困っています。
from gurobipy import *
import pandas as pd
import numpy as np
import csv
from pyomo.environ import SolverFactory
opt = SolverFactory("...
0
票
0
回答
4,095
閲覧数
import pandas as pdと入れて実行するとNo module named 'pandas'とエラーが出る
Python始めたての初心者です。わからない用語も多く悪戦苦闘しています。
タイトルの通り、import pandas as pd と実行すると No module named 'pandas' とエラーが出てしまいます。
「No module named 'pandas'」でGoogle検索をしたのですが、なかなかどうして対処法がわからず困っています。
お力添えくださいますと幸いです。...
1
票
2
回答
291
閲覧数
pandasでうまくデータを追加できません。
pandasで、データを追加したいのですが、どうすればいいのかが分かりません。
appendで出来るのかと思ったのですが、コラムで指定したデータに入れたいデータが入りません。
0がラベル名になって、pandasで縦にデータが並んでしまいます。
私は、columnsで指定したラベル名にリストを入れたいのです。
listの順番と、コラムの指定の順番は同じになっています。
data_set_list = ...
1
票
1
回答
232
閲覧数
辞書型のデータをdfに変換したいと考えている。
やりたいこと
とあるサイトをスクレイピングしました。
データは取得しましたが、下記のコードのようにnicknameやidなどは通信状況を調べ、
json形式で取得しましたが、twitterURLはseleniumで取得しました。
そのため、片方はデータフレームであり、もう片方は辞書型となっております。
そこで辞書形式のデータのほうをデータフレームに変換した後、二つのデータをまとめたいと
...
1
票
4
回答
1,154
閲覧数
二つの DataFrame から条件に一致する重複データのみを抽出したい
下記のようにAとBのデータがあり、ひとつ前の要素と比較して、AもBも重複していたら、その要素のみを抽出したいと考えております。
この場合、A列の「A4」が抽出の対象となります。
下記のように for 文を使って記述してみましたが、重複のみを抽出することがうまくできませんでした。
ご教示いただけますと幸いです。
よろしくお願いいたします。
df1 = pd.DataFrame({'A': ['A0'...
0
票
1
回答
1,174
閲覧数
pythonとcsvファイルを使って3次元グラフを作りたい
pythonとcsvファイルを用いて3次元グラフを作りたいです。
画像のようなCSVファイルを用いて三次元グラフを作ることを目標としています。(エクセルで開いているのでコンマの位置でセル分けされています。)
pos=768,列はAMKまで存在しています。
この画像中の9行目がx軸、A列がy軸に該当し、中のデータがz軸で表現される量に該当します。
...
1
票
1
回答
270
閲覧数
Python DataFrameを使ってデータを置換する方法について
Python3で pandas.DataFrame.fillna を使ってExcelファイルの行と列を入れ替えた後に Replace を使ってデータを置換したいです。
実現したい内容が上手くいかないので質問させて頂きます。
ご指導をお願いできますでしょうか。
Excel Data
No
国
都市
ディズニーランド有/無
1
アメリカ
カリフォルニア
有
フロリダ
有
2
フランス
...
1
票
1
回答
1,364
閲覧数
Python pandas 日付の.str AttributeErrorエラーについて
前提・実現したいこと
Ppython, Pandasを使って、A列に08の月が含んでいる日付だけフィルターしたいです。
ただ下記のエラーが表示されます。
raise AttributeError("Can only use .str accessor with string values!")
strからdtへ変換しましたがそれでも同じエラーが出ます。
...
1
票
1
回答
276
閲覧数
Python データ前処理 文字列データの切り出しや抽出に関して
Pythonデータ前処理に関して質問させていただきたきます。
求人内容のデータ分析をしており、添付1枚目のDataFrameにてまずは前処理段階で
添付2枚目の['position']列の文字列データを確認したところ構成が求人名(詳細内容や勤務地)などまとまってしまっているデータが多数あり、取り急ぎやりたいこととしては
求人名と()の内容を分割して()の内容は一旦別の列として抽出する作業なのですが、...
1
票
1
回答
712
閲覧数
ネストされた辞書のリストからデータフレームを作成するには?
下記のようなネストされた辞書のリストから最終的にデータフレームを作成したいと考えています。
辞書がネストされているため、このままpandasで df = pd.DataFrame(sample) としてデータフレームを作成しても列が'Tdnet'のデータフレームが作成されてしまいます。
目標としてcolumnsが'id', 'pubdate', 'company_code'......
1
票
3
回答
1,312
閲覧数
一つのカラムの中にリストでデータが入っている場合、リストの各要素を分割して新たに列を増やし、各要素をダミー変数化方法はありますか?
データ分析初心者です。
初めて簡単なコンペのようなものに挑戦しています。
何からやればよいのかわからず手探りでググって一つ一つ進めてきたのですが、これについてはどのようにググれば答えが見つかるのかもわからずの状態です。
そのため、タイトルもなかなかうまく言語化できておらず、わかりにくくなってしまっていると思います。すみません。
コンペの内容としては民泊サービスの価格予測です。...
0
票
1
回答
1,078
閲覧数
pandasにて末尾."0"ゼロを削除をする方法
やりたいこと
Excelからデータを読み込み,.0"ゼロを削除したいです。
Excelのデータ
番号 番号2 備考
123043449019 0123479020 有
0123499020 無
123043449020 有
pythonのデータを読み込むとき
...
0
票
1
回答
339
閲覧数
seabornで(エラーバー付きの)棒グラフを描くには
seabornにて、(エラーバー付きの)棒グラフを描きたいと思っています。
目標は、以下のdf.plot.bar()のように、「体育会出身」「その他」ふたつの項目を棒グラフとして表示させることです。
ご教示のほど、よろしくお願いいたします。
a=[[63,237,300],[37,163,200],[100,400,500]]
import pandas as pd
df=pd....
2
票
3
回答
307
閲覧数
pd.DataFrameを、比率を示す図に再構築したい
pandas.DatFrameで作成したクロス図について、以下のように、
a行、b行それぞれの比率を表すクロス図に再構築したいと思っています。
作業を何ステップに分け(無理やり)できましたが、
もっと、シンプルに記述する方法は、ないでしょうか。
よろしく、お願いいたします。
import pandas as pd
lst=[[120,80,300],[280,120,400]]
df1=pd....
0
票
3
回答
536
閲覧数
同じセル内に2つのDataFrameを表示させたい
Jupyter Notebookにて、pandas.DataFrameで作成した2つの表を、
同じセル内に表示させるのは可能でしょうか。
もし可能なら、その方法を、ご教示ください。
具体的には...
以下の場合、最後のDataFrame(lst2のみ)が表示されます。
lst1=[[1,2,3],[4,5,6]]
lst2=[[2,3,4],[5,6,7]]
import pandas as pd
...
0
票
1
回答
3,013
閲覧数
Python でのValueError: Length mismatchへの対処が分かりません。
以下のコードで突然ValueError: Length mismatchが出てきて、対処の方法が分かりません。同じ証券コードを繰り返し取得したからかと思ったのですがそうではなく、昨日までは問題なく動作していたためどこを改善してよいかも不明です。
解決策を教えていただけますでしょうか。
%matplotlib inline
import pandas as pd
import matplotlib....
0
票
1
回答
300
閲覧数
pandas.DataFrameの結合を自動化したいです。
画像のように、沢山のデータフレームから任意の列を抜き出して右へと結合していき新たなデータフレームを作りたいと思いgoogle colaboratoryでコードを書いています。沢山の列を結合させようとfor文を使用してコードを書いているのですが、取り出した列を結合させる段階でエラーが起きたり、最後に取り出した列しか表示されなかったりします。検索しても同じようなエラーが起きるので詰まっております。...
0
票
2
回答
155
閲覧数
プロットの横軸が詰まって読めない
試したコード
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
tips = sns.load_dataset('tips')
tips['total_bill'].plot.bar()
結果
下記のように行数を制限すると読めています。
tips['total_bill'][:10].plot....
1
票
1
回答
300
閲覧数
group_by 後に count した時、必要なカラムのみ表示したい
下記のように、seabornでデフォルトで読み込める tips のデータで試してみました。
total_billやtipとそれに続くカラムは全て同じカウントの数を出しているだけなので不要です。
countというカラムだけあればいいと思うのですが、どのようにすれば実現できますか?
試したコード:
import pandas as pd
import pandas_profiling as pdp
...
1
票
1
回答
1,366
閲覧数
pandasで、うまく、最大の行数を変更できません。
pandasで、うまく、最大の行数を変更できません。
pd.set_option('display.max_columns', 50)
pd.set_option('display.max_rows', 500)
df_list[0]
どうすれば、最大の行数を変更することが出来るのでしょうか?
0
票
1
回答
2,759
閲覧数
ValueError: Length of values (2) does not match length of index (5) が起こる
pandasの = の動きを理解しないまま、推測でコードを書いています。
まず、下記のように書くと動くことが確認できました。
import matplotlib.pyplot as plt
import pandas as pd
df = pd.DataFrame({
'date': ['01-01', '01-02', '01-03', '02-01', '02-01'],
'...
-1
票
1
回答
618
閲覧数
右側縦軸を0から表示するにはどうしたらよいのでしょうか?
以前に 累積比率(線グラフを棒グラフに重ねる方法がわかりません の質問をしました。
こちら重ねることはできましたが、右側の縦軸が0.6あたりから始まります。
右側の縦軸を0から始めると、ひとつめのデータが多くの割合を占めていることがよりわかると思うのですが、どうすれば0から始められますか?
上記質問、回答から本質問に必要そうな最低限のコードを下記に書きます。
import matplotlib....
0
票
1
回答
193
閲覧数
pandasオブジェクトとmatplotlibの関係がわからない
まず、pandasは関係なくmatplotlibにシンプルにデータを渡す書き方だと下記になると思います。
該当ドキュメントはおそらくこちら
https://matplotlib.org/stable/api/_as_gen/matplotlib.pyplot.bar.html
書いてみたコード:
import matplotlib.pyplot as plt
import pandas as pd
...
0
票
2
回答
320
閲覧数
pandasでログデータに対してセッションIDを付与したい
以下のようなログデータに対してpandasでセッションIDを付与したいのですがやり方がわかりません。
user time
0 2020-05-23 00:01:19
0 2020-05-23 00:13:32
1 2020-05-23 00:13:45
0 2020-05-23 12:59:45
2 2020-05-23 13:13:13
1 2020-05-...
0
票
1
回答
570
閲覧数
ヒストグラムの階級を500区切りにしたい
下記のコードを書いてみました
import matplotlib.pyplot as plt
import matplotlib.ticker as ticker
import pandas as pd
import seaborn as sns
df = pd.DataFrame(
{
'value': [
5060,5000, 4400, ...
0
票
1
回答
484
閲覧数
ヒストグラムの縦軸の数が小数になる
下記のようなコードを書きました。
import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns
df = pd.DataFrame(
{
'value': [
5000, 4000, 2500, 1100, 1000, 900, 800,
...
0
票
2
回答
658
閲覧数
累積比率(線グラフ)を棒グラフに重ねる方法がわかりません
線グラフと棒グラフを個別に表示する方法はできました。
これらを同じグラフに描画する方法がわかりません。
環境:
Anaconda-Navigator
Jupyter Notebook 6.3.0
線グラフ:
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import seaborn as sns
df ...
0
票
3
回答
4,384
閲覧数
行ごとに列の数が異なる CSV から、特定の値を取り出したい
形が整っていないcsvから特定の値を取り出したい。(行と列を指定して)
以下のようなcsvがあり、pandasを用いてデータを取り出そうとするとエラーが当然出てきます。
実現したいことは、
4行3列の値を取り出す
17行3列の値を取り出す
のような操作をできるようにしたいのです。
対象のCSV:
SetupTitle, 0_NMOS_id-vg_vg-0.5-1_step2m_vd0....
0
票
1
回答
232
閲覧数
Pandasのgroupbyがうまく機能していないので教えていただきたいです。
問題
以下のようなデータフレームがあります。
都道府県名(47都道府県)と市区町村名(618種類)、面積がカラムになっております。
このDataFrameに対して、
都道府県名が北海道の行に対して、市区町村ごとに面積の平均を求めたいです。
そこで以下のようなコードを実行したところ
# 都道府県ごとに面積当たりの価格の平均が高いところを調べたい
df[df["都道府県名"]==&...
0
票
1
回答
512
閲覧数
リストにデータフレームを追加できない
Python3.7.6です。
リストにデータフレームを追加しようとしているのですが、str型と判断されてしまっているのかうまくいきません。
実行結果は以下のとおりです。
filesはfunc関数で読み込むときのファイルパスが入っているリストです。
lst = list()
for i in files:
lst.append(func(k=files[i]))
TypeError: ...
0
票
2
回答
177
閲覧数
Pythonでのグラフ作成方法
グループ× 商品 別に購入数を集計した数表(下記df)があります。
df = pd.DataFrame({'Group': ['A', 'B', 'C', 'D', 'E'],
'購入数A': [150, 300, 100, 50, 300],
'購入数B': [500, 900, 350, 100, 300],
...
0
票
2
回答
423
閲覧数
pandasのDataFrameに対する演算
Pythonでpandasの練習をしています。CSVから read_csv() でDataFrameを作成し、その特定の列に対して演算を行おうと思っています。例えばこんな感じです。
A
1 12A
2 14A
3 55B
4 99F
A列に対して、ある処理 func() を行いその結果を新しい列として追加したいと思っています。どのように記載するのが良いのでしょうか?
...
0
票
1
回答
145
閲覧数
csvをheaderとして結合したい
同じ列数を持つcsvを片方をheaderに設定するように結合したい
やってみたこと
header.csv
Columns: [a,b,c] Index: []
axis.csv
Columns: [1,2,3]
[4,5,6]
df=pd.read_csv('header.csv')
df1=pd.read_csv('axis.csv')
df2=pd.concat([df1, ...
0
票
1
回答
665
閲覧数
PythonのStyleFrameでエクセルに上書きせず追記できるようにしたい
StyleFrame を使ってエクセルに上書きせずに保存したいのですがうまく行きません。
試したことは with StyleFrame.ExcelWriter(s_path,mode='a') as writer: です。
これではエラーになってしまって出来ませんでした。
教えていただけたら嬉しいです、よろしくお願いします。
0
票
1
回答
96
閲覧数
pandasで数列の各値を一定区間のstdevを計算してそれで割り算したいとき
いつもお世話になっております。
【背景】
株の価格をpriceに格納して、そのsmaを窓関数を使って以下のように求めてます
sma8 = pd.Series(price).rolling(8).mean().values
sma24 = pd.Series(price).rolling(8).mean().values
【やりたいこと】
概念のようなものを書きます。
sma20_std = ...
0
票
1
回答
633
閲覧数
PythonでExcelからデータ読込後、ブラウザで検索
やりたいこと
Excelからデータを読み込み,yahooで交通費検索したいです。
各項フィルドごとで作業を繰り返したいです。
以下のサイトと同様な処理をPandasで実現したい。
参考:
PythonでExcelからデータ読込→サイトで交通費検索→Excelへデータ書込
Pythonでエクセルから情報を取得して検索エンジンに入力!
Excelのデータ
日付 出発 到着 ...
0
票
2
回答
794
閲覧数
Pythonのdataframeで、各時刻ごとにデータをグループ化して相関を計算する方法
背景
時系列データの分析を行おうと思っております。
各時刻ごとにseriesを作ってcorrを出そうとしているのですが、NaNになってうまく参照できません。(おそらくデータフレームのインデックスが悪さをしているものと思われます)
row_dataは以下で指定したデータフレームです。
ドル円の価格データ、時刻(UTC)を格納してます。
row_data = pd.DataFrame()
...
0
票
2
回答
1,079
閲覧数
dataframe内の数値から文字列に変換する方法
file_name expression
0 test_0000.jpg 1
1 test_0001.jpg 0
2 test_0002.jpg 0
3 test_0003.jpg 0
4 test_0004.jpg 2
... ... ...
307 test_0307.jpg 1
308 test_0308.jpg 0
309 ...
1
票
3
回答
134
閲覧数
dataframeの各列を1列目の値で引きたい
dataframeの各列を1列目の値で引こうとし、以下のコードで試みたのですが、計算結果のdf2を見ると、1列目は自身の値で引いているので当然0になりますが、他の列は1列目で引かれていなものが返されてしまいます
こちらどのように書き直せばよいか、ご教示いただけると幸いです
df2=df
for i in df.columns.values :
df2[i]=df[i]-df.iloc[:,...