[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
362
質問
0
票
2
回答
419
閲覧数
Pythonのdataframeで、各時刻ごとにデータをグループ化して相関を計算する方法
背景
時系列データの分析を行おうと思っております。
各時刻ごとにseriesを作ってcorrを出そうとしているのですが、NaNになってうまく参照できません。(おそらくデータフレームのインデックスが悪さをしているものと思われます)
row_dataは以下で指定したデータフレームです。
ドル円の価格データ、時刻(UTC)を格納してます。
row_data = pd.DataFrame()
...
0
票
2
回答
1,323
閲覧数
Pandasでif文に2つ以上の条件が入る変換
x1,..,y14
abc, ..., -
のようなデータフレームdfがあります。
x1 == 'abc' かつ y14 == '-' ならば y14 = '★'のような変換をしたいと考えております。
def henkan(x):
if x == abc:
return '★'
df.y14 = df.y14.apply(henkan)
...
0
票
2
回答
161
閲覧数
pythonで日付リストから、ある月の出現頻度を取得する方法
以下のような日付データがあります。
DatetimeIndex(['2019-06-05', '2019-06-14', '2019-06-24', '2019-07-03',
'2019-07-30', '2019-07-31', '2019-08-06', '2019-08-28',
'2019-09-03', '2019-09-26'...
0
票
1
回答
282
閲覧数
データフレームのnanとNoneの比較
PythonのPandasで、2つのデータフレームraw1, raw2があり、raw1のx1,x2とraw2のy1,y2を比べて違うもの(x1!=y1 or x2!=y2)のみを出力したいと考えていますが、片方は欠損値がnan, もう一方はNoneになっており、比較ができなくて困っています。
raw1 = raw1.where((pd.notnull(raw1)), None)
として、...
0
票
2
回答
208
閲覧数
Pandasで条件に当てはまる列だけ同じ変換をしたい
Pandasで条件に当てはまる列だけ同じ変換を施したく、以下のコードを書いていますが
can't assign to function callのSyntax Errorが出てしまいます。
df.str.contains("x") = df.str.contains("x").apply(lambda x: 1 if x == 1 else 0)
どう改良すればよろしいでしょうか?
...
0
票
1
回答
243
閲覧数
PythonでAPIで取得したJSONをデータフレーム化したい
PythonでAPIで取得したJSONをデータフレーム化したいと考えていますが、うまく行かないです。
import requests
import pandas as pd
url = 'https://newspicks.com/'
hb_count = 'http://api.b.st-hatena.com/entrylist/json?mode=rss&threshold=...
0
票
1
回答
4,206
閲覧数
pythonで複数のcsvファイルから特定の列を抽出して結合させたい
やりたいこと:
添付画像のようなcsvファイルが複数ある
各ファイルからプロファイル1の列のデータを抽出
列方向にデータを結合
csvファイルとして保存
import csv
import glob
import os
import pandas as pd
df_dir = './sample1'
df_file = '*.csv'
if __name__ == "__main__":
...
0
票
1
回答
6,103
閲覧数
pandas.plotで凡例の場所を変更したい
pandas.plotを用いて株価のグラフを作成したのですが、凡例が変な位置に来てしまいます。
matplotlibであれば下記のように、legend に対して loc を指定してやれば位置を調整できると思うのですが、pandas.plotだと出来ないのでしょうか?
(matplotlibのラッパーなので、難しいことをすれば出来るのでしょうか?)
matplotlibだと以下の書き方ができる
...
0
票
2
回答
333
閲覧数
python3 isin関数を使用するが順番通りデータを抽出できない
以下のファイルがあります。
Df12元のファイル
url,url_category,todo
A,app,0
B,app,1
B,app,2
A,app,3
C,matome,4
.......
上記の形でtodoは1〜100くらいまで重複しないであり、他の項目は重複あります。
final_result =
[[9, 0, 1, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0,...
0
票
2
回答
183
閲覧数
pythonを使用して複数のcsvデータを操作
pythonを使用して2つのcsvファイルを一つにまとめたいと考えております。
【list1】
route_node,X,Y
50775,-7882.7599,-43837.4058
50774,-7886.58284,-43851.12686
50772,-7895.8552,-43835.9677
【list2】
id,x,y
57136,-10171.54496,-44468.08496
...
0
票
2
回答
1,256
閲覧数
Pythonでデータフレーム名に対して繰り返しの処理を行うには?
複数のデータフレームがあり、それぞれのデータフレームの大きさを知りたく、次のようなコードを書いています。
dfs =['df_a', 'df_b', 'df_c']
for df_name in dfs:
print(df_name)
df_name.shape
df_nameが、文字列であり、.shapeは使えないというエラーが出てきます(その通りなのですが)。
'str' ...
0
票
2
回答
3,931
閲覧数
データフレームの複数列を一つの列で割る
以下のようなデータフレーム
a1,a2,a3,b1
1,1,2,4
3,4,2,1
3,6,2,9
...
を考えます。
c1=a1/b1,c2=a2/b1,c3=a3/b1をそれぞれ計算してデータフレームの右につけようと考えています。
この場合は3変数なのでまだ手で書けますが、(Rの場合はmutate(c1=a1/b1,c2=a2/b1,c3=a3/b1)でしょうか。)...
0
票
2
回答
1,278
閲覧数
Pandasでのデータ処理を高速化したい
PandasのDataframeで、特定条件の数値を統一したいです。
例えばこのようなdfがあります。
id label
0 a 1
1 a 2
2 a 1
3 b 2
4 b 2
5 c 2
6 a 1
7 b 1
8 b 2
aとbは複数のラベルを持っているため、...
0
票
2
回答
317
閲覧数
shift()の使い方について
python初心者です。よろしくお願いします。
下記は正常に動くのですが、
df['ud_flag'] = df.apply(lambda x : 1 if x.p == 1 else(-1 if x.p == -1 else 0),axis=1)
udのフラグとして、1又は-1の値のみにしたい。
つまり、udが0値の部分を、前回の1、又は-1のままとしたいので、...
0
票
1
回答
1,010
閲覧数
pandas 特定の列すべてを計算して編集したいが、for分内でilocで値取り出すとstrになる現象
dataframeの2列目の値をすべて読み込み、計算した後編集するプログラムをpandasで作成しております。
その中で
TypeError: unsupported operand type(s) for -: 'str' and 'float'
と表示され、計算できなく困っております。
作成したdataframeのdf_rawの中身はこのような中身です。
[7801 rows x 2 ...
0
票
1
回答
97
閲覧数
pandasデータへ変換する方法を教えて下さい。
pythonのループの仕方を教えて下さい。
よろしくお願いします。
(参考)無向グラフと有向グラフ>無向グラフの隣接行列(adjacency matrix)
http://www.dais.is.tohoku.ac.jp/~shioura/teaching/ad11/ad11-09.pdf#page=5
import pandas as pd
# input : 線分a [0,1]
# ...
0
票
1
回答
5,448
閲覧数
Matplotlibで、たくさんの列データから必要な複数データを選択してを一つのグラフに一度に描画する賢い方法
たとえば、df.shape = (200, 1000)のpandasデータがあるとします。
下記のようなグラフを描写したいのです。
横軸:行(200)
縦軸:データの範囲
グラフ種類:折れ線
ライン数:1000
1000の列データ(各200行)を一度に指定してグラフにプロットする場合、
どのようにするとシンプルにできますか?
今までは、下記のように直接指定して描いておりましたが、
...
0
票
1
回答
1万
閲覧数
pythonでforループで自動でDataFrameの名前を変えたい
for i in range(10):
dfi=pd.DataFrame({ 'A','B'})
みたいにしたとき、dfiのiの部分が1,2,3,...と変わって結果的に
df1
df2
df3
.
.
df10
という名前のDataFrameが作成されるようなプログラムを組みたいのです。
超初心者で恐縮ですが、よろしくお願いします。
0
票
1
回答
3,145
閲覧数
二つのデータフレームの比較
以下のような二つのデータフレームdf1,df2があり、df2はdf1の要素を内容である程度整理したものです。df1にはあってdf2には含まれていない要素で新たな列を作り付け加えたいです。
import pandas as pd
df1 = pd.DataFrame([["Jack","Male","USA",20,"mucsician","rock","movie"],
...
0
票
1
回答
1,882
閲覧数
データフレーム:特定の複数の文字で列を分割したい
df1 = pd.DataFrame([[" A: a; aa; aaa; aaaa;aaaaa: Aa"],
[" B: b;bb; bbb; bbbb;bbbbb:Bb"],
["C: c; cc; ccc;cccc; ccccc: Cc"],
["D: d; dd; ddd; dddd;ddddd:Dd"]])
このデータフレームを出力してみると、
...
0
票
1
回答
271
閲覧数
seabornのdistplotで表示したグラフ上のピンの位置が知りたい
seabornのdistplotで表示したグラフについて,
個々のビンの位置と高さが知りたいのですが方法はないでしょうか?
0
票
1
回答
121
閲覧数
pd.read_htmlがうまく機能しない
以下のURLからテーブルデータを取ろうとしていますが、片方のURLの場合(aa1)だけうまくいきません。
これは取ってくるデータの文字列に何か原因があるのでしょうか。また、色々他のサイトで調べた結果、encoding="cp932"と行ってもうまくいきませんでした。
例えば、
import pandas as pd
aa0 = "https://db.netkeiba....
0
票
2
回答
112
閲覧数
JSONファイルのエラー箇所の特定
Python 3.9.10を使っています。
JSONファイルを読もうとしたときに、
import pandas as pd
json_file = open(ファイルパス, 'r', encoding='utf-8')
df = pd.read_json(json_file)
というようなことをやっていますが、エラーが出ることがあります。エラーの意味することが何なのかというかということは、...
0
票
1
回答
59
閲覧数
`df.groupby("user").resample("W",on="date",label="left",closed="left")[["count"]].sum()`を実行したときに`KeyError`が発生する原因を教えてください。
実行環境
Python 3.10.2
pandas 1.4.1
やりたいこと
以下のpandas.DataFrameに対して、userごとにcountを1週間単位で集計したいです。
In [1]: df=pandas.DataFrame({"count":[1,2,3], "working_hours":[6,7,8], "user"...
0
票
1
回答
82
閲覧数
pandas.DataFrame.resample関数の`label`引数, `closed`引数のデフォルト値は、なぜ特定の条件だけ`right`なのでしょうか?
やりたいこと
以下のデータのcountを、1週間単位(日曜日始まり)で集計した値を算出したいです。
In [1]: df=pandas.DataFrame({"count":[1,2,3],
"date": pandas.date_range('2022-03-13', periods=3, freq='D')})
In [2]: df
Out[2]:
...
0
票
1
回答
119
閲覧数
pandasで任意の位置の値に代入locの利用方法について
Pythonのpandasのライブラリを使って
任意の位置の値に代入したいです。
ExcelからYahooの交通費検索して取得した金額の値を
金額の列に値を入力したいです。
既に入力しているもの除外しております。
Excel Data
出発
到着
金額
備考
東京
品川
池袋
浅草
新宿
五反田
168
20211222利用済み
実現結果のExcel Data
出発
到着
金額
備考
...
0
票
1
回答
160
閲覧数
pandasのリスト要素を加算するときにNaNになることを避ける方法
DateFrameの複数の列にそれぞれリストが格納されているときに、リスト内の値を結合して1つのリストを生成したいです。列の値としてNaNが含まれていない場合は列同時を結合すれば実現できたのですが、NaNが含まれる場合に結果がNaNとなってしまいます。NaNを除いて処理を行うにはどうすればよいでしょうか?
import pandas as pd
import numpy as np
...
0
票
1
回答
120
閲覧数
Pandas でエクセルファイルを取り込んだデータフレームの name で AttributeError が発生する
以下の記事を参考に作業しています。
Excelシートをデータフレームとして読み込む
pd_xl = pd.ExcelFile(<略>)
temp_df = pd_xl.parse(sheet_name=<略>, names=<略>)
temp_df = temp_df.fillna('-')
print('temp_df.name-->', ...
0
票
2
回答
337
閲覧数
Beautiful Soup4で動的なクラス名自体を取得するには?
BS4初心者、というかWebスクレイピング初心者です。
スクレイピング対象のサイトの作りが表データと表を説明するデータで構成されており、Pandasを使い表データ取得や加工等はできるようになったのですが、表以外のデータの取得も必要となりBeautifulSoup4を併用することで考えています。
取得する必要があるのは動的に変更となるclass名自体になります。
...
0
票
1
回答
210
閲覧数
PandasのDataFrameのplotメソッドで、同軸グラフの表示順を指定したい
PandasのDataFrameのplotメソッドで、折れ線グラフに、追加で横棒グラフを表示させたいのですが、
表示順(zorder)の指定ができず困っています。(現状は棒グラフを半透明色にしてごまかしています。)
棒グラフを最背面へ、凡例を最前面へ表示を指定することは可能でしょうか?
# zorderが効かない例(pd.DataFrameのplotメソッドを利用)
import pandas ...
0
票
1
回答
766
閲覧数
pythonとcsvファイルを使って3次元グラフを作りたい
pythonとcsvファイルを用いて3次元グラフを作りたいです。
画像のようなCSVファイルを用いて三次元グラフを作ることを目標としています。(エクセルで開いているのでコンマの位置でセル分けされています。)
pos=768,列はAMKまで存在しています。
この画像中の9行目がx軸、A列がy軸に該当し、中のデータがz軸で表現される量に該当します。
...
0
票
1
回答
447
閲覧数
pandasにて末尾."0"ゼロを削除をする方法
やりたいこと
Excelからデータを読み込み,.0"ゼロを削除したいです。
Excelのデータ
番号 番号2 備考
123043449019 0123479020 有
0123499020 無
123043449020 有
pythonのデータを読み込むとき
...
0
票
1
回答
1,598
閲覧数
ValueError: Length of values (2) does not match length of index (5) が起こる
pandasの = の動きを理解しないまま、推測でコードを書いています。
まず、下記のように書くと動くことが確認できました。
import matplotlib.pyplot as plt
import pandas as pd
df = pd.DataFrame({
'date': ['01-01', '01-02', '01-03', '02-01', '02-01'],
'...
0
票
1
回答
142
閲覧数
pandasオブジェクトとmatplotlibの関係がわからない
まず、pandasは関係なくmatplotlibにシンプルにデータを渡す書き方だと下記になると思います。
該当ドキュメントはおそらくこちら
https://matplotlib.org/stable/api/_as_gen/matplotlib.pyplot.bar.html
書いてみたコード:
import matplotlib.pyplot as plt
import pandas as pd
...
0
票
2
回答
232
閲覧数
pandasでログデータに対してセッションIDを付与したい
以下のようなログデータに対してpandasでセッションIDを付与したいのですがやり方がわかりません。
user time
0 2020-05-23 00:01:19
0 2020-05-23 00:13:32
1 2020-05-23 00:13:45
0 2020-05-23 12:59:45
2 2020-05-23 13:13:13
1 2020-05-...
0
票
1
回答
250
閲覧数
ヒストグラムの階級を500区切りにしたい
下記のコードを書いてみました
import matplotlib.pyplot as plt
import matplotlib.ticker as ticker
import pandas as pd
import seaborn as sns
df = pd.DataFrame(
{
'value': [
5060,5000, 4400, ...
0
票
1
回答
334
閲覧数
ヒストグラムの縦軸の数が小数になる
下記のようなコードを書きました。
import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns
df = pd.DataFrame(
{
'value': [
5000, 4000, 2500, 1100, 1000, 900, 800,
...
0
票
1
回答
298
閲覧数
リストにデータフレームを追加できない
Python3.7.6です。
リストにデータフレームを追加しようとしているのですが、str型と判断されてしまっているのかうまくいきません。
実行結果は以下のとおりです。
filesはfunc関数で読み込むときのファイルパスが入っているリストです。
lst = list()
for i in files:
lst.append(func(k=files[i]))
TypeError: ...
0
票
1
回答
411
閲覧数
PythonでExcelからデータ読込後、ブラウザで検索
やりたいこと
Excelからデータを読み込み,yahooで交通費検索したいです。
各項フィルドごとで作業を繰り返したいです。
以下のサイトと同様な処理をPandasで実現したい。
参考:
PythonでExcelからデータ読込→サイトで交通費検索→Excelへデータ書込
Pythonでエクセルから情報を取得して検索エンジンに入力!
Excelのデータ
日付 出発 到着 ...
0
票
1
回答
517
閲覧数
PythonでCSVから特定の列を読み込みメール送信 [クローズ済み]
Pythonで下記の条件でメールを送信したいです。
① csvの 特定の列 だけを抽出した pandasのDataFrame を作成する
② 作成したDataFrameの 1行目と2行目(indexは0と1) に対して③~⑤の処理を行う
③ 処理対象行の 各列の列名とデータを抽出してそれぞれに改行コードを付加し、連結する
④ 抽出・連結した各列名+データを、さらに改行コードで連結する
⑤ ...
0
票
1
回答
1,165
閲覧数
CSV ヘッダーの追加と列名の順番変更について
Pythonで既存のcsvにヘッダーの追加と列名の順番変更を行いたいです。
データ毎回不定期に変わります。下記の①〜③条件で変わります。
①既存のCSV 順番の変更
A B C D E F
test1 test2 test3 test5 test4 test6
②既存のCSV D,Fの列がない時
A B C ...
0
票
2
回答
689
閲覧数
pandas で標準入力からデータ読み込む方法
pandas で標準入力 (STDIN) から read_csv のように読み込むこと可能でしょうか?
STDIN を変数に入れて、それを stringIO にして読み込むのは可能なのですが、もっとスマートにやる方法はないでしょうか?理想としては、jupyter 環境でストリーム(標準出力など)を設定して、次に、そのストリームをpandas で読み込むようなことをしたいです。
0
票
1
回答
68
閲覧数
dropna(axis=1)とdropna(axis=0)で出力された内容が同じになるのはなぜですか?
pandasのdropnaについて質問です。一通りpandasなどをインポートした後に
今、df1のような欠損値ありのExcalデータを作って、試しています。
データは以下の通りです。
[In]
df1=pd.read_excel('mo.xlsx')
print(df1)
[Out]
T A B C
0 2 2.0 5.0 1.0
...
0
票
1
回答
718
閲覧数
データフレームの2列から辞書を作る際、keyが重複しているのでvalueをリスト化する方法
データフレームから
dic1 = dict(zip(df['pid'], df['nid']))
を使って辞書を作りたいのですが、
pidに重複があるためうまくいきません。(おそらく上書きが起こっています。)
(pid, nid) = {'8':'11', '8':'19'}
の際はkeyが重複していればvalueがリストになるように、
この場合だと{8:[11,19]}
のようにしたいです。
(...
0
票
1
回答
88
閲覧数
Pandasにおいて、IDでグループ化してからデータ削除を行いたい
Pandasで以下のdfを処理しようとしています。A列(ID)が同じデータのうち、E列において、後ろに0がない1の値が不要であり、削除したいです。つまり、13、14行目はA列(ID)が3であり、ID=3において後ろにE列の値に0がないので削除したいです。(21行目のID=5においても同様)
初心者にもわかりやすい方法があればご教示いただけますでしょうか。
A B C D E ...
0
票
1
回答
69
閲覧数
pandasで少し複雑なデータの選択を行いたい
Pandasでデータ処理をしています。以下のデータセット(df)で、 A列(IDです)の値が2の行ではE列の値が1のみ(0が存在しない)4の行ではE列の値が0のみ(1が存在しない)です。このようなデータから、E列の値が0と1の両方を含むデータだけを取り出したいです。(A列が2と4の行を削除して、A列が1、3、5の行だけを残したいです。)
何か良い操作があればご教示くださいませんか?
A ...
0
票
1
回答
113
閲覧数
Pandasで行の削除をしたい
以下のようなデータをPandasで扱っており、A列が連番になるように行を削除したいです。
(2-13行目、15-21行目を削除してA列の数字が1,2...になるようにしたいです。)
良い方法があればご教示くださいませんか?
対象のデータ:
A B C D E F
1 1 0 0 0 4 1163.7
2 1 0.8 0.8 2.2 0 ...
0
票
2
回答
95
閲覧数
pandasの表の処理方法に悩んでいます
pythonのpandasを使ったデータ加工方法で悩んでおります。
どなたかご教授お願いいたします。
以下のようなデータを加工したいです。
このデータを
import pandas as pd
pd.DataFrame([[1,'ame', 30,'hare',40],[2,'kumori', 20,'kosame',30]], columns=['id','today_tenki', '...
0
票
1
回答
4,548
閲覧数
pandasで欠損により小数点がつく問題を回避したい
psycopg2でデータベースからSQLでデータを取得し、データフレーム化していますがその際欠損のあるbigint列がfloatになってしまいます。
Pandasで加工した後、DBに戻したいと考えているのですがfloatだとエラーが出てしまいます。
ERROR: invalid input syntax for type bigint
整数値でも .0 となっているのが原因のようです。
...
0
票
1
回答
353
閲覧数
Pandasで文字列に対して関数を適用したい
Python3.7です。
df['cnt'] = df.x1.count('$')
として、x1列(文字列)に出てくる$の回数を数えた列を作ろうと考えていますが、
KeyError: 'Requested level ($) does not match index name (None)'
とエラーが出てしまいます。
どう対処すればよろしいでしょうか。
追記
df.x1.str.count('...