[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
174
質問
1
票
1回答
53 件の閲覧数
Pandasでグループごとに連番を付与する方法
Pandasのdataframeで、複数列の組み合わせ別に連番を付与する方法を教えていただきたいです。
具体的には、「ID」「日付」「店」の組み合わせごとの連番を、「カウント」という列を作成してそこに入れたいです。
「ID」「日付」「店」があったとして、連番を格納する「カウント」の値は、以下のイメージです。
df = pd.DataFrame({'ID': [1,1,2,2,2,3,3,3,3,...
1
票
0回答
64 件の閲覧数
ChangeFinderを用いて変化点検出を実現したい
プログラム初心者です。
Python3において、変化点検出ライブラリ「ChangeFinder」を用いて元のデータ(data)と変化量(result)をプロットしたいのですが、変化量のプロットがうまくいきません。(具体的には少しのプロットだけで途切れている状態)
日付ラベル、温度データが格納されたファイルをlistに格納しています。
用いたソースコードを以下に記します。
-----...
1
票
2回答
76 件の閲覧数
pythonを使用して複数のcsvデータを操作
pythonを使用して2つのcsvファイルを一つにまとめたいと考えております。
【list1】
route_node,X,Y
50775,-7882.7599,-43837.4058
50774,-7886.58284,-43851.12686
50772,-7895.8552,-43835.9677
【list2】
id,x,y
57136,-10171.54496,-44468.08496
...
2
票
2回答
107 件の閲覧数
pandasで、複数列に対応するヘッダをCSVで出力したいです。
実行環境
pandas 0.25.3
Python 3.7.4
やりたいこと
pandasのDataFramdeを使って、下図のような表をCSVとして出力したいです。
試したこと
以下のPythonコードを実行しました。
dict_table = {("user1", "plan"): [1, 11],
("user1", "work"): [2, 12],
...
0
票
1回答
71 件の閲覧数
pandasの dataframeに列を追加し、リストの要素をセットする方法を教えてください
以下のソースのようにpandasでdataframeを作りました。
一番下の行のコードで、「C列を追加し1行目にリストをセット」したいです。
しかし、エラーが出ます。
理由が分かりませんでした。
どうすれば回避できるでしょうか?
下から2行目のコードで「A列1行目にリストをセット」は出来たのですが。。。
import pandas as pd
df2 = pd.DataFrame(columns=...
0
票
1回答
97 件の閲覧数
pythonのpandasを使用したcsvデータの列の追加
pythonのpandasを使用して元のcsvファイルの特定の列(detime)を読み込み、既存のcsvファイルに追記したいと考えております。
default_list_4.csv (元ファイル)
x,y,botime,detime,eldid,firev
-11321.9,-44284,0.923816,1.03909,1298,100
-11716.1,-46828.7,0.517662,...
1
票
0回答
89 件の閲覧数
pythonのmatplotlib
一番下に載せたカンマ区切りのcsvファイルを、contourで等高線にしたいです。
空白欄のNANの部分を0に置き換えた上で下記のコードで実行すると、等高線は出てくるのですが、0という値は考えないので本当は出てきてほしくないです。
・NANの空欄ところの処理はどうすれば良いのでしょうか?
・y軸の値は0.01〜1.00なのに、実行すると0~100になってしまうのはなぜでしょうか?
・...
0
票
1回答
150 件の閲覧数
fill_betweenでwhereを認識させたい
plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?)
知っている方はぜひ教えていただけると助かります。
import matplotlib.pyplot as plt
import numpy as np
f1 = np.loadtxt(filepath1)
f2 = np.loadtxt(...
1
票
2回答
115 件の閲覧数
pandasで条件に応じてcsvから行を削除したい
Pythonのpandasでcsvを読み込み、条件に従って行を削除し、新たなファイルに出力したいと考えています。
csvファイル (list1.csv) が以下の時、『time2』に着目し、time2が1.0以下のものの中からtime2の値が小さい順に3つ削除する為には、以下のスクリプトで実行できるかと思います。
list1.csv
[time1,time2][0.27,0.45][0.28,...
0
票
0回答
61 件の閲覧数
pandas Typeエラー
python pandas学習中の初心者です。
https://note.nkmk.me/python-pandas-where-mask/
こちらのサイトを参考にして print(df < 0) を実行したところ、下記のエラーが表示されます。
回避方法をご教授お願いします。
DataFremeデータサンプル
>>> df
A B C D
0 -20 ...
0
票
0回答
36 件の閲覧数
Series型でX番目の日付(index)を取得するには
下記の様にX番目のindex日付を取得したいのですが、
s1.iloc[4].indexとすると、
numpyの形になってエラーとなってしまいます。
何か方法はございますでしょうか。
import pandas as pd
s1 = pd.Series([80, 50, 60, 70, 90], index=['2010-01-01', '2010-01-02', '2010-01-03', '...
1
票
0回答
46 件の閲覧数
ilocを使用した際のindex値の抽出
以下の様にilocでデータを抽出した場合、
そのindex値を取り出す(2010-03-09)を取り出す方法はありますか?
data.iloc[2500]
Open 925.69
High 927.79
Low 923.60
Close 924.38
Name: 2010-03-09 00:00:00, dtype: float64
data.iloc[2500]...
0
票
1回答
76 件の閲覧数
PandasでCSVファイルの読み込みに失敗してしまう
macでpythonからcsvを読み込む場合はどのように設定すれば良いでしょうか?
下記のようなコードを作成しましたが、実行するとエラーが表示されます。
コード
import pandas as pd #pandasをpdとしてインポート
df = pd.read_csv("/Users/ha/Desktop/tati.csv", encoding="utf-8_sig")
print (...
0
票
2回答
109 件の閲覧数
インストールした外部ライブラリが import 出来ない
Pythonでcsvを読み込んで加工して分析みたいなことをしたいと思って、
Python3.7とpycharmをインストールしました。
csvの読み込みにはpandasだと記事で読んだので、まずpandasを入れてインポートしようとしたのですができず・・・具体的には以下です。
ターミナルでpip show pandasと実行したら、以下が出てきたのでインストールはできているんだと思います。
...
0
票
1回答
102 件の閲覧数
pandasで日付時刻、数値のcsvファイルを読み込んでグラフ化したい
プログラミング初心者です。お見苦しく申し訳ありません。
日付時刻、数値だけのcsvファイルを読み込んで、グラフ化したいだけなのですが、多くのサイトを回って参考にしてもエラーが無くなりません。
ずばり、修正案をいただけないでしょうか。
1)読み込むcsvファイル
time,count
2019/09/13 10:00:00,5123
2019/09/13 10:00:01,4872
2019/...
0
票
1回答
80 件の閲覧数
Pythonのpandasでindexでマージ
もとのデータフレームから一列だけ抜き、更にdropnaしてその後処理を施し、もとのデータフレームにマージしようと試みています。
マージキーになるようなものがデータにないため、indexを使ってマージしようと考えていますが、dropnaするとnanである部分のindexが歯抜けになるのではなく、上から0スタートで振り直されてしまいます。
これを回避する方法はないでしょうか。
詳しい方、...
1
票
2回答
163 件の閲覧数
numpy配列をdataframeに変換する際に、インデックスを付与する方法について
n次元のnumpy配列をdataframeに変換する際、dataframeの1列目には1次元目のインデックス、2列目には2次元目のインデックス、・・・n列目にはn次元目のインデックス、n+1列目に配列の要素、となるようなデータフレームの作成方法をご教示賜りたいと存じます。
今までは、以下のとおり、行数が配列の要素数、列数がn+1列の2次元のnumpy配列を用意しておき、...
1
票
1回答
69 件の閲覧数
Python3で各サンプルごとに相関係数を算出する方法
前提条件・実装したい事
Pythonを使用して、既存のDataFrame(下記の「加工前のデータセット(df)」)を基に相関係数
を排出したいと思っています。
具体的なデータセットのイメージとしては、下記の「加工後のデータセット」の様な感じです。
加工前のデータセット(df)
|Weight(g)|Long axis|Short axis|Grain thickness|...
2
票
1回答
155 件の閲覧数
matplotlibのboxplotにおける色などの細かい調整
pandasでエクセルのデータを読み込み、matplotlib のboxplotで番号ごとにグループ化した箱ひげ図を作成しています。boxplotの箱枠とmedian lineの色を黒で統一したいのですが、色を設定することができません。
boxpropsやmedianpropsを使用すると、線の太さは変えられるのですが、色は変わりませんでした。
コードは以下の通りです。
どのようにすれば、...
0
票
2回答
248 件の閲覧数
2つのDataframeで期間重複するIDを抽出したい
python3とpandasを使っています。
df1,df2の2つのDataframeのうち同じIDの人物の日付を比較し、期間重複がある行のIDを取り出したいです。
実際には10万行ほどあります。
data1 = [[1, "2010-01-01", "2010-01-20"], [1, "2010-03-20", "2010-03-30"],
[2, "2010-02-01", ...
1
票
1回答
72 件の閲覧数
自動生成したデータフレームを 繰り返し繋ぎ合わせる方法について教えてください。
例えば、下記のように繰り返しランダムにデータフレームxを自動生成し、
それを一つのデータフレームdfに自動的に繋げていく方法を教えてください。
import pandas as pd
import numpy as np
i = 0
arr = []
for i in range(3):
x = pd.DataFrame(np.random.rand(3))
arr[i] = ...
1
票
1回答
79 件の閲覧数
DateTimeIndexに時間をセットしたい
以下の様にタイムゾーンを設定した際、
indexの時間を一律10:00:00にする方法は無いでしょうか?
特に下記のデータには規則性はありません。
DatetimeIndex(['2000-01-03', '2000-01-04', '2000-01-05', '2000-01-06',
'2000-01-07', '2000-01-10', '2000-01-11'...
0
票
1回答
52 件の閲覧数
pandas DataFrameで特定条件で選択した行から指定のカラムだけ取得したい
以下のようなpandas DataFrameがあります。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.arange(30).reshape(10,3),columns=pd.Index(['one','two','three']))
特定条件で選択した行は以下のように簡単に取得できます。
例えば、...
0
票
1回答
132 件の閲覧数
groupbyでカンマ区切りのデータを一つずつ要素として取り出し、配列に格納したい
- 環境
macOS Mojave
Python 3.7.3
Jupyter Notebook 6.0.0
- やりたいこと
以下のように、[data]の各行に単一またはカンマ区切りで複数のデータがあります。
[No]をキーとしたgroupbyで、[data]のデータを一つずつ取り出して配列を作りたいです。
-- 期待するアウトプット(list型でもSeries型でも構いません)
No
1 ...
0
票
0回答
31 件の閲覧数
pandas series mean値がnan値になる
kaggle Home Credit Default Riskのapplication_{train|test}.csvの欠損値補完を行っております。
以下の2つの特徴量を平均値で埋めたいのですが、mean()の戻り値がnanになってしまいます。
特徴量
'YEARS_BUILD_AVG'
'YEARS_BEGINEXPLUATATION_AVG'
print(train['...
0
票
1回答
86 件の閲覧数
Pythonにおける2つのDataframeの一致件数の確認
Pythonを使って2つのDataframeの一致件数を確認したいと思っております。
20万件近いデータを比較しており、一致件数は10万以上あるはずが、
実際に一致した件数は20件未満とごく少数です。
実際の件数として合わない理由に関しておわかりになれば、ご指導お願いします。
df_a = pd.read_csv(file_before, header=None, usecols=[1, 2,...
0
票
0回答
114 件の閲覧数
AttributeError: module 'pandas' has no attribute 'read_csv'
#-*- coding: utf-8 -*-
import pandas as pd
INP_FILE='data.csv'
DATA = pd.read_csv(INP_FILE,engine='python')
を実行すると題名の通り
AttributeError: module 'pandas' has no attribute 'read_csv'
となります。
...
0
票
0回答
31 件の閲覧数
pandas.io.sql.read_sqlでバインド変数を使用する方法
pandas.io.sql.read_sql('SELECT * FROM database as a where a.date=date)でdateを変数として使用したいのですが方法はありますでしょうか?
0
票
1回答
55 件の閲覧数
リストの取り出す値の条件を別のリストにする方法
A = [1,1,1,.....-1,-1,1]
B = apple, banana
0 333, 356
1 364, 675
2 643, 346
. ..., ...
344 325, 356
Bはcsvをdataframe型で読み込んでいます.
...
1
票
0回答
50 件の閲覧数
Pandasでcsvのヘッダー名がカラム名とならない
以下の様なcsvファイルを
test = pd.read_csv('xxx.csv')で読むと、
Date,Open,High・・・がカラム名として表示されるのですが、
test['Date']とするとKeyErrorとなります。
やっかいなことに、別のcsvファイルだとErrorとならず値が表示されたりするものがあり、
何でそうなるのかどなたか教えて頂けないでしょうか。
Date,Open,...
0
票
1回答
85 件の閲覧数
Bokeh で作成するグラフの縦軸を数値以外にする方法が分かりません
先日質問でガントチャートの作成事例を指導いただきました。以下のソースで1つ理解できないところがありました。
ガントチャートの縦軸が数値ではなく、DataFrameの入力データのItemカラムが縦軸にできています。今まで自作したグラフは、縦軸・横軸共に数値もしくは時間のものを扱うことが多かったので、縦軸を文字列にするカラクリを身に付けたいと思っています。
ご指導よろしくお願いいたします。
from ...
2
票
1回答
206 件の閲覧数
pandasで日付の最小値、最大値を自動抽出するには
下記表のような時系列温度データにつき、2000年、2001年・・・と、各年ごとの値の平均値を計算しています。
日付のstart-endが分かっている場合、
df['2000-01-04':'2000-12-27'].mean()
df['2001-01-05':'2001-12-28'].mean()
などと値を直指定すればいいと思うのですが、データを見ていちいち確認するのではなく、...
0
票
1回答
105 件の閲覧数
pandas のデータ処理の高速化 と 表作成方法
以下のpythonのコードは、生産管理システムから取得したデータを「手順」「号機」で分類して
作業時間を求めています。作業は3つの手順からなり、開始日時と終了日時の差分が作業時間になりますが、中断があるので累積させる必要があります。
やりたいことは以下2つです。
1つ目:もっと高速に「手順」別、「号機」別の作業時間の算出と累積時間の算出はできないでしょうか?...
0
票
1回答
113 件の閲覧数
<class 'pandas._libs.tslibs.timestamps.Timestamp'><class 'datetime.time'> の引き算をしたい
python 初級者です。
pandas._libs.tslibs.timestamps.Timestampとdatetime.timeの引き算をすると以下のエラーが出てしまい、引き算が出来ません。
unsupported operand type(s) for -: 'Timestamp' and 'datetime.time'
12:55:00 と12:56:52の引き算をして00:01:...
2
票
2回答
92 件の閲覧数
ラベル名が異なる場合のmergeについて
以下の表のように、
同じ意味でラベル名が異なっている2つのデータフレームを結合しようと
した場合、どのようにすればよいのでしょうか?
通常だと、以下のような答えになるかと思うのですが・・・
pd.merge(A,B,on="日付")
ちなみに、日付、Dateそれぞれindexとして定義してあります。
A
日付 価格
2000-01-05 100
2000-01-06 110
...
0
票
1回答
98 件の閲覧数
pandasで1つ前の日付との相関をとるには
以下の様に、消費カロリーが翌日の体重の変化と関係する場合、
相関の計算時は、同一時刻ではなく、
別々の時刻となるかと思うのですが、
どの様にDataframeを定義すればいいのでしょうか??
(dataframeを定義し、df.corrで相関を計算する想定)
通常だと、pd.dataframe(table[['消費カロリー,'体重']])みたいに定義し、
df.corrで出ると思うのですが、...
0
票
1回答
62 件の閲覧数
pandasで条件を満たした列に、条件を満たした行の値を代入する
house pricesのcsvで、lotfrontageが欠損しており、Lotshapeがregの時にLotAreaの平方根値を代入したく以下のコードを入れたのですが、動きませんでした。
all_data.loc[(all_data['LotFrontage'].isnull()) & (all_data['LotShape'] == 'Reg'),'LotFrontage'] = ...
1
票
1回答
58 件の閲覧数
pandas で異なる行のデータを用いて新たな列を追加したい
やりたいこと
既に作成しているDataFrameに対して、新しく追加する列に、特定の条件のもと適した値を入れたいと思っています。
今回はゲームの大会のデータを持ってきているのですが、そのゲームの対戦方式として、
1セット目:2人vs2人のバトル(2本先取で勝ち)
2セット目:1人vs1人のバトル(2本先取で勝ち)
3セット目:1人vs1人のバトル(3名の勝ち残りで相手を全滅させたら勝利)
...
1
票
2回答
136 件の閲覧数
各カラムごとのデータをラベルで色分けしながら1枚の散布図に出力したい
PythonやRのデータフレームで、各カラムのデータがある程度同じスケールにあるとき
それぞれのデータをラベルで色分けしながら1枚の散布図で出力するにはどのようにすればよいでしょうか?
irisデータによるサンプル
https://gist.github.com/netj/8836201
上記のリンク先のCSVファイルを下の画像のように出力したいと考えています。
...
0
票
1回答
533 件の閲覧数
warnings.warn(msg, FutureWarning)
あるプログラムを実行すると以下の警告がでます。
解決方法を教えて欲しいです。
よろしくお願いします
FutureWarning: Using an implicitly registered datetime converter for a matplotlib plotting method. The converter was registered by pandas on import. ...
1
票
2回答
74 件の閲覧数
pandasのデータフレームで縦持ち横持ちの変換をしたい
下記のようなpandas.DataFrameがある時に、縦持ちに変換を行いたいです。
調べたところpivot_tableが使用できそうな感じはありますが、うまく使用する事ができませんでした。
import pandas as pd
df1 = pd.DataFrame([[0, 'e1', 'e11'], [1, 'e1', 'e22'], [2, 'e1', 'e33']], columns=[...
0
票
1回答
88 件の閲覧数
DataFrameを定期的に更新し、情報を蓄積したい。
プログラムの概要
スマホゲームのAPIを用いて、対戦成績に関するデータを収集し、dataframeに入れます。
※ここでは、定期的に自動でプログラムを実行する部分は未設計です。
具体的には
①空のデータフレームを作る
②必要な情報を取得する
③②を用いてSeriesにまとめる
④③を空のフレームに追加
を行おうとしています。
分からないこと
関数を定期的に実行し、...
1
票
1回答
245 件の閲覧数
to_csvのエラー
データフレームをcsvに出力したいのですが、to_csvが機能しません。resultというデータフレームを
result.to_csv('ディレクトリ名/ファイル名.csv',encoding='shift-jis')
で出力しようとしても、下記のようなエラーが出てしまいます。
FileNotFoundError: [Errno 2] No such file or directory: '...
0
票
2回答
152 件の閲覧数
Python-pandasの階層型インデックスにおいて、親子関係を保ったまま親をシャッフルすることはできるのでしょうか。
- 環境
Mac
Python 3.7.3
Jupyter Notebook 5.7.8
- やりたいこと
親ID列・子ID列を持ったデータフレームがあります。
このとき、全行を単純にランダムソートするのではなく、同じ親IDを持つ行をグループ化した上で、そのグループをランダムソートできるでしょうか。
- やったこと
一部の抽出対象のparent-idが格納された配列を用意。
...
0
票
2回答
122 件の閲覧数
python pandasによるcsvの読み書き
excelのファイルで
「
https://www.leafkyoto.net/special/parfait/
https://tabelog.com/kyoto/A2601/A260503/26001772/
」
↑が記入されているセルが縦に連続しています
このように二種類のリンクが混合してる列があります。
この隣に後者のリンクだけを抽出した列を作りたいと思っています。
...
0
票
1回答
52 件の閲覧数
MultiIndex の idxmax の結果を元にDataFrame を横展開したい
今、以下のような DataFrame があるとします。
import pandas as pd
mi = pd.MultiIndex(
levels=[['group1', 'group2'], [1,2,3,4]],
codes=[[0,0,1,1], [0,1,2,3]],
names=['group', 'id']
)
df = pd.DataFrame({
...
1
票
3回答
363 件の閲覧数
pandas series同士の結合について
こんにちは。
series同士の結合について質問があります。
表Aと表Bの結合を行おうと、pd.concat([A,B])とすると、
表Cのように、行追加の形で行われてしまいます。
列結合を行うにはどうしたらよいのでしょうか?
(日付、みかん、りんごのように並ぶイメージです。)
ネットで見ると、恐らく表A、表Bの価格にカラム名がついていないから、
同一カラムと見なされ、...
0
票
3回答
208 件の閲覧数
DataFrame内の特定の文字列を含む箇所だけ変換したい
タイトルの通り、DataFrame内の特定の文字列を含む箇所だけ変換したいと思っております。
以下の画像のデータ例にある「<」を含む箇所の数値だけを変換したいです。
変換は「<」を取り除くのに加えて型変換を行い(strからfloatに変換)、「<」があった箇所のみ半分の値(1/2)にしたいと考えています。
.str.contains('<')...
0
票
0回答
112 件の閲覧数
行選択した後に、列選択をして、その行列が合わさったところに数字(value)を挿入するやり方がわからない
filei0 一枚目
file01 二枚目(下記二枚とも同じファイルの内容です)
filei0 = pd.read_csv('sample.csv', index_col=0)
file01 = pd.read_csv('faostat_sample.csv')
for i in range(len(filei0)):
irow = filei0.iloc[i]
...
0
票
1回答
104 件の閲覧数
python,pandasでのパフォーマンスチューニング
エンジニア4年目(python未経験)なのですが
業務でpythonを用いてスクリプトを開発しなければならず,自分なりに調べて下記の様なスクリプトを組んでみたのですがパフォーマンスが著しく悪く,そのためチューニングをしたいのですが,まだまだ勉強し始めたばかりでチューニング方針がなかなか決めれないでいます。。。
納期も近いためこちらにてご相談させていただきました。
...