[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
353
質問
1
票
1
回答
1,767
閲覧数
自動生成したデータフレームを 繰り返し繋ぎ合わせる方法について教えてください。
例えば、下記のように繰り返しランダムにデータフレームxを自動生成し、
それを一つのデータフレームdfに自動的に繋げていく方法を教えてください。
import pandas as pd
import numpy as np
i = 0
arr = []
for i in range(3):
x = pd.DataFrame(np.random.rand(3))
arr[i] = ...
1
票
1
回答
148
閲覧数
DateTimeIndexに時間をセットしたい
以下の様にタイムゾーンを設定した際、
indexの時間を一律10:00:00にする方法は無いでしょうか?
特に下記のデータには規則性はありません。
DatetimeIndex(['2000-01-03', '2000-01-04', '2000-01-05', '2000-01-06',
'2000-01-07', '2000-01-10', '2000-01-11'...
0
票
1
回答
172
閲覧数
pandas DataFrameで特定条件で選択した行から指定のカラムだけ取得したい
以下のようなpandas DataFrameがあります。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.arange(30).reshape(10,3),columns=pd.Index(['one','two','three']))
特定条件で選択した行は以下のように簡単に取得できます。
例えば、...
0
票
1
回答
629
閲覧数
groupbyでカンマ区切りのデータを一つずつ要素として取り出し、配列に格納したい
- 環境
macOS Mojave
Python 3.7.3
Jupyter Notebook 6.0.0
- やりたいこと
以下のように、[data]の各行に単一またはカンマ区切りで複数のデータがあります。
[No]をキーとしたgroupbyで、[data]のデータを一つずつ取り出して配列を作りたいです。
-- 期待するアウトプット(list型でもSeries型でも構いません)
No
1 ...
0
票
1
回答
171
閲覧数
pandas series mean値がnan値になる
kaggle Home Credit Default Riskのapplication_{train|test}.csvの欠損値補完を行っております。
以下の2つの特徴量を平均値で埋めたいのですが、mean()の戻り値がnanになってしまいます。
特徴量
'YEARS_BUILD_AVG'
'YEARS_BEGINEXPLUATATION_AVG'
print(train['...
0
票
1
回答
1,148
閲覧数
Pythonにおける2つのDataframeの一致件数の確認
Pythonを使って2つのDataframeの一致件数を確認したいと思っております。
20万件近いデータを比較しており、一致件数は10万以上あるはずが、
実際に一致した件数は20件未満とごく少数です。
実際の件数として合わない理由に関しておわかりになれば、ご指導お願いします。
df_a = pd.read_csv(file_before, header=None, usecols=[1, 2,...
0
票
0
回答
173
閲覧数
AttributeError: module 'pandas' has no attribute 'read_csv' [重複]
#-*- coding: utf-8 -*-
import pandas as pd
INP_FILE='data.csv'
DATA = pd.read_csv(INP_FILE,engine='python')
を実行すると題名の通り
AttributeError: module 'pandas' has no attribute 'read_csv'
となります。
...
2
票
1
回答
510
閲覧数
pandas.io.sql.read_sqlでバインド変数を使用する方法
pandas.io.sql.read_sql('SELECT * FROM database as a where a.date=date)でdateを変数として使用したいのですが方法はありますでしょうか?
0
票
1
回答
62
閲覧数
リストの取り出す値の条件を別のリストにする方法
A = [1,1,1,.....-1,-1,1]
B = apple, banana
0 333, 356
1 364, 675
2 643, 346
. ..., ...
344 325, 356
Bはcsvをdataframe型で読み込んでいます.
...
0
票
0
回答
121
閲覧数
Pandasでcsvのヘッダー名がカラム名とならない
以下の様なcsvファイルを
test = pd.read_csv('xxx.csv')で読むと、
Date,Open,High・・・がカラム名として表示されるのですが、
test['Date']とするとKeyErrorとなります。
やっかいなことに、別のcsvファイルだとErrorとならず値が表示されたりするものがあり、
何でそうなるのかどなたか教えて頂けないでしょうか。
Date,Open,...
0
票
1
回答
388
閲覧数
Bokeh で作成するグラフの縦軸を数値以外にする方法が分かりません
先日質問でガントチャートの作成事例を指導いただきました。以下のソースで1つ理解できないところがありました。
ガントチャートの縦軸が数値ではなく、DataFrameの入力データのItemカラムが縦軸にできています。今まで自作したグラフは、縦軸・横軸共に数値もしくは時間のものを扱うことが多かったので、縦軸を文字列にするカラクリを身に付けたいと思っています。
ご指導よろしくお願いいたします。
from ...
1
票
1
回答
2,666
閲覧数
pandasで日付の最小値、最大値を自動抽出するには
下記表のような時系列温度データにつき、2000年、2001年・・・と、各年ごとの値の平均値を計算しています。
日付のstart-endが分かっている場合、
df['2000-01-04':'2000-12-27'].mean()
df['2001-01-05':'2001-12-28'].mean()
などと値を直指定すればいいと思うのですが、データを見ていちいち確認するのではなく、...
0
票
1
回答
226
閲覧数
pandas のデータ処理の高速化 と 表作成方法
以下のpythonのコードは、生産管理システムから取得したデータを「手順」「号機」で分類して
作業時間を求めています。作業は3つの手順からなり、開始日時と終了日時の差分が作業時間になりますが、中断があるので累積させる必要があります。
やりたいことは以下2つです。
1つ目:もっと高速に「手順」別、「号機」別の作業時間の算出と累積時間の算出はできないでしょうか?...
0
票
1
回答
586
閲覧数
<class 'pandas._libs.tslibs.timestamps.Timestamp'><class 'datetime.time'> の引き算をしたい
python 初級者です。
pandas._libs.tslibs.timestamps.Timestampとdatetime.timeの引き算をすると以下のエラーが出てしまい、引き算が出来ません。
unsupported operand type(s) for -: 'Timestamp' and 'datetime.time'
12:55:00 と12:56:52の引き算をして00:01:...
1
票
2
回答
923
閲覧数
ラベル名が異なる場合のmergeについて
以下の表のように、
同じ意味でラベル名が異なっている2つのデータフレームを結合しようと
した場合、どのようにすればよいのでしょうか?
通常だと、以下のような答えになるかと思うのですが・・・
pd.merge(A,B,on="日付")
ちなみに、日付、Dateそれぞれindexとして定義してあります。
A
日付 価格
2000-01-05 100
2000-01-06 110
...
0
票
1
回答
282
閲覧数
pandasで1つ前の日付との相関をとるには
以下の様に、消費カロリーが翌日の体重の変化と関係する場合、
相関の計算時は、同一時刻ではなく、
別々の時刻となるかと思うのですが、
どの様にDataframeを定義すればいいのでしょうか??
(dataframeを定義し、df.corrで相関を計算する想定)
通常だと、pd.dataframe(table[['消費カロリー,'体重']])みたいに定義し、
df.corrで出ると思うのですが、...
0
票
1
回答
160
閲覧数
pandasで条件を満たした列に、条件を満たした行の値を代入する
house pricesのcsvで、lotfrontageが欠損しており、Lotshapeがregの時にLotAreaの平方根値を代入したく以下のコードを入れたのですが、動きませんでした。
all_data.loc[(all_data['LotFrontage'].isnull()) & (all_data['LotShape'] == 'Reg'),'LotFrontage'] = ...
1
票
1
回答
94
閲覧数
pandas で異なる行のデータを用いて新たな列を追加したい
やりたいこと
既に作成しているDataFrameに対して、新しく追加する列に、特定の条件のもと適した値を入れたいと思っています。
今回はゲームの大会のデータを持ってきているのですが、そのゲームの対戦方式として、
1セット目:2人vs2人のバトル(2本先取で勝ち)
2セット目:1人vs1人のバトル(2本先取で勝ち)
3セット目:1人vs1人のバトル(3名の勝ち残りで相手を全滅させたら勝利)
...
1
票
2
回答
1,127
閲覧数
各カラムごとのデータをラベルで色分けしながら1枚の散布図に出力したい
PythonやRのデータフレームで、各カラムのデータがある程度同じスケールにあるとき
それぞれのデータをラベルで色分けしながら1枚の散布図で出力するにはどのようにすればよいでしょうか?
irisデータによるサンプル
https://gist.github.com/netj/8836201
上記のリンク先のCSVファイルを下の画像のように出力したいと考えています。
...
0
票
1
回答
1,800
閲覧数
warnings.warn(msg, FutureWarning)
あるプログラムを実行すると以下の警告がでます。
解決方法を教えて欲しいです。
よろしくお願いします
FutureWarning: Using an implicitly registered datetime converter for a matplotlib plotting method. The converter was registered by pandas on import. ...
1
票
2
回答
249
閲覧数
pandasのデータフレームで縦持ち横持ちの変換をしたい
下記のようなpandas.DataFrameがある時に、縦持ちに変換を行いたいです。
調べたところpivot_tableが使用できそうな感じはありますが、うまく使用する事ができませんでした。
import pandas as pd
df1 = pd.DataFrame([[0, 'e1', 'e11'], [1, 'e1', 'e22'], [2, 'e1', 'e33']], columns=[...
0
票
1
回答
205
閲覧数
DataFrameを定期的に更新し、情報を蓄積したい。
プログラムの概要
スマホゲームのAPIを用いて、対戦成績に関するデータを収集し、dataframeに入れます。
※ここでは、定期的に自動でプログラムを実行する部分は未設計です。
具体的には
①空のデータフレームを作る
②必要な情報を取得する
③②を用いてSeriesにまとめる
④③を空のフレームに追加
を行おうとしています。
分からないこと
関数を定期的に実行し、...
1
票
1
回答
1,308
閲覧数
to_csv でファイル名を指定してもエラー FileNotFoundError
データフレームをcsvに出力したいのですが、to_csvが機能しません。
resultというデータフレームを以下のコードで出力しようとしても、エラーが出てしまいます。
コード:
result.to_csv('ディレクトリ名/ファイル名.csv',encoding='shift-jis')
エラーメッセージ:
FileNotFoundError: [Errno 2] No such file or ...
0
票
2
回答
333
閲覧数
Python-pandasの階層型インデックスにおいて、親子関係を保ったまま親をシャッフルすることはできるのでしょうか。
- 環境
Mac
Python 3.7.3
Jupyter Notebook 5.7.8
- やりたいこと
親ID列・子ID列を持ったデータフレームがあります。
このとき、全行を単純にランダムソートするのではなく、同じ親IDを持つ行をグループ化した上で、そのグループをランダムソートできるでしょうか。
- やったこと
一部の抽出対象のparent-idが格納された配列を用意。
...
0
票
2
回答
683
閲覧数
python pandasによるcsvの読み書き
excelのファイルで
「
https://www.leafkyoto.net/special/parfait/
https://tabelog.com/kyoto/A2601/A260503/26001772/
」
↑が記入されているセルが縦に連続しています
このように二種類のリンクが混合してる列があります。
この隣に後者のリンクだけを抽出した列を作りたいと思っています。
...
0
票
1
回答
154
閲覧数
MultiIndex の idxmax の結果を元にDataFrame を横展開したい
今、以下のような DataFrame があるとします。
import pandas as pd
mi = pd.MultiIndex(
levels=[['group1', 'group2'], [1,2,3,4]],
codes=[[0,0,1,1], [0,1,2,3]],
names=['group', 'id']
)
df = pd.DataFrame({
...
1
票
3
回答
4,833
閲覧数
pandas series同士の結合について
こんにちは。
series同士の結合について質問があります。
表Aと表Bの結合を行おうと、pd.concat([A,B])とすると、
表Cのように、行追加の形で行われてしまいます。
列結合を行うにはどうしたらよいのでしょうか?
(日付、みかん、りんごのように並ぶイメージです。)
ネットで見ると、恐らく表A、表Bの価格にカラム名がついていないから、
同一カラムと見なされ、...
0
票
3
回答
1,149
閲覧数
DataFrame内の特定の文字列を含む箇所だけ変換したい
タイトルの通り、DataFrame内の特定の文字列を含む箇所だけ変換したいと思っております。
以下の画像のデータ例にある「<」を含む箇所の数値だけを変換したいです。
変換は「<」を取り除くのに加えて型変換を行い(strからfloatに変換)、「<」があった箇所のみ半分の値(1/2)にしたいと考えています。
.str.contains('<')...
0
票
0
回答
123
閲覧数
行選択した後に、列選択をして、その行列が合わさったところに数字(value)を挿入するやり方がわからない
filei0 一枚目
file01 二枚目(下記二枚とも同じファイルの内容です)
filei0 = pd.read_csv('sample.csv', index_col=0)
file01 = pd.read_csv('faostat_sample.csv')
for i in range(len(filei0)):
irow = filei0.iloc[i]
...
0
票
1
回答
200
閲覧数
python,pandasでのパフォーマンスチューニング
エンジニア4年目(python未経験)なのですが
業務でpythonを用いてスクリプトを開発しなければならず,自分なりに調べて下記の様なスクリプトを組んでみたのですがパフォーマンスが著しく悪く,そのためチューニングをしたいのですが,まだまだ勉強し始めたばかりでチューニング方針がなかなか決めれないでいます。。。
納期も近いためこちらにてご相談させていただきました。
...
0
票
2
回答
1,194
閲覧数
Pythonでデータフレーム名に対して繰り返しの処理を行うには?
複数のデータフレームがあり、それぞれのデータフレームの大きさを知りたく、次のようなコードを書いています。
dfs =['df_a', 'df_b', 'df_c']
for df_name in dfs:
print(df_name)
df_name.shape
df_nameが、文字列であり、.shapeは使えないというエラーが出てきます(その通りなのですが)。
'str' ...
1
票
1
回答
367
閲覧数
除外した品詞が除外できていない
pythonでMeCabで文章の処理をかけています。
for text in df["msg_body"]:
for line in mecab.parse(text).rstrip().splitlines():
items = line.split("\t")
if len(items) == 2:
surface, ...
0
票
2
回答
3,785
閲覧数
データフレームの複数列を一つの列で割る
以下のようなデータフレーム
a1,a2,a3,b1
1,1,2,4
3,4,2,1
3,6,2,9
...
を考えます。
c1=a1/b1,c2=a2/b1,c3=a3/b1をそれぞれ計算してデータフレームの右につけようと考えています。
この場合は3変数なのでまだ手で書けますが、(Rの場合はmutate(c1=a1/b1,c2=a2/b1,c3=a3/b1)でしょうか。)...
0
票
2
回答
366
閲覧数
matplotlib / pandasを用いた部分的に階層構造を持つデータの棒グラフプロット
4つのアルゴリズム:A,B,C,Dの結果の棒グラフをプロットしようとしています.
次の例に示すように,A,Bの結果は1つの数値です.一方でCとDはアルゴリズム内に1つのパラメータkを持ち,パラメータ毎に結果があります.
例)
A: 66%
B: 68.5%
C: k=1: 69%
k=2: 73%
k=3: 80%
D: k=1: 72%
k=2: 78%
k=...
2
票
1
回答
526
閲覧数
pythonのgroupbyから取得できる値
いつもお世話になっております。
タイポからたまたま正解に辿り着けたのですが、ロジックがわからず、ご指導をお願いします。
■出力データ
# date area resident valueA valueB SD KM
48597 2019-01-26 tokyo man 75000 6.96 1.1 1.1
48598 ...
0
票
2
回答
140
閲覧数
pandasのdataframeのファイルへの出力
pandasのデータフレームで下記のようなデータを
import numpy as np
import pandas as pd
np.random.seed(1)
df = pd.DataFrame(np.random.rand(2, 3))
print(df)
0 1 2
0 0.417022 0.720324 0.000114
1 ...
0
票
1
回答
430
閲覧数
pandasで連番のcsvを読み込むのを関数化する
pandasでcsvをまとめて取り込みたい
data=[0]*100
while(i<100):
data[i] = pd.read_csv('1 o_%03d.csv'%i)
i+=1
を参考に、
def mkdf():
data=[0]*25
while(i<25):
data[i] = pd.read_csv('1 o_%...
1
票
1
回答
843
閲覧数
Pythonでconcatで連番のデータフレームを縦結合
pandasでデータフレームdf1からdf25までを縦結合したいと考えています。
ぐぐると2つの結合のものばかりで、3つ以上もOKとは書いていますが
pd.concat([df1,df2,df3,df4,...,df25])
のような書き方は避けたいと考えています。
他言語だとdf1-df25のように連番を処理するテクニックがあったりするのですが、pythonでもうまくかけるものなのでしょうか。...
0
票
2
回答
1,257
閲覧数
Pandasでのデータ処理を高速化したい
PandasのDataframeで、特定条件の数値を統一したいです。
例えばこのようなdfがあります。
id label
0 a 1
1 a 2
2 a 1
3 b 2
4 b 2
5 c 2
6 a 1
7 b 1
8 b 2
aとbは複数のラベルを持っているため、...
0
票
1
回答
2,580
閲覧数
相関係数(corr)の出力方法について
すいません。
件名の通りなのですが、
pandas-Dataframeのcorr()で出した計算結果を、
画像やcsvなどに落としたりすることは可能でしょうか?
(今まで計算して出された結果をコピー&ペーストして
自分でエクセルで表を作り直して来たのですが、
もしかしたら簡単な方法があるのではないかと思いまして。。。)
0
票
1
回答
919
閲覧数
object型の列をdatetime64型へ変換したい
markt_train_dfというデータフレームを扱っています。データ型は以下の通りとなっております。
今、一番上の”time"という列のデータ型をobjectからdatetime64[ns, UTC]に変更しなければならないのですが、どのようにすれば"time"のデータ型のみを変更したdataframeを取得できるでしょうか。
初歩的な質問で大変恐縮ですがご教授いただきましたら幸いです。
...
1
票
2
回答
5,985
閲覧数
pandas.DataFrameで固定値列を追加したい
DataFrameがあった際に、固定の列をindex?の0から追加をしたいです。
言葉だとうまく説明できないため、疑似的なコードで記載いたします。
import pandas as pd
# 既存のDataFrame(実際にはそれなりの件数が存在)
df = pd.DataFrame([[1, 'hoge', 'hogehoge'], [2, 'huga', 'hugahuga'], [3, '...
0
票
1
回答
747
閲覧数
pandas.DataFrameのdropメソッドをfor文を使って回したいのですが、動作しません
単純に0から4番目の行を削除しようと考えています。
for i in range(5):
df.drop(i)
このコードで動作すると思ったのですが、そのあとdfで確認しても変化なしなので参っています。
ネットであれこれ調べて試行錯誤したのですが、見当がつきません...
大変初歩的な質問で恐縮ですが、ご教示いただける方がいらっしゃいましたら幸いです。
どうぞよろしくお願いいたします。
1
票
1
回答
197
閲覧数
pandasで固定値列を複数持つDataFrameを作成したい
変数(数値)、a,b,cがあった際に、複数の固定の列を追加して縦持ちのDataFrameを作成したいです。
やりたいことは以下のような事になります。
このような3つの値(DataFrameではありません)があった場合に
a
b
c
以下のように先頭?に列毎に固定の値を設定した列を追加したい。
hoge huga a
hoge huga b
hoge huga c
...
1
票
1
回答
880
閲覧数
pandas 欠損値が連続しているときの補間について
こんにちは,お世話になります.
pandasのinterpolate()メソッドで欠損値処理を行いたいと思っています.
このとき,欠損値がn個連続している場合は,その部分に関して補間をそもそも行わない,と指示したいのですが,どうすれば良いのでしょうか.
例えば,n=3だとすると,
...-5,NaN,NaN,6,10...
では補間を行い,
...-5,NaN,NaN,NaN,6,10,....
0
票
1
回答
110
閲覧数
pythonのdeep learningのcsv読み込みでconvert error
今現在pythonのpandasでcsvを読み込ませ学習させようとしています。
そこで実行すると
ValueError:could not convert srtring to float'v -0.670323 0.017320 2.448769\nv -0.248426 0.066855 2.655411\nv -0.634120 0.159561 2.476978'
...
2
票
1
回答
743
閲覧数
Pythonのpandasで一列だけrenameする方法
Pythonで指定した一列だけrenameする方法を探しています。
df.columns[0]='新列名'
としてもrenameできません。
ぐぐると全列名をリストで入れる方法と辞書で指定する方法は出てくるのですが、今回は使えません。
というのも、列名ではなく数値で列を指定しているのは関数化してループさせたときに1回目と2回目では列名が異なってくる、列数が異なってくるからです。
(...
0
票
1
回答
135
閲覧数
pd.io.sql.read_sqlで2つのコードの出力結果を同じにしたい
下記の二つのコードで同様の結果を出力したいのですが
1のコードは[0 rows x 112 columns]と上手くいかないのですが
2のコードで実行した時、[1 rows x 112 columns]と
取りたいデータがとれます。
1のコードのどこを修正すれば2のコードと同じ出力になるかご指摘頂けたらと思います。
1.
import sqlalchemy.ext.declarative
...
0
票
1
回答
857
閲覧数
pandasのpd.io.sql.read_sqlでのエラーについて
プログラム初心者です。
下記のコードを実行したところWHEREのところでエラーが出てしまって困っております。
nameで入れたい型はcharacter(16)になっております。
よろしくお願い致します。
エラー内容:
sqlalchemy.exc.ProgrammingError: (psycopg2.ProgrammingError) 演算子が存在しません: character = ...
0
票
2
回答
306
閲覧数
shift()の使い方について
python初心者です。よろしくお願いします。
下記は正常に動くのですが、
df['ud_flag'] = df.apply(lambda x : 1 if x.p == 1 else(-1 if x.p == -1 else 0),axis=1)
udのフラグとして、1又は-1の値のみにしたい。
つまり、udが0値の部分を、前回の1、又は-1のままとしたいので、...