[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
415
質問
0
票
1
回答
342
閲覧数
fill_betweenでwhereを認識させたい
plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?)
知っている方はぜひ教えていただけると助かります。
import matplotlib.pyplot as plt
import numpy as np
f1 = np.loadtxt(filepath1)
f2 = np.loadtxt(...
0
票
2
回答
2,242
閲覧数
pandasで条件に応じてcsvから行を削除したい
Pythonのpandasでcsvを読み込み、条件に従って行を削除し、新たなファイルに出力したいと考えています。
csvファイル (list1.csv) が以下の時、『time2』に着目し、time2が1.0以下のものの中からtime2の値が小さい順に3つ削除する為には、以下のスクリプトで実行できるかと思います。
list1.csv
[time1,time2][0.27,0.45][0.28,...
0
票
0
回答
529
閲覧数
pandas Typeエラー
python pandas学習中の初心者です。
https://note.nkmk.me/python-pandas-where-mask/
こちらのサイトを参考にして print(df < 0) を実行したところ、下記のエラーが表示されます。
回避方法をご教授お願いします。
DataFremeデータサンプル
>>> df
A B C D
0 -20 ...
1
票
0
回答
58
閲覧数
ilocを使用した際のindex値の抽出
以下の様にilocでデータを抽出した場合、
そのindex値を取り出す(2010-03-09)を取り出す方法はありますか?
data.iloc[2500]
Open 925.69
High 927.79
Low 923.60
Close 924.38
Name: 2010-03-09 00:00:00, dtype: float64
data.iloc[2500]...
0
票
1
回答
3,966
閲覧数
PandasでCSVファイルの読み込みに失敗してしまう
macでpythonからcsvを読み込む場合はどのように設定すれば良いでしょうか?
下記のようなコードを作成しましたが、実行するとエラーが表示されます。
コード
import pandas as pd #pandasをpdとしてインポート
df = pd.read_csv("/Users/ha/Desktop/tati.csv", encoding="utf-8_sig")
print (...
0
票
3
回答
7,314
閲覧数
インストールした外部ライブラリが import 出来ない
Pythonでcsvを読み込んで加工して分析みたいなことをしたいと思って、
Python3.7とpycharmをインストールしました。
csvの読み込みにはpandasだと記事で読んだので、まずpandasを入れてインポートしようとしたのですができず・・・具体的には以下です。
ターミナルでpip show pandasと実行したら、以下が出てきたのでインストールはできているんだと思います。
...
0
票
1
回答
2,927
閲覧数
pandasで日付時刻、数値のcsvファイルを読み込んでグラフ化したい
プログラミング初心者です。お見苦しく申し訳ありません。
日付時刻、数値だけのcsvファイルを読み込んで、グラフ化したいだけなのですが、多くのサイトを回って参考にしてもエラーが無くなりません。
ずばり、修正案をいただけないでしょうか。
1)読み込むcsvファイル
time,count
2019/09/13 10:00:00,5123
2019/09/13 10:00:01,4872
2019/...
0
票
1
回答
378
閲覧数
Pythonのpandasでindexでマージ
もとのデータフレームから一列だけ抜き、更にdropnaしてその後処理を施し、もとのデータフレームにマージしようと試みています。
マージキーになるようなものがデータにないため、indexを使ってマージしようと考えていますが、dropnaするとnanである部分のindexが歯抜けになるのではなく、上から0スタートで振り直されてしまいます。
これを回避する方法はないでしょうか。
詳しい方、...
1
票
2
回答
1,050
閲覧数
numpy配列をdataframeに変換する際に、インデックスを付与する方法について
n次元のnumpy配列をdataframeに変換する際、dataframeの1列目には1次元目のインデックス、2列目には2次元目のインデックス、・・・n列目にはn次元目のインデックス、n+1列目に配列の要素、となるようなデータフレームの作成方法をご教示賜りたいと存じます。
今までは、以下のとおり、行数が配列の要素数、列数がn+1列の2次元のnumpy配列を用意しておき、...
1
票
1
回答
863
閲覧数
Python3で各サンプルごとに相関係数を算出する方法
前提条件・実装したい事
Pythonを使用して、既存のDataFrame(下記の「加工前のデータセット(df)」)を基に相関係数
を排出したいと思っています。
具体的なデータセットのイメージとしては、下記の「加工後のデータセット」の様な感じです。
加工前のデータセット(df)
|Weight(g)|Long axis|Short axis|Grain thickness|Sumple_vert|...
2
票
1
回答
1,954
閲覧数
matplotlibのboxplotにおける色などの細かい調整
pandasでエクセルのデータを読み込み、matplotlib のboxplotで番号ごとにグループ化した箱ひげ図を作成しています。boxplotの箱枠とmedian lineの色を黒で統一したいのですが、色を設定することができません。
boxpropsやmedianpropsを使用すると、線の太さは変えられるのですが、色は変わりませんでした。
コードは以下の通りです。
どのようにすれば、...
1
票
4
回答
3,581
閲覧数
2つのDataframeで期間重複するIDを抽出したい
python3とpandasを使っています。
df1,df2の2つのDataframeのうち同じIDの人物の日付を比較し、期間重複がある行のIDを取り出したいです。
実際には10万行ほどあります。
data1 = [[1, "2010-01-01", "2010-01-20"], [1, "2010-03-20", "2010-03-30"],
[2, "2010-02-01", ...
1
票
2
回答
3,502
閲覧数
自動生成したデータフレームを 繰り返し繋ぎ合わせる方法について教えてください。
例えば、下記のように繰り返しランダムにデータフレームxを自動生成し、
それを一つのデータフレームdfに自動的に繋げていく方法を教えてください。
import pandas as pd
import numpy as np
i = 0
arr = []
for i in range(3):
x = pd.DataFrame(np.random.rand(3))
arr[i] = ...
1
票
1
回答
167
閲覧数
DateTimeIndexに時間をセットしたい
以下の様にタイムゾーンを設定した際、
indexの時間を一律10:00:00にする方法は無いでしょうか?
特に下記のデータには規則性はありません。
DatetimeIndex(['2000-01-03', '2000-01-04', '2000-01-05', '2000-01-06',
'2000-01-07', '2000-01-10', '2000-01-11'...
0
票
1
回答
198
閲覧数
pandas DataFrameで特定条件で選択した行から指定のカラムだけ取得したい
以下のようなpandas DataFrameがあります。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.arange(30).reshape(10,3),columns=pd.Index(['one','two','three']))
特定条件で選択した行は以下のように簡単に取得できます。
例えば、...
0
票
1
回答
792
閲覧数
groupbyでカンマ区切りのデータを一つずつ要素として取り出し、配列に格納したい
- 環境
macOS Mojave
Python 3.7.3
Jupyter Notebook 6.0.0
- やりたいこと
以下のように、[data]の各行に単一またはカンマ区切りで複数のデータがあります。
[No]をキーとしたgroupbyで、[data]のデータを一つずつ取り出して配列を作りたいです。
-- 期待するアウトプット(list型でもSeries型でも構いません)
No
1 ...
0
票
1
回答
350
閲覧数
pandas series mean値がnan値になる
kaggle Home Credit Default Riskのapplication_{train|test}.csvの欠損値補完を行っております。
以下の2つの特徴量を平均値で埋めたいのですが、mean()の戻り値がnanになってしまいます。
特徴量
'YEARS_BUILD_AVG'
'YEARS_BEGINEXPLUATATION_AVG'
print(train['...
0
票
1
回答
1,195
閲覧数
Pythonにおける2つのDataframeの一致件数の確認
Pythonを使って2つのDataframeの一致件数を確認したいと思っております。
20万件近いデータを比較しており、一致件数は10万以上あるはずが、
実際に一致した件数は20件未満とごく少数です。
実際の件数として合わない理由に関しておわかりになれば、ご指導お願いします。
df_a = pd.read_csv(file_before, header=None, usecols=[1, 2,...
0
票
0
回答
175
閲覧数
AttributeError: module 'pandas' has no attribute 'read_csv' [重複]
#-*- coding: utf-8 -*-
import pandas as pd
INP_FILE='data.csv'
DATA = pd.read_csv(INP_FILE,engine='python')
を実行すると題名の通り
AttributeError: module 'pandas' has no attribute 'read_csv'
となります。
...
2
票
1
回答
986
閲覧数
pandas.io.sql.read_sqlでバインド変数を使用する方法
pandas.io.sql.read_sql('SELECT * FROM database as a where a.date=date)でdateを変数として使用したいのですが方法はありますでしょうか?
0
票
1
回答
62
閲覧数
リストの取り出す値の条件を別のリストにする方法
A = [1,1,1,.....-1,-1,1]
B = apple, banana
0 333, 356
1 364, 675
2 643, 346
. ..., ...
344 325, 356
Bはcsvをdataframe型で読み込んでいます.
...
0
票
0
回答
182
閲覧数
Pandasでcsvのヘッダー名がカラム名とならない
以下の様なcsvファイルを
test = pd.read_csv('xxx.csv')で読むと、
Date,Open,High・・・がカラム名として表示されるのですが、
test['Date']とするとKeyErrorとなります。
やっかいなことに、別のcsvファイルだとErrorとならず値が表示されたりするものがあり、
何でそうなるのかどなたか教えて頂けないでしょうか。
Date,Open,...
0
票
1
回答
445
閲覧数
Bokeh で作成するグラフの縦軸を数値以外にする方法が分かりません
先日質問でガントチャートの作成事例を指導いただきました。以下のソースで1つ理解できないところがありました。
ガントチャートの縦軸が数値ではなく、DataFrameの入力データのItemカラムが縦軸にできています。今まで自作したグラフは、縦軸・横軸共に数値もしくは時間のものを扱うことが多かったので、縦軸を文字列にするカラクリを身に付けたいと思っています。
ご指導よろしくお願いいたします。
from ...
1
票
1
回答
3,732
閲覧数
pandasで日付の最小値、最大値を自動抽出するには
下記表のような時系列温度データにつき、2000年、2001年・・・と、各年ごとの値の平均値を計算しています。
日付のstart-endが分かっている場合、
df['2000-01-04':'2000-12-27'].mean()
df['2001-01-05':'2001-12-28'].mean()
などと値を直指定すればいいと思うのですが、データを見ていちいち確認するのではなく、...
0
票
1
回答
258
閲覧数
pandas のデータ処理の高速化 と 表作成方法
以下のpythonのコードは、生産管理システムから取得したデータを「手順」「号機」で分類して
作業時間を求めています。作業は3つの手順からなり、開始日時と終了日時の差分が作業時間になりますが、中断があるので累積させる必要があります。
やりたいことは以下2つです。
1つ目:もっと高速に「手順」別、「号機」別の作業時間の算出と累積時間の算出はできないでしょうか?...
0
票
1
回答
684
閲覧数
<class 'pandas._libs.tslibs.timestamps.Timestamp'><class 'datetime.time'> の引き算をしたい
python 初級者です。
pandas._libs.tslibs.timestamps.Timestampとdatetime.timeの引き算をすると以下のエラーが出てしまい、引き算が出来ません。
unsupported operand type(s) for -: 'Timestamp' and 'datetime.time'
12:55:00 と12:56:52の引き算をして00:01:...
1
票
2
回答
1,184
閲覧数
ラベル名が異なる場合のmergeについて
以下の表のように、
同じ意味でラベル名が異なっている2つのデータフレームを結合しようと
した場合、どのようにすればよいのでしょうか?
通常だと、以下のような答えになるかと思うのですが・・・
pd.merge(A,B,on="日付")
ちなみに、日付、Dateそれぞれindexとして定義してあります。
A
日付 価格
2000-01-05 100
2000-01-06 110
...
0
票
1
回答
357
閲覧数
pandasで1つ前の日付との相関をとるには
以下の様に、消費カロリーが翌日の体重の変化と関係する場合、
相関の計算時は、同一時刻ではなく、
別々の時刻となるかと思うのですが、
どの様にDataframeを定義すればいいのでしょうか??
(dataframeを定義し、df.corrで相関を計算する想定)
通常だと、pd.dataframe(table[['消費カロリー,'体重']])みたいに定義し、
df.corrで出ると思うのですが、...
0
票
1
回答
198
閲覧数
pandasで条件を満たした列に、条件を満たした行の値を代入する
house pricesのcsvで、lotfrontageが欠損しており、Lotshapeがregの時にLotAreaの平方根値を代入したく以下のコードを入れたのですが、動きませんでした。
all_data.loc[(all_data['LotFrontage'].isnull()) & (all_data['LotShape'] == 'Reg'),'LotFrontage'] = ...
1
票
1
回答
229
閲覧数
pandas で異なる行のデータを用いて新たな列を追加したい
やりたいこと
既に作成しているDataFrameに対して、新しく追加する列に、特定の条件のもと適した値を入れたいと思っています。
今回はゲームの大会のデータを持ってきているのですが、そのゲームの対戦方式として、
1セット目:2人vs2人のバトル(2本先取で勝ち)
2セット目:1人vs1人のバトル(2本先取で勝ち)
3セット目:1人vs1人のバトル(3名の勝ち残りで相手を全滅させたら勝利)
...
1
票
2
回答
1,308
閲覧数
各カラムごとのデータをラベルで色分けしながら1枚の散布図に出力したい
PythonやRのデータフレームで、各カラムのデータがある程度同じスケールにあるとき
それぞれのデータをラベルで色分けしながら1枚の散布図で出力するにはどのようにすればよいでしょうか?
irisデータによるサンプル
https://gist.github.com/netj/8836201
上記のリンク先のCSVファイルを下の画像のように出力したいと考えています。
...
0
票
1
回答
2,027
閲覧数
warnings.warn(msg, FutureWarning)
あるプログラムを実行すると以下の警告がでます。
解決方法を教えて欲しいです。
よろしくお願いします
FutureWarning: Using an implicitly registered datetime converter for a matplotlib plotting method. The converter was registered by pandas on import. ...
1
票
2
回答
264
閲覧数
pandasのデータフレームで縦持ち横持ちの変換をしたい
下記のようなpandas.DataFrameがある時に、縦持ちに変換を行いたいです。
調べたところpivot_tableが使用できそうな感じはありますが、うまく使用する事ができませんでした。
import pandas as pd
df1 = pd.DataFrame([[0, 'e1', 'e11'], [1, 'e1', 'e22'], [2, 'e1', 'e33']], columns=[...
0
票
1
回答
358
閲覧数
DataFrameを定期的に更新し、情報を蓄積したい。
プログラムの概要
スマホゲームのAPIを用いて、対戦成績に関するデータを収集し、dataframeに入れます。
※ここでは、定期的に自動でプログラムを実行する部分は未設計です。
具体的には
①空のデータフレームを作る
②必要な情報を取得する
③②を用いてSeriesにまとめる
④③を空のフレームに追加
を行おうとしています。
分からないこと
関数を定期的に実行し、...
1
票
1
回答
1,881
閲覧数
to_csv でファイル名を指定してもエラー FileNotFoundError
データフレームをcsvに出力したいのですが、to_csvが機能しません。
resultというデータフレームを以下のコードで出力しようとしても、エラーが出てしまいます。
コード:
result.to_csv('ディレクトリ名/ファイル名.csv',encoding='shift-jis')
エラーメッセージ:
FileNotFoundError: [Errno 2] No such file or ...
0
票
2
回答
394
閲覧数
Python-pandasの階層型インデックスにおいて、親子関係を保ったまま親をシャッフルすることはできるのでしょうか。
- 環境
Mac
Python 3.7.3
Jupyter Notebook 5.7.8
- やりたいこと
親ID列・子ID列を持ったデータフレームがあります。
このとき、全行を単純にランダムソートするのではなく、同じ親IDを持つ行をグループ化した上で、そのグループをランダムソートできるでしょうか。
- やったこと
一部の抽出対象のparent-idが格納された配列を用意。
...
0
票
2
回答
709
閲覧数
python pandasによるcsvの読み書き
excelのファイルで
「
https://www.leafkyoto.net/special/parfait/
https://tabelog.com/kyoto/A2601/A260503/26001772/
」
↑が記入されているセルが縦に連続しています
このように二種類のリンクが混合してる列があります。
この隣に後者のリンクだけを抽出した列を作りたいと思っています。
...
0
票
1
回答
190
閲覧数
MultiIndex の idxmax の結果を元にDataFrame を横展開したい
今、以下のような DataFrame があるとします。
import pandas as pd
mi = pd.MultiIndex(
levels=[['group1', 'group2'], [1,2,3,4]],
codes=[[0,0,1,1], [0,1,2,3]],
names=['group', 'id']
)
df = pd.DataFrame({
...
1
票
3
回答
5,510
閲覧数
pandas series同士の結合について
こんにちは。
series同士の結合について質問があります。
表Aと表Bの結合を行おうと、pd.concat([A,B])とすると、
表Cのように、行追加の形で行われてしまいます。
列結合を行うにはどうしたらよいのでしょうか?
(日付、みかん、りんごのように並ぶイメージです。)
ネットで見ると、恐らく表A、表Bの価格にカラム名がついていないから、
同一カラムと見なされ、...
0
票
3
回答
1,418
閲覧数
DataFrame内の特定の文字列を含む箇所だけ変換したい
タイトルの通り、DataFrame内の特定の文字列を含む箇所だけ変換したいと思っております。
以下の画像のデータ例にある「<」を含む箇所の数値だけを変換したいです。
変換は「<」を取り除くのに加えて型変換を行い(strからfloatに変換)、「<」があった箇所のみ半分の値(1/2)にしたいと考えています。
.str.contains('<')...
0
票
0
回答
123
閲覧数
行選択した後に、列選択をして、その行列が合わさったところに数字(value)を挿入するやり方がわからない
filei0 一枚目
file01 二枚目(下記二枚とも同じファイルの内容です)
filei0 = pd.read_csv('sample.csv', index_col=0)
file01 = pd.read_csv('faostat_sample.csv')
for i in range(len(filei0)):
irow = filei0.iloc[i]
...
0
票
1
回答
220
閲覧数
python,pandasでのパフォーマンスチューニング
エンジニア4年目(python未経験)なのですが
業務でpythonを用いてスクリプトを開発しなければならず,自分なりに調べて下記の様なスクリプトを組んでみたのですがパフォーマンスが著しく悪く,そのためチューニングをしたいのですが,まだまだ勉強し始めたばかりでチューニング方針がなかなか決めれないでいます。。。
納期も近いためこちらにてご相談させていただきました。
...
0
票
2
回答
1,628
閲覧数
Pythonでデータフレーム名に対して繰り返しの処理を行うには?
複数のデータフレームがあり、それぞれのデータフレームの大きさを知りたく、次のようなコードを書いています。
dfs =['df_a', 'df_b', 'df_c']
for df_name in dfs:
print(df_name)
df_name.shape
df_nameが、文字列であり、.shapeは使えないというエラーが出てきます(その通りなのですが)。
'str' ...
1
票
1
回答
422
閲覧数
除外した品詞が除外できていない
pythonでMeCabで文章の処理をかけています。
for text in df["msg_body"]:
for line in mecab.parse(text).rstrip().splitlines():
items = line.split("\t")
if len(items) == 2:
surface, ...
0
票
2
回答
4,760
閲覧数
データフレームの複数列を一つの列で割る
以下のようなデータフレーム
a1,a2,a3,b1
1,1,2,4
3,4,2,1
3,6,2,9
...
を考えます。
c1=a1/b1,c2=a2/b1,c3=a3/b1をそれぞれ計算してデータフレームの右につけようと考えています。
この場合は3変数なのでまだ手で書けますが、(Rの場合はmutate(c1=a1/b1,c2=a2/b1,c3=a3/b1)でしょうか。)...
0
票
2
回答
418
閲覧数
matplotlib / pandasを用いた部分的に階層構造を持つデータの棒グラフプロット
4つのアルゴリズム:A,B,C,Dの結果の棒グラフをプロットしようとしています.
次の例に示すように,A,Bの結果は1つの数値です.一方でCとDはアルゴリズム内に1つのパラメータkを持ち,パラメータ毎に結果があります.
例)
A: 66%
B: 68.5%
C: k=1: 69%
k=2: 73%
k=3: 80%
D: k=1: 72%
k=2: 78%
k=...
2
票
1
回答
573
閲覧数
pythonのgroupbyから取得できる値
いつもお世話になっております。
タイポからたまたま正解に辿り着けたのですが、ロジックがわからず、ご指導をお願いします。
■出力データ
# date area resident valueA valueB SD KM
48597 2019-01-26 tokyo man 75000 6.96 1.1 1.1
48598 ...
0
票
2
回答
169
閲覧数
pandasのdataframeのファイルへの出力
pandasのデータフレームで下記のようなデータを
import numpy as np
import pandas as pd
np.random.seed(1)
df = pd.DataFrame(np.random.rand(2, 3))
print(df)
0 1 2
0 0.417022 0.720324 0.000114
1 ...
0
票
1
回答
536
閲覧数
pandasで連番のcsvを読み込むのを関数化する
pandasでcsvをまとめて取り込みたい
data=[0]*100
while(i<100):
data[i] = pd.read_csv('1 o_%03d.csv'%i)
i+=1
を参考に、
def mkdf():
data=[0]*25
while(i<25):
data[i] = pd.read_csv('1 o_%...
1
票
1
回答
1,012
閲覧数
Pythonでconcatで連番のデータフレームを縦結合
pandasでデータフレームdf1からdf25までを縦結合したいと考えています。
ぐぐると2つの結合のものばかりで、3つ以上もOKとは書いていますが
pd.concat([df1,df2,df3,df4,...,df25])
のような書き方は避けたいと考えています。
他言語だとdf1-df25のように連番を処理するテクニックがあったりするのですが、pythonでもうまくかけるものなのでしょうか。...