[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
0
1 回答
342 閲覧数

fill_betweenでwhereを認識させたい

plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?) 知っている方はぜひ教えていただけると助かります。 import matplotlib.pyplot as plt import numpy as np f1 = np.loadtxt(filepath1) f2 = np.loadtxt(...
user36532's user avatar
0
2 回答
2,242 閲覧数

pandasで条件に応じてcsvから行を削除したい

Pythonのpandasでcsvを読み込み、条件に従って行を削除し、新たなファイルに出力したいと考えています。 csvファイル (list1.csv) が以下の時、『time2』に着目し、time2が1.0以下のものの中からtime2の値が小さい順に3つ削除する為には、以下のスクリプトで実行できるかと思います。 list1.csv [time1,time2][0.27,0.45][0.28,...
Daaaaai39's user avatar
0
0 回答
529 閲覧数

pandas Typeエラー

python pandas学習中の初心者です。 https://note.nkmk.me/python-pandas-where-mask/ こちらのサイトを参考にして print(df < 0) を実行したところ、下記のエラーが表示されます。 回避方法をご教授お願いします。 DataFremeデータサンプル >>> df A B C D 0 -20 ...
user36492's user avatar
1
0 回答
58 閲覧数

ilocを使用した際のindex値の抽出

以下の様にilocでデータを抽出した場合、 そのindex値を取り出す(2010-03-09)を取り出す方法はありますか? data.iloc[2500] Open 925.69 High 927.79 Low 923.60 Close 924.38 Name: 2010-03-09 00:00:00, dtype: float64 data.iloc[2500]...
Eiji's user avatar
  • 271
0
1 回答
3,966 閲覧数

PandasでCSVファイルの読み込みに失敗してしまう

macでpythonからcsvを読み込む場合はどのように設定すれば良いでしょうか? 下記のようなコードを作成しましたが、実行するとエラーが表示されます。 コード import pandas as pd #pandasをpdとしてインポート df = pd.read_csv("/Users/ha/Desktop/tati.csv", encoding="utf-8_sig") print (...
幸589's user avatar
  • 435
0
3 回答
7,314 閲覧数

インストールした外部ライブラリが import 出来ない

Pythonでcsvを読み込んで加工して分析みたいなことをしたいと思って、 Python3.7とpycharmをインストールしました。 csvの読み込みにはpandasだと記事で読んだので、まずpandasを入れてインポートしようとしたのですができず・・・具体的には以下です。 ターミナルでpip show pandasと実行したら、以下が出てきたのでインストールはできているんだと思います。 ...
you's user avatar
  • 1
0
1 回答
2,927 閲覧数

pandasで日付時刻、数値のcsvファイルを読み込んでグラフ化したい

プログラミング初心者です。お見苦しく申し訳ありません。 日付時刻、数値だけのcsvファイルを読み込んで、グラフ化したいだけなのですが、多くのサイトを回って参考にしてもエラーが無くなりません。 ずばり、修正案をいただけないでしょうか。 1)読み込むcsvファイル time,count 2019/09/13 10:00:00,5123 2019/09/13 10:00:01,4872 2019/...
py村's user avatar
  • 3
0
1 回答
378 閲覧数

Pythonのpandasでindexでマージ

もとのデータフレームから一列だけ抜き、更にdropnaしてその後処理を施し、もとのデータフレームにマージしようと試みています。 マージキーになるようなものがデータにないため、indexを使ってマージしようと考えていますが、dropnaするとnanである部分のindexが歯抜けになるのではなく、上から0スタートで振り直されてしまいます。 これを回避する方法はないでしょうか。 詳しい方、...
user87562's user avatar
  • 853
1
2 回答
1,050 閲覧数

numpy配列をdataframeに変換する際に、インデックスを付与する方法について

n次元のnumpy配列をdataframeに変換する際、dataframeの1列目には1次元目のインデックス、2列目には2次元目のインデックス、・・・n列目にはn次元目のインデックス、n+1列目に配列の要素、となるようなデータフレームの作成方法をご教示賜りたいと存じます。 今までは、以下のとおり、行数が配列の要素数、列数がn+1列の2次元のnumpy配列を用意しておき、...
yoshitaka sasase's user avatar
1
1 回答
863 閲覧数

Python3で各サンプルごとに相関係数を算出する方法

前提条件・実装したい事 Pythonを使用して、既存のDataFrame(下記の「加工前のデータセット(df)」)を基に相関係数 を排出したいと思っています。 具体的なデータセットのイメージとしては、下記の「加工後のデータセット」の様な感じです。 加工前のデータセット(df) |Weight(g)|Long axis|Short axis|Grain thickness|Sumple_vert|...
Daniel's user avatar
  • 11
2
1 回答
1,954 閲覧数

matplotlibのboxplotにおける色などの細かい調整

pandasでエクセルのデータを読み込み、matplotlib のboxplotで番号ごとにグループ化した箱ひげ図を作成しています。boxplotの箱枠とmedian lineの色を黒で統一したいのですが、色を設定することができません。 boxpropsやmedianpropsを使用すると、線の太さは変えられるのですが、色は変わりませんでした。 コードは以下の通りです。 どのようにすれば、...
moomin's user avatar
  • 23
1
4 回答
3,581 閲覧数

2つのDataframeで期間重複するIDを抽出したい

python3とpandasを使っています。 df1,df2の2つのDataframeのうち同じIDの人物の日付を比較し、期間重複がある行のIDを取り出したいです。 実際には10万行ほどあります。 data1 = [[1, "2010-01-01", "2010-01-20"], [1, "2010-03-20", "2010-03-30"], [2, "2010-02-01", ...
rena1996's user avatar
1
2 回答
3,502 閲覧数

自動生成したデータフレームを 繰り返し繋ぎ合わせる方法について教えてください。

例えば、下記のように繰り返しランダムにデータフレームxを自動生成し、 それを一つのデータフレームdfに自動的に繋げていく方法を教えてください。 import pandas as pd import numpy as np i = 0 arr = [] for i in range(3): x = pd.DataFrame(np.random.rand(3)) arr[i] = ...
Tiger's user avatar
  • 11
1
1 回答
167 閲覧数

DateTimeIndexに時間をセットしたい

以下の様にタイムゾーンを設定した際、 indexの時間を一律10:00:00にする方法は無いでしょうか? 特に下記のデータには規則性はありません。 DatetimeIndex(['2000-01-03', '2000-01-04', '2000-01-05', '2000-01-06', '2000-01-07', '2000-01-10', '2000-01-11'...
Eiji's user avatar
  • 271
0
1 回答
198 閲覧数

pandas DataFrameで特定条件で選択した行から指定のカラムだけ取得したい

以下のようなpandas DataFrameがあります。 import pandas as pd import numpy as np df = pd.DataFrame(np.arange(30).reshape(10,3),columns=pd.Index(['one','two','three'])) 特定条件で選択した行は以下のように簡単に取得できます。 例えば、...
ペンは剣よりも強し's user avatar
0
1 回答
792 閲覧数

groupbyでカンマ区切りのデータを一つずつ要素として取り出し、配列に格納したい

- 環境 macOS Mojave Python 3.7.3 Jupyter Notebook 6.0.0 - やりたいこと 以下のように、[data]の各行に単一またはカンマ区切りで複数のデータがあります。 [No]をキーとしたgroupbyで、[data]のデータを一つずつ取り出して配列を作りたいです。 -- 期待するアウトプット(list型でもSeries型でも構いません) No 1 ...
yoshi's user avatar
  • 37
0
1 回答
350 閲覧数

pandas series mean値がnan値になる

kaggle Home Credit Default Riskのapplication_{train|test}.csvの欠損値補完を行っております。 以下の2つの特徴量を平均値で埋めたいのですが、mean()の戻り値がnanになってしまいます。 特徴量 'YEARS_BUILD_AVG' 'YEARS_BEGINEXPLUATATION_AVG' print(train['...
ktakita's user avatar
  • 159
0
1 回答
1,195 閲覧数

Pythonにおける2つのDataframeの一致件数の確認

Pythonを使って2つのDataframeの一致件数を確認したいと思っております。 20万件近いデータを比較しており、一致件数は10万以上あるはずが、 実際に一致した件数は20件未満とごく少数です。 実際の件数として合わない理由に関しておわかりになれば、ご指導お願いします。 df_a = pd.read_csv(file_before, header=None, usecols=[1, 2,...
harapeko's user avatar
0
0 回答
175 閲覧数

AttributeError: module 'pandas' has no attribute 'read_csv' [重複]

#-*- coding: utf-8 -*- import pandas as pd INP_FILE='data.csv' DATA = pd.read_csv(INP_FILE,engine='python') を実行すると題名の通り AttributeError: module 'pandas' has no attribute 'read_csv' となります。 ...
osamu's user avatar
  • 1
2
1 回答
986 閲覧数

pandas.io.sql.read_sqlでバインド変数を使用する方法

pandas.io.sql.read_sql('SELECT * FROM database as a where a.date=date)でdateを変数として使用したいのですが方法はありますでしょうか?
user35138's user avatar
0
1 回答
62 閲覧数

リストの取り出す値の条件を別のリストにする方法

A = [1,1,1,.....-1,-1,1] B = apple, banana 0 333, 356 1 364, 675 2 643, 346   . ..., ... 344 325, 356 Bはcsvをdataframe型で読み込んでいます. ...
kkk's user avatar
  • 1
0
0 回答
182 閲覧数

Pandasでcsvのヘッダー名がカラム名とならない

以下の様なcsvファイルを test = pd.read_csv('xxx.csv')で読むと、 Date,Open,High・・・がカラム名として表示されるのですが、 test['Date']とするとKeyErrorとなります。 やっかいなことに、別のcsvファイルだとErrorとならず値が表示されたりするものがあり、 何でそうなるのかどなたか教えて頂けないでしょうか。 Date,Open,...
Eiji's user avatar
  • 271
0
1 回答
445 閲覧数

Bokeh で作成するグラフの縦軸を数値以外にする方法が分かりません

先日質問でガントチャートの作成事例を指導いただきました。以下のソースで1つ理解できないところがありました。 ガントチャートの縦軸が数値ではなく、DataFrameの入力データのItemカラムが縦軸にできています。今まで自作したグラフは、縦軸・横軸共に数値もしくは時間のものを扱うことが多かったので、縦軸を文字列にするカラクリを身に付けたいと思っています。 ご指導よろしくお願いいたします。 from ...
ペンは剣よりも強し's user avatar
1
1 回答
3,732 閲覧数

pandasで日付の最小値、最大値を自動抽出するには

下記表のような時系列温度データにつき、2000年、2001年・・・と、各年ごとの値の平均値を計算しています。 日付のstart-endが分かっている場合、 df['2000-01-04':'2000-12-27'].mean() df['2001-01-05':'2001-12-28'].mean() などと値を直指定すればいいと思うのですが、データを見ていちいち確認するのではなく、...
Eiji's user avatar
  • 271
0
1 回答
258 閲覧数

pandas のデータ処理の高速化 と 表作成方法

以下のpythonのコードは、生産管理システムから取得したデータを「手順」「号機」で分類して 作業時間を求めています。作業は3つの手順からなり、開始日時と終了日時の差分が作業時間になりますが、中断があるので累積させる必要があります。 やりたいことは以下2つです。 1つ目:もっと高速に「手順」別、「号機」別の作業時間の算出と累積時間の算出はできないでしょうか?...
ペンは剣よりも強し's user avatar
0
1 回答
684 閲覧数

<class 'pandas._libs.tslibs.timestamps.Timestamp'><class 'datetime.time'> の引き算をしたい

python 初級者です。 pandas._libs.tslibs.timestamps.Timestampとdatetime.timeの引き算をすると以下のエラーが出てしまい、引き算が出来ません。 unsupported operand type(s) for -: 'Timestamp' and 'datetime.time' 12:55:00 と12:56:52の引き算をして00:01:...
ペンは剣よりも強し's user avatar
1
2 回答
1,184 閲覧数

ラベル名が異なる場合のmergeについて

以下の表のように、 同じ意味でラベル名が異なっている2つのデータフレームを結合しようと した場合、どのようにすればよいのでしょうか? 通常だと、以下のような答えになるかと思うのですが・・・ pd.merge(A,B,on="日付") ちなみに、日付、Dateそれぞれindexとして定義してあります。 A 日付 価格 2000-01-05 100 2000-01-06 110 ...
Eiji's user avatar
  • 271
0
1 回答
357 閲覧数

pandasで1つ前の日付との相関をとるには

以下の様に、消費カロリーが翌日の体重の変化と関係する場合、 相関の計算時は、同一時刻ではなく、 別々の時刻となるかと思うのですが、 どの様にDataframeを定義すればいいのでしょうか?? (dataframeを定義し、df.corrで相関を計算する想定) 通常だと、pd.dataframe(table[['消費カロリー,'体重']])みたいに定義し、 df.corrで出ると思うのですが、...
Eiji's user avatar
  • 271
0
1 回答
198 閲覧数

pandasで条件を満たした列に、条件を満たした行の値を代入する

house pricesのcsvで、lotfrontageが欠損しており、Lotshapeがregの時にLotAreaの平方根値を代入したく以下のコードを入れたのですが、動きませんでした。 all_data.loc[(all_data['LotFrontage'].isnull()) & (all_data['LotShape'] == 'Reg'),'LotFrontage'] = ...
ktakita's user avatar
  • 159
1
1 回答
229 閲覧数

pandas で異なる行のデータを用いて新たな列を追加したい

やりたいこと 既に作成しているDataFrameに対して、新しく追加する列に、特定の条件のもと適した値を入れたいと思っています。 今回はゲームの大会のデータを持ってきているのですが、そのゲームの対戦方式として、 1セット目:2人vs2人のバトル(2本先取で勝ち) 2セット目:1人vs1人のバトル(2本先取で勝ち) 3セット目:1人vs1人のバトル(3名の勝ち残りで相手を全滅させたら勝利) ...
user34254's user avatar
1
2 回答
1,308 閲覧数

各カラムごとのデータをラベルで色分けしながら1枚の散布図に出力したい

PythonやRのデータフレームで、各カラムのデータがある程度同じスケールにあるとき それぞれのデータをラベルで色分けしながら1枚の散布図で出力するにはどのようにすればよいでしょうか? irisデータによるサンプル https://gist.github.com/netj/8836201 上記のリンク先のCSVファイルを下の画像のように出力したいと考えています。 ...
codeZ's user avatar
  • 399
0
1 回答
2,027 閲覧数

warnings.warn(msg, FutureWarning)

あるプログラムを実行すると以下の警告がでます。 解決方法を教えて欲しいです。 よろしくお願いします FutureWarning: Using an implicitly registered datetime converter for a matplotlib plotting method. The converter was registered by pandas on import. ...
aice's user avatar
  • 1
1
2 回答
264 閲覧数

pandasのデータフレームで縦持ち横持ちの変換をしたい

下記のようなpandas.DataFrameがある時に、縦持ちに変換を行いたいです。 調べたところpivot_tableが使用できそうな感じはありますが、うまく使用する事ができませんでした。 import pandas as pd df1 = pd.DataFrame([[0, 'e1', 'e11'], [1, 'e1', 'e22'], [2, 'e1', 'e33']], columns=[...
yamap_55's user avatar
  • 754
0
1 回答
358 閲覧数

DataFrameを定期的に更新し、情報を蓄積したい。

プログラムの概要 スマホゲームのAPIを用いて、対戦成績に関するデータを収集し、dataframeに入れます。 ※ここでは、定期的に自動でプログラムを実行する部分は未設計です。 具体的には ①空のデータフレームを作る ②必要な情報を取得する ③②を用いてSeriesにまとめる ④③を空のフレームに追加 を行おうとしています。 分からないこと 関数を定期的に実行し、...
user34254's user avatar
1
1 回答
1,881 閲覧数

to_csv でファイル名を指定してもエラー FileNotFoundError

データフレームをcsvに出力したいのですが、to_csvが機能しません。 resultというデータフレームを以下のコードで出力しようとしても、エラーが出てしまいます。 コード: result.to_csv('ディレクトリ名/ファイル名.csv',encoding='shift-jis') エラーメッセージ: FileNotFoundError: [Errno 2] No such file or ...
HQMA's user avatar
  • 111
0
2 回答
394 閲覧数

Python-pandasの階層型インデックスにおいて、親子関係を保ったまま親をシャッフルすることはできるのでしょうか。

- 環境 Mac Python 3.7.3 Jupyter Notebook 5.7.8 - やりたいこと 親ID列・子ID列を持ったデータフレームがあります。 このとき、全行を単純にランダムソートするのではなく、同じ親IDを持つ行をグループ化した上で、そのグループをランダムソートできるでしょうか。 - やったこと 一部の抽出対象のparent-idが格納された配列を用意。 ...
yoshi's user avatar
  • 37
0
2 回答
709 閲覧数

python pandasによるcsvの読み書き

excelのファイルで 「 https://www.leafkyoto.net/special/parfait/ https://tabelog.com/kyoto/A2601/A260503/26001772/ 」 ↑が記入されているセルが縦に連続しています このように二種類のリンクが混合してる列があります。 この隣に後者のリンクだけを抽出した列を作りたいと思っています。 ...
IHL's user avatar
  • 9
0
1 回答
190 閲覧数

MultiIndex の idxmax の結果を元にDataFrame を横展開したい

今、以下のような DataFrame があるとします。 import pandas as pd mi = pd.MultiIndex( levels=[['group1', 'group2'], [1,2,3,4]], codes=[[0,0,1,1], [0,1,2,3]], names=['group', 'id'] ) df = pd.DataFrame({ ...
Yuki Inoue's user avatar
  • 1.6万
1
3 回答
5,510 閲覧数

pandas series同士の結合について

こんにちは。 series同士の結合について質問があります。 表Aと表Bの結合を行おうと、pd.concat([A,B])とすると、 表Cのように、行追加の形で行われてしまいます。 列結合を行うにはどうしたらよいのでしょうか? (日付、みかん、りんごのように並ぶイメージです。) ネットで見ると、恐らく表A、表Bの価格にカラム名がついていないから、 同一カラムと見なされ、...
Eiji's user avatar
  • 271
0
3 回答
1,418 閲覧数

DataFrame内の特定の文字列を含む箇所だけ変換したい

タイトルの通り、DataFrame内の特定の文字列を含む箇所だけ変換したいと思っております。 以下の画像のデータ例にある「<」を含む箇所の数値だけを変換したいです。 変換は「<」を取り除くのに加えて型変換を行い(strからfloatに変換)、「<」があった箇所のみ半分の値(1/2)にしたいと考えています。 .str.contains('<')...
Tim's user avatar
  • 106
0
0 回答
123 閲覧数

行選択した後に、列選択をして、その行列が合わさったところに数字(value)を挿入するやり方がわからない

filei0 一枚目 file01 二枚目(下記二枚とも同じファイルの内容です) filei0 = pd.read_csv('sample.csv', index_col=0) file01 = pd.read_csv('faostat_sample.csv') for i in range(len(filei0)): irow = filei0.iloc[i] ...
カントリーくん's user avatar
0
1 回答
220 閲覧数

python,pandasでのパフォーマンスチューニング

エンジニア4年目(python未経験)なのですが 業務でpythonを用いてスクリプトを開発しなければならず,自分なりに調べて下記の様なスクリプトを組んでみたのですがパフォーマンスが著しく悪く,そのためチューニングをしたいのですが,まだまだ勉強し始めたばかりでチューニング方針がなかなか決めれないでいます。。。 納期も近いためこちらにてご相談させていただきました。 ...
金子理人's user avatar
0
2 回答
1,628 閲覧数

Pythonでデータフレーム名に対して繰り返しの処理を行うには?

複数のデータフレームがあり、それぞれのデータフレームの大きさを知りたく、次のようなコードを書いています。 dfs =['df_a', 'df_b', 'df_c'] for df_name in dfs:   print(df_name) df_name.shape df_nameが、文字列であり、.shapeは使えないというエラーが出てきます(その通りなのですが)。 'str' ...
kazusumi's user avatar
  • 240
1
1 回答
422 閲覧数

除外した品詞が除外できていない

pythonでMeCabで文章の処理をかけています。 for text in df["msg_body"]: for line in mecab.parse(text).rstrip().splitlines(): items = line.split("\t") if len(items) == 2: surface, ...
user9191983's user avatar
0
2 回答
4,760 閲覧数

データフレームの複数列を一つの列で割る

以下のようなデータフレーム a1,a2,a3,b1 1,1,2,4 3,4,2,1 3,6,2,9 ... を考えます。 c1=a1/b1,c2=a2/b1,c3=a3/b1をそれぞれ計算してデータフレームの右につけようと考えています。 この場合は3変数なのでまだ手で書けますが、(Rの場合はmutate(c1=a1/b1,c2=a2/b1,c3=a3/b1)でしょうか。)...
user87562's user avatar
  • 853
0
2 回答
418 閲覧数

matplotlib / pandasを用いた部分的に階層構造を持つデータの棒グラフプロット

4つのアルゴリズム:A,B,C,Dの結果の棒グラフをプロットしようとしています. 次の例に示すように,A,Bの結果は1つの数値です.一方でCとDはアルゴリズム内に1つのパラメータkを持ち,パラメータ毎に結果があります. 例) A:    66% B:    68.5% C: k=1: 69%   k=2: 73%   k=3: 80% D: k=1: 72%   k=2: 78%   k=...
Yuki's user avatar
  • 23
2
1 回答
573 閲覧数

pythonのgroupbyから取得できる値

いつもお世話になっております。 タイポからたまたま正解に辿り着けたのですが、ロジックがわからず、ご指導をお願いします。 ■出力データ # date area resident valueA valueB SD KM 48597 2019-01-26 tokyo man 75000 6.96 1.1 1.1 48598 ...
harapeko's user avatar
0
2 回答
169 閲覧数

pandasのdataframeのファイルへの出力

pandasのデータフレームで下記のようなデータを import numpy as np import pandas as pd np.random.seed(1) df = pd.DataFrame(np.random.rand(2, 3)) print(df) 0 1 2 0 0.417022 0.720324 0.000114 1 ...
ktym's user avatar
  • 27
0
1 回答
536 閲覧数

pandasで連番のcsvを読み込むのを関数化する

pandasでcsvをまとめて取り込みたい data=[0]*100 while(i<100): data[i] = pd.read_csv('1 o_%03d.csv'%i) i+=1 を参考に、 def mkdf(): data=[0]*25 while(i<25): data[i] = pd.read_csv('1 o_%...
user87562's user avatar
  • 853
1
1 回答
1,012 閲覧数

Pythonでconcatで連番のデータフレームを縦結合

pandasでデータフレームdf1からdf25までを縦結合したいと考えています。 ぐぐると2つの結合のものばかりで、3つ以上もOKとは書いていますが pd.concat([df1,df2,df3,df4,...,df25]) のような書き方は避けたいと考えています。 他言語だとdf1-df25のように連番を処理するテクニックがあったりするのですが、pythonでもうまくかけるものなのでしょうか。...
user87562's user avatar
  • 853