[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
0
1 回答
1,147 閲覧数

object型の列をdatetime64型へ変換したい

markt_train_dfというデータフレームを扱っています。データ型は以下の通りとなっております。 今、一番上の”time"という列のデータ型をobjectからdatetime64[ns, UTC]に変更しなければならないのですが、どのようにすれば"time"のデータ型のみを変更したdataframeを取得できるでしょうか。 初歩的な質問で大変恐縮ですがご教授いただきましたら幸いです。 ...
glass's user avatar
  • 139
1
2 回答
7,319 閲覧数

pandas.DataFrameで固定値列を追加したい

DataFrameがあった際に、固定の列をindex?の0から追加をしたいです。 言葉だとうまく説明できないため、疑似的なコードで記載いたします。 import pandas as pd # 既存のDataFrame(実際にはそれなりの件数が存在) df = pd.DataFrame([[1, 'hoge', 'hogehoge'], [2, 'huga', 'hugahuga'], [3, '...
yamap_55's user avatar
  • 754
0
1 回答
1,163 閲覧数

pandas.DataFrameのdropメソッドをfor文を使って回したいのですが、動作しません

単純に0から4番目の行を削除しようと考えています。 for i in range(5): df.drop(i) このコードで動作すると思ったのですが、そのあとdfで確認しても変化なしなので参っています。 ネットであれこれ調べて試行錯誤したのですが、見当がつきません... 大変初歩的な質問で恐縮ですが、ご教示いただける方がいらっしゃいましたら幸いです。 どうぞよろしくお願いいたします。
glass's user avatar
  • 139
1
1 回答
226 閲覧数

pandasで固定値列を複数持つDataFrameを作成したい

変数(数値)、a,b,cがあった際に、複数の固定の列を追加して縦持ちのDataFrameを作成したいです。 やりたいことは以下のような事になります。 このような3つの値(DataFrameではありません)があった場合に a b c 以下のように先頭?に列毎に固定の値を設定した列を追加したい。 hoge huga a hoge huga b hoge huga c ...
yamap_55's user avatar
  • 754
1
1 回答
1,040 閲覧数

pandas 欠損値が連続しているときの補間について

こんにちは,お世話になります. pandasのinterpolate()メソッドで欠損値処理を行いたいと思っています. このとき,欠損値がn個連続している場合は,その部分に関して補間をそもそも行わない,と指示したいのですが,どうすれば良いのでしょうか. 例えば,n=3だとすると, ...-5,NaN,NaN,6,10... では補間を行い, ...-5,NaN,NaN,NaN,6,10,....
F.Yudai's user avatar
  • 133
0
1 回答
113 閲覧数

pythonのdeep learningのcsv読み込みでconvert error

今現在pythonのpandasでcsvを読み込ませ学習させようとしています。 そこで実行すると ValueError:could not convert srtring to float'v -0.670323 0.017320 2.448769\nv -0.248426 0.066855 2.655411\nv -0.634120 0.159561 2.476978' ...
aaa's user avatar
  • 1
2
1 回答
1,306 閲覧数

Pythonのpandasで一列だけrenameする方法

Pythonで指定した一列だけrenameする方法を探しています。 df.columns[0]='新列名' としてもrenameできません。 ぐぐると全列名をリストで入れる方法と辞書で指定する方法は出てくるのですが、今回は使えません。 というのも、列名ではなく数値で列を指定しているのは関数化してループさせたときに1回目と2回目では列名が異なってくる、列数が異なってくるからです。 (...
user87562's user avatar
  • 853
0
1 回答
149 閲覧数

pd.io.sql.read_sqlで2つのコードの出力結果を同じにしたい

下記の二つのコードで同様の結果を出力したいのですが 1のコードは[0 rows x 112 columns]と上手くいかないのですが 2のコードで実行した時、[1 rows x 112 columns]と 取りたいデータがとれます。 1のコードのどこを修正すれば2のコードと同じ出力になるかご指摘頂けたらと思います。 1. import sqlalchemy.ext.declarative ...
さかもと's user avatar
0
1 回答
1,080 閲覧数

pandasのpd.io.sql.read_sqlでのエラーについて

プログラム初心者です。 下記のコードを実行したところWHEREのところでエラーが出てしまって困っております。 nameで入れたい型はcharacter(16)になっております。 よろしくお願い致します。 エラー内容: sqlalchemy.exc.ProgrammingError: (psycopg2.ProgrammingError) 演算子が存在しません: character = ...
さかもと's user avatar
0
2 回答
364 閲覧数

shift()の使い方について

python初心者です。よろしくお願いします。 下記は正常に動くのですが、 df['ud_flag'] = df.apply(lambda x : 1 if x.p == 1 else(-1 if x.p == -1 else 0),axis=1) udのフラグとして、1又は-1の値のみにしたい。 つまり、udが0値の部分を、前回の1、又は-1のままとしたいので、...
user31357's user avatar
0
1 回答
156 閲覧数

lambdaの使い方を教えてください。

下記では上手く実行されるのに df['flag'] = df['current'].apply(lambda x : 1 if x >= 5000 else 0 ) 下記に変更するとエラーがでます。 df['flag'] = df['current'].apply(lambda x : 1 if x >= df['current2'] else 0 ) エラーメッセージ ...
user31357's user avatar
0
1 回答
150 閲覧数

PhantomJSで収集したデータのcsvへの格納

以前質問をさせて頂いたPhantomJSをGoogle Colab上で用いて、データスクレイピングの練習をしています。 が、データをcsvファイル内にうまく格納できず下の様なエラーが出てしまいます...。 どの様に対応すれば良いでしょうか...? コード !pip install selenium # PhantomJS をダウンロード !wget https://bitbucket....
lightning070's user avatar
2
1 回答
3,273 閲覧数

seabornで綺麗なペアプロットを表示させたい。pairplotする時、hueの設定でLinAlgError: singular matrixと出てしまう。

独自データで、iris分析のようなpairplotを表示させたいです。 独自データ =カメラの weight(重さ), quality(画質), price(値段), camera(1一眼/2ミラーレス/3コンデジ/4スマホ) [[1066, 2400, 215000, 1], [1274, 2400, 225000, 1], [1048, 2400, 205800, 1], [1200, ...
ume's user avatar
  • 35
0
1 回答
1,148 閲覧数

pandas 特定の列すべてを計算して編集したいが、for分内でilocで値取り出すとstrになる現象

dataframeの2列目の値をすべて読み込み、計算した後編集するプログラムをpandasで作成しております。 その中で TypeError: unsupported operand type(s) for -: 'str' and 'float' と表示され、計算できなく困っております。 作成したdataframeのdf_rawの中身はこのような中身です。 [7801 rows x 2 ...
ktakita's user avatar
  • 159
2
2 回答
681 閲覧数

python pandasデータフレームで条件から得た値を書き換えるには?その位置情報が分かればできるのだろうが、それがわからない。

素人質問で申し訳ないです。 pandasデータフレームで条件に当てはまる数値を任意の数値(または文字)に書き換えたい場合どのようにすればよいのでしょうか。 df = pd.DataFrame({'A': [0, 0, 2, 1], 'B': [1,2,3,4], 'C' : [5,7,2,5]},index = ["AA","BB","CC","DD"]) print (df) ...
Asagao's user avatar
  • 63
0
1 回答
101 閲覧数

pandasデータへ変換する方法を教えて下さい。

pythonのループの仕方を教えて下さい。 よろしくお願いします。 (参考)無向グラフと有向グラフ>無向グラフの隣接行列(adjacency matrix) http://www.dais.is.tohoku.ac.jp/~shioura/teaching/ad11/ad11-09.pdf#page=5 import pandas as pd # input : 線分a [0,1] # ...
mrrclb48z's user avatar
  • 387
2
1 回答
2万 閲覧数

matplotlib の ylimについて 下限値は指定、上限値は自動にしたい

以下のコードについて質問させてください。 左のグラフのy軸を変更したいと考えており 左のグラフから右のグラフへ変更しようとしておりました。 y軸の変更方法ですが y軸のyminが0,ymaxは自動調整してほしいのですが、 yminは0になったのですが、ymaxがなぜだか1.0になってしまいます。 どうコードを記載したらよいのかわかりません。 すみませんが、ご教授お願いします。 #散布図作成 ...
ktakita's user avatar
  • 159
1
1 回答
220 閲覧数

pythonでの正規表現について教えてください

いろいろと調べてみましたが、なかなか理解に苦しんでおります。 下記のような条件の場合の正規表現を教えてください。 対象ファイル名について 1.n番目からm番目の文字列を抜き出す 2.n番目からm番目の文字列を削除する 3.最初からn番目までを抜き出す 4.最後からn番目までを抜き出す 例えば  "sample12345_abc_181022.txt" から、...
nsgui tarns's user avatar
1
1 回答
125 閲覧数

pandasのcut()の分類がうまくいかない

プログラミング初心者です。 仕事でデータサイエンスを使おうということで、下記のリンクのPython Data Science Handbookの例題を基に勉強しているのですが、例題通りの出力ができずに困っております。 リンク:https://jakevdp.github.io/PythonDataScienceHandbook/03.09-pivot-tables.html ...
Tim's user avatar
  • 106
1
2 回答
3,595 閲覧数

pandas.read_csv読み込んだCSVファイルのファイル名を出力する画像ファイル名に追加したい

次のようにして読み込んだファイル"sample12345.csv" df = pd.read_csv("./sample12345.csv", sep=',' , encoding="UTF-8") 自動的に下記のようなファイル名で出力する方法はありますか? (sampleだけを抜き出して,"saveimage_"の後ろに追加している) plt.savefig("./...
nsgui tarns's user avatar
1
1 回答
2,206 閲覧数

Pandas.DataFrame.plotとmatplotlib.plot,エラーバー(yerr)表示を微調整したいのだが・・・。

エラーバーの表示について質問です。 細かなところですが、見栄えの問題で、エラーバーとマーカーとラインの重なりを細かく調整したい場合の方法はありますでしょうか? %matplotlib inline import numpy as np import matplotlib.pyplot as plt import pandas as pd df = pd.DataFrame([[1.0, 10.0,...
nsgui tarns's user avatar
0
2 回答
4,030 閲覧数

pandas.dataframeからilocを用いて必要なデータだけを抜き出した際に表示されるワーニングについて教えてください。

pandasのデータフレーム(df2)から必要な行列だけを抜き出すために、下記のような操作をした際に表示されるワーニングについて。 df2 = df.iloc[0:3201,:] #必要なデータだけ抜き出し df2 = df2.astype(float) #データ型変更:実数 df_index = df2.iloc[:,0] df_alfa = df2.iloc[:,np.arange(1, ...
nsgui tarns's user avatar
0
1 回答
5,482 閲覧数

DataFrame.plot() で作図した場合のax.set_label()について質問です。デフォルト表示のラベルを上書きできない・・

先日の質問で頂いたDataFrame.plot() で作図した下記のプログラム(magichanさん、ありがとうございました)について、質問です。 ax.set_title("TEST") ax.set_xlim(0,2*np.pi) ax.set_ylim(-1,1) ax.set_xticks([0, np.pi, np.pi*2]) ax.set_xticklabels([0, 'π', '...
nsgui tarns's user avatar
2
1 回答
3,205 閲覧数

pandasで複数のCSVから特定行のみを抽出してCSVにしたい

pythonを使いはじめて2週間になります。 やりたいことは以下です。 ①pandasを使って複数のCSVを読みこんで2行目のみをそれぞれから抽出 ②1つ目のCSVから抽出した行は1行目  2つ目のCSVから抽出した行は2行目・・・ と、いうふうにしたいのですが、 →できたことは ・フォルダにあるCSVを読み込む →あいまいorわからない ・なんとなく2行目もとりだせている気もするんですが。 ・...
77be-ta's user avatar
  • 31
0
1 回答
6,510 閲覧数

Matplotlibで、たくさんの列データから必要な複数データを選択してを一つのグラフに一度に描画する賢い方法

たとえば、df.shape = (200, 1000)のpandasデータがあるとします。 下記のようなグラフを描写したいのです。 横軸:行(200) 縦軸:データの範囲 グラフ種類:折れ線 ライン数:1000 1000の列データ(各200行)を一度に指定してグラフにプロットする場合、 どのようにするとシンプルにできますか? 今までは、下記のように直接指定して描いておりましたが、 ...
nsgui tarns's user avatar
1
2 回答
1,717 閲覧数

文字列の一部となっている単語の置き換え

現在、次のようなデータの中に出てくる 配列words内の単語を「その他」に置き換えたいと考えております。 words内の単語が単独で出てくる場合には、置き換えることができますが、 文字列の一部になっている場合には、置換できません。 どのようにすれば、置換できるか、ご教示頂けると大変助かります。 import pandas as pd # pandas import numpy as np ...
kazusumi's user avatar
  • 240
2
2 回答
6,549 閲覧数

.txtファイルを.csvファイルに変換したい

python3.6環境下で以下の.csvファイルを出力しました。これをカンマ(,)区切りの.csvファイルに変換したいのですがうまくいきません。zepp.csv の一行1列目の要素には a b c d e f が格納されており、区切りが空白なのです。これらをカンマ区切りで a, b, c, d, e, f に訂正するアルゴリズムを各成分に対して適用するコードが書きたいです。...
wakewakameman's user avatar
1
1 回答
395 閲覧数

特徴量として使えるデータを平均の差から見つけ出す方法

クラスタリングを行う上で、特徴量を選択する際に「平均の差」を使おうと考えています。 複数ある属性のうち、平均差が大きいものを特徴量として選択すれば、より適切に集団を分割できるのではないかと考えています。 その際の「平均の差を比較する」方法がわかりません。 例えば、高校のクラスが2つ(A組、B組)あったとし、 それぞれ身長の平均(cm)、体重の平均(kg)、アルバイト収入の平均(円)...
bbpencil's user avatar
1
1 回答
440 閲覧数

Excel日付データの入力と計算

現在、xlsxファイルに日付のデータを保存しています(dates.xlsx)。 date2-dateを求めたいと考えています。 date date2 1973年3月 2018年8月 1984年10月 2018年5月 1990年1月 2017年12月 1954年 2016年1月 これを読み込むために、...
kazusumi's user avatar
  • 240
2
1 回答
155 閲覧数

文字列の数字への置き換え:文字列に揺らぎがある場合

以前の質問の拡張です。 xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。 しかし、路線名にはJRや都営などが付いたり、つかなかったりなど揺らぎあることが分かりました。 現在用意したcodeでは、完全に一致するもののみ、置き換えます。 用意した辞書と部分的に一致したものを番号に変換し、一致しないものは、欠損値にしたいのですが、 ...
kazusumi's user avatar
  • 240
1
1 回答
204 閲覧数

文字列からのダミー変数作成

家の特徴を示す情報を持つ変数xより、シェアハウスと、バルコニーのある物件の場合に1とする 次のような変数shareとbalconyを作成したいと考えています。 index share balcony 0 1 1 1 0 1 2 1 0 3 1 0 変数名を示すリスト var_nameと、...
kazusumi's user avatar
  • 240
3
1 回答
87 閲覧数

文字列の数字への置き換え

現在、xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。 その際に、xにある路線名以外は、全て欠損値nanにしたいです。 現在は、line_namesのリストと、データとの対応が不完全なので、エラーになりますが、 辞書line_namesに対応を書かずとも、辞書にない文字列は、 欠損値としたいのですが、ご教示頂けるとありがたいです。 大量なデータがあり、...
kazusumi's user avatar
  • 240
2
3 回答
241 閲覧数

日付データから、月、日にちのデータを作成したい

日付データから、月、日にちのデータを作成したく、次のようなコードを準備しています。 import re import pandas as pd import datetime df = pd.DataFrame( {'x': ['Fri, 10 Mar 2017 23:58:00 GMT', 'Sat, 11 Mar 2017 05:33:42 GMT', ...
kazusumi's user avatar
  • 240
1
1 回答
4,318 閲覧数

Pandasで小数点以下の桁を保持したままdataframeに読み込むには?

現在、次のような内容のcsvファイルを読み込み、dataframeを作成したいと考えています。 ファイル名:gis_points_data.csv この中身 index_gis,fX,fY 0,139.75192,35.70077 1,139.77791,35.6997 2,139.7467,35.70089 3,139.75908,35.69649 4,139.7747,35.69283 5,...
kazusumi's user avatar
  • 240
0
1 回答
1万 閲覧数

Pandasのインストールについて

pip install pandas をすると、 Could not find a version that satisfies the requirement pandas (from versions: ) No matching distribution found for pandas と、出てしまいうまくいかず、 https://qiita.com/tkinoshi726/items/...
Sutakkuobafulou's user avatar
0
1 回答
5,836 閲覧数

DataFrameを作った際、indexの並びを固定化したい

Dataframeでデータを作成し、そのデータをそのままcsvに出力をしようとした際、 indexで指定した並び順(column)ではなく、アルファベット順になって出力されてしまいます。 indexで指定した並び順のままにするにはどうすれば良いのでしょうか? 記述内容としては以下のような内容です。 import pandas as pd def create_csv(): df = ...
casga's user avatar
  • 35
0
1 回答
1,153 閲覧数

データフレームをリスト化

以下のコード(関数は省略はしておりますが) 以下のエラーコードがでます。 Traceback (most recent call last): df_L12[i] = df_clear() NameError: name 'df_L12' is not defined for文のあとにdfをclearしているので大丈夫かと思っていたのですがコードが通りません。 ...
ktakita's user avatar
  • 159
1
1 回答
1,528 閲覧数

pandas の Seriesクラスの`groupby`メソッドの使い方

環境 Python3.6.5 pandas 0.23.0 背景 普段はDataFrameのgroupbyメソッドを使っています。 最近、Seriesにもgroupbyメソッドがあることを知り、使ってみようと思います。 https://pandas.pydata.org/pandas-docs/version/0.23/generated/pandas.Series.groupby.html ...
yuji38kwmt's user avatar
  • 1,720
0
2 回答
2,534 閲覧数

Pandasの繰り返し文での代入について

私は現在Pandasのデータフレームにおきまして、全ての行を繰り返して値の変更を行おうとしています。(今回は値から%を取り除こうとしています。) その際に、下記のような警告文が出てしまいます。また、この警告文が出ると処理に大きな時間がかかります。 下記の警告文のサイトへと移動し、dataframe._setitem_with_indexerを使用したのですが、...
Flow_engine's user avatar
0
1 回答
1,676 閲覧数

webページのソースに貼られたリンク先のhtmlファイルを取得する

やりたいことはリンクHP(下のpythonコードのurlと同じです)の背景がグレーの部分のデータをDataframeに格納することです. 背景がグレーの部分はリンク先のページに埋め込まれたhtmlファイルとなっていまして,リンクHPのソースを見ると html </TABLE> <IFRAME src="/html/frm/...
sket1642ch's user avatar
0
1 回答
267 閲覧数

resample('H').ohlc()でAttributeError

PythonにてOHLC形式でリサンプリングしたく、以下のコードを記述しましたが、AttributeErrorとなってしまいます。 何が悪いかわかる方はいらっしゃいますでしょうか。 なお実行環境はAzureMLのPythonScriptです。 ソース: import pandas as pd dataframe1['Time'] = pd.to_datetime(dataframe1['...
赤木和明's user avatar
0
1 回答
2万 閲覧数

pythonでforループで自動でDataFrameの名前を変えたい

for i in range(10):  dfi=pd.DataFrame({ 'A','B'}) みたいにしたとき、dfiのiの部分が1,2,3,...と変わって結果的に df1 df2 df3 . . df10 という名前のDataFrameが作成されるようなプログラムを組みたいのです。 超初心者で恐縮ですが、よろしくお願いします。
tktk's user avatar
  • 23
1
2 回答
122 閲覧数

欠損値を含む2変数の内容を1変数にまとめる方法

python のデータフレームに、 部屋の面積の入っている二つの変数xとyがあります。 xから、面積のデータを取り出し、 yにも入っている面積のデータを、取り出して、 面積のみを含む変数spaceを作りたいと考えています。 このことを意図してfor roop とif を用いて、 spaceを作ろうとしていますが、エラーが生じて進みません。 エラーをなくす方法、あるいは別の方法がございましたら、...
kazusumi's user avatar
  • 240
1
1 回答
101 閲覧数

Python3のデータフレーム型に関しての質問です。

データの値が5000~15000くらいまであるデータフレームに関して、その中から最大値及び最小値を抜き出したいのですが、df.max()を使うとなぜか10000未満の最大値(9999.9など)が抜き出されてしまいます。df.min()に関しても10000以上の値が抜き出されてしまいます。原因、解決方法を教えていただけると助かります。
hoshi hoshi's user avatar
0
1 回答
322 閲覧数

SASでのkeepはRやPythonではどのように書くのか

SASの場合 keep q1 q22_01-q22_15 q25 q28 q33_3-q33_21; のように落とさず持ってくる変数を連続で指定できますが、RやPythonではどのように書くのでしょうか。 SASのように一文で書きたいです。複数のデータフレームに指定してマージ、というのは避けたいです。 Rだとdplyrを用いて select(df, q1, num_range(prefix =...
user87562's user avatar
  • 853
0
1 回答
564 閲覧数

DataFrameを用いてカテゴリカル変数を1特徴量の量的変数に変換する方法

後述のようなsample.csvを読み込んだDataFrame dfがあったときに、カテゴリカルな変数であるresidenceに一位のラベルを自動的にふるよい方法があれば教えてください。 pandas.get_dummies(df)を用いるとそれっぽいことができなくはないですが、東京カラム、神奈川カラム、、、などと特徴量の変数の数だけ、新しい特徴量ができ、それらが0,1になってしまいます。 ...
Takuya Kitamura's user avatar
1
1 回答
700 閲覧数

Pythonにおける変数宣言時に異なる変数を用いる方法

私は現在関数で複数の変数を宣言しようとしています. その際に変数名を関数実装時に決め打ちで宣言することは後のことを考えると非常に良くないと思い工夫をしようと試みています. そこで、関数の引数を宣言する変数名を含ませることで解決できると考えました.しかし引数を変数内に用いる方法がわかりません. どうかお力添えをお願いしたく思います. やりたいことの例: def new_variable(...
Flow_engine's user avatar
0
2 回答
443 閲覧数

数値の時刻を分の時刻へ変換するやりかた

以下のように「年」「月」「日」「時間」のデータフレームがあり時間は数値で示されている場合、日時のインデックスを (2018−2−1 0:00) のような形で表す方法はありますでしょうか? YEAR MONTH DAY HR 2018 2 1 0.0 2018 2 1 0.5 2018 2 1 1.0 2018 2 1 1.5 ...
user28185's user avatar
1
1 回答
1,995 閲覧数

分割して読み込んだファイルの結合でエラーがでる

巨大なcsvファイルを扱うために分割してファイルを読み込んだのですが、その後の結合でエラーで出てしまいます。 以下コード import pandas as pd fname = '.../train.csv' reader = pd.read_csv(fname, chunksize=10000) df = pd.concat((r for r in reader), ignore_index=...
user9713188's user avatar
1
2 回答
1,883 閲覧数

pandas seriesの行方向への結合について

下記のコードにて、date, p をヘッダーに行方向に結合したいのですがうまくいきません。 どのようにすればできますでしょうか? 尚、tickには日付情報がはいっており、str(t.year) + str(t.month)で年月情報を作っています。pは機械学習によって得られるスコアを想定しており、これ自体は単一の数字です。 結果が date 20154.000000 f ...
companyyy's user avatar