[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
413
質問
0
票
1
回答
1,147
閲覧数
object型の列をdatetime64型へ変換したい
markt_train_dfというデータフレームを扱っています。データ型は以下の通りとなっております。
今、一番上の”time"という列のデータ型をobjectからdatetime64[ns, UTC]に変更しなければならないのですが、どのようにすれば"time"のデータ型のみを変更したdataframeを取得できるでしょうか。
初歩的な質問で大変恐縮ですがご教授いただきましたら幸いです。
...
1
票
2
回答
7,319
閲覧数
pandas.DataFrameで固定値列を追加したい
DataFrameがあった際に、固定の列をindex?の0から追加をしたいです。
言葉だとうまく説明できないため、疑似的なコードで記載いたします。
import pandas as pd
# 既存のDataFrame(実際にはそれなりの件数が存在)
df = pd.DataFrame([[1, 'hoge', 'hogehoge'], [2, 'huga', 'hugahuga'], [3, '...
0
票
1
回答
1,163
閲覧数
pandas.DataFrameのdropメソッドをfor文を使って回したいのですが、動作しません
単純に0から4番目の行を削除しようと考えています。
for i in range(5):
df.drop(i)
このコードで動作すると思ったのですが、そのあとdfで確認しても変化なしなので参っています。
ネットであれこれ調べて試行錯誤したのですが、見当がつきません...
大変初歩的な質問で恐縮ですが、ご教示いただける方がいらっしゃいましたら幸いです。
どうぞよろしくお願いいたします。
1
票
1
回答
226
閲覧数
pandasで固定値列を複数持つDataFrameを作成したい
変数(数値)、a,b,cがあった際に、複数の固定の列を追加して縦持ちのDataFrameを作成したいです。
やりたいことは以下のような事になります。
このような3つの値(DataFrameではありません)があった場合に
a
b
c
以下のように先頭?に列毎に固定の値を設定した列を追加したい。
hoge huga a
hoge huga b
hoge huga c
...
1
票
1
回答
1,040
閲覧数
pandas 欠損値が連続しているときの補間について
こんにちは,お世話になります.
pandasのinterpolate()メソッドで欠損値処理を行いたいと思っています.
このとき,欠損値がn個連続している場合は,その部分に関して補間をそもそも行わない,と指示したいのですが,どうすれば良いのでしょうか.
例えば,n=3だとすると,
...-5,NaN,NaN,6,10...
では補間を行い,
...-5,NaN,NaN,NaN,6,10,....
0
票
1
回答
113
閲覧数
pythonのdeep learningのcsv読み込みでconvert error
今現在pythonのpandasでcsvを読み込ませ学習させようとしています。
そこで実行すると
ValueError:could not convert srtring to float'v -0.670323 0.017320 2.448769\nv -0.248426 0.066855 2.655411\nv -0.634120 0.159561 2.476978'
...
2
票
1
回答
1,306
閲覧数
Pythonのpandasで一列だけrenameする方法
Pythonで指定した一列だけrenameする方法を探しています。
df.columns[0]='新列名'
としてもrenameできません。
ぐぐると全列名をリストで入れる方法と辞書で指定する方法は出てくるのですが、今回は使えません。
というのも、列名ではなく数値で列を指定しているのは関数化してループさせたときに1回目と2回目では列名が異なってくる、列数が異なってくるからです。
(...
0
票
1
回答
149
閲覧数
pd.io.sql.read_sqlで2つのコードの出力結果を同じにしたい
下記の二つのコードで同様の結果を出力したいのですが
1のコードは[0 rows x 112 columns]と上手くいかないのですが
2のコードで実行した時、[1 rows x 112 columns]と
取りたいデータがとれます。
1のコードのどこを修正すれば2のコードと同じ出力になるかご指摘頂けたらと思います。
1.
import sqlalchemy.ext.declarative
...
0
票
1
回答
1,080
閲覧数
pandasのpd.io.sql.read_sqlでのエラーについて
プログラム初心者です。
下記のコードを実行したところWHEREのところでエラーが出てしまって困っております。
nameで入れたい型はcharacter(16)になっております。
よろしくお願い致します。
エラー内容:
sqlalchemy.exc.ProgrammingError: (psycopg2.ProgrammingError) 演算子が存在しません: character = ...
0
票
2
回答
364
閲覧数
shift()の使い方について
python初心者です。よろしくお願いします。
下記は正常に動くのですが、
df['ud_flag'] = df.apply(lambda x : 1 if x.p == 1 else(-1 if x.p == -1 else 0),axis=1)
udのフラグとして、1又は-1の値のみにしたい。
つまり、udが0値の部分を、前回の1、又は-1のままとしたいので、...
0
票
1
回答
156
閲覧数
lambdaの使い方を教えてください。
下記では上手く実行されるのに
df['flag'] = df['current'].apply(lambda x : 1 if x >= 5000 else 0 )
下記に変更するとエラーがでます。
df['flag'] = df['current'].apply(lambda x : 1 if x >= df['current2'] else 0 )
エラーメッセージ
...
0
票
1
回答
150
閲覧数
PhantomJSで収集したデータのcsvへの格納
以前質問をさせて頂いたPhantomJSをGoogle Colab上で用いて、データスクレイピングの練習をしています。
が、データをcsvファイル内にうまく格納できず下の様なエラーが出てしまいます...。
どの様に対応すれば良いでしょうか...?
コード
!pip install selenium
# PhantomJS をダウンロード
!wget https://bitbucket....
2
票
1
回答
3,273
閲覧数
seabornで綺麗なペアプロットを表示させたい。pairplotする時、hueの設定でLinAlgError: singular matrixと出てしまう。
独自データで、iris分析のようなpairplotを表示させたいです。
独自データ
=カメラの
weight(重さ),
quality(画質),
price(値段),
camera(1一眼/2ミラーレス/3コンデジ/4スマホ)
[[1066, 2400, 215000, 1], [1274, 2400, 225000, 1], [1048, 2400, 205800, 1], [1200, ...
0
票
1
回答
1,148
閲覧数
pandas 特定の列すべてを計算して編集したいが、for分内でilocで値取り出すとstrになる現象
dataframeの2列目の値をすべて読み込み、計算した後編集するプログラムをpandasで作成しております。
その中で
TypeError: unsupported operand type(s) for -: 'str' and 'float'
と表示され、計算できなく困っております。
作成したdataframeのdf_rawの中身はこのような中身です。
[7801 rows x 2 ...
2
票
2
回答
681
閲覧数
python pandasデータフレームで条件から得た値を書き換えるには?その位置情報が分かればできるのだろうが、それがわからない。
素人質問で申し訳ないです。
pandasデータフレームで条件に当てはまる数値を任意の数値(または文字)に書き換えたい場合どのようにすればよいのでしょうか。
df = pd.DataFrame({'A': [0, 0, 2, 1], 'B': [1,2,3,4], 'C' : [5,7,2,5]},index = ["AA","BB","CC","DD"])
print (df)
...
0
票
1
回答
101
閲覧数
pandasデータへ変換する方法を教えて下さい。
pythonのループの仕方を教えて下さい。
よろしくお願いします。
(参考)無向グラフと有向グラフ>無向グラフの隣接行列(adjacency matrix)
http://www.dais.is.tohoku.ac.jp/~shioura/teaching/ad11/ad11-09.pdf#page=5
import pandas as pd
# input : 線分a [0,1]
# ...
2
票
1
回答
2万
閲覧数
matplotlib の ylimについて 下限値は指定、上限値は自動にしたい
以下のコードについて質問させてください。
左のグラフのy軸を変更したいと考えており
左のグラフから右のグラフへ変更しようとしておりました。
y軸の変更方法ですが
y軸のyminが0,ymaxは自動調整してほしいのですが、
yminは0になったのですが、ymaxがなぜだか1.0になってしまいます。
どうコードを記載したらよいのかわかりません。
すみませんが、ご教授お願いします。
#散布図作成
...
1
票
1
回答
220
閲覧数
pythonでの正規表現について教えてください
いろいろと調べてみましたが、なかなか理解に苦しんでおります。
下記のような条件の場合の正規表現を教えてください。
対象ファイル名について
1.n番目からm番目の文字列を抜き出す
2.n番目からm番目の文字列を削除する
3.最初からn番目までを抜き出す
4.最後からn番目までを抜き出す
例えば
"sample12345_abc_181022.txt"
から、...
1
票
1
回答
125
閲覧数
pandasのcut()の分類がうまくいかない
プログラミング初心者です。
仕事でデータサイエンスを使おうということで、下記のリンクのPython Data Science Handbookの例題を基に勉強しているのですが、例題通りの出力ができずに困っております。
リンク:https://jakevdp.github.io/PythonDataScienceHandbook/03.09-pivot-tables.html
...
1
票
2
回答
3,595
閲覧数
pandas.read_csv読み込んだCSVファイルのファイル名を出力する画像ファイル名に追加したい
次のようにして読み込んだファイル"sample12345.csv"
df = pd.read_csv("./sample12345.csv", sep=',' , encoding="UTF-8")
自動的に下記のようなファイル名で出力する方法はありますか?
(sampleだけを抜き出して,"saveimage_"の後ろに追加している)
plt.savefig("./...
1
票
1
回答
2,206
閲覧数
Pandas.DataFrame.plotとmatplotlib.plot,エラーバー(yerr)表示を微調整したいのだが・・・。
エラーバーの表示について質問です。
細かなところですが、見栄えの問題で、エラーバーとマーカーとラインの重なりを細かく調整したい場合の方法はありますでしょうか?
%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
df = pd.DataFrame([[1.0, 10.0,...
0
票
2
回答
4,030
閲覧数
pandas.dataframeからilocを用いて必要なデータだけを抜き出した際に表示されるワーニングについて教えてください。
pandasのデータフレーム(df2)から必要な行列だけを抜き出すために、下記のような操作をした際に表示されるワーニングについて。
df2 = df.iloc[0:3201,:]
#必要なデータだけ抜き出し
df2 = df2.astype(float)
#データ型変更:実数
df_index = df2.iloc[:,0]
df_alfa = df2.iloc[:,np.arange(1, ...
0
票
1
回答
5,482
閲覧数
DataFrame.plot() で作図した場合のax.set_label()について質問です。デフォルト表示のラベルを上書きできない・・
先日の質問で頂いたDataFrame.plot() で作図した下記のプログラム(magichanさん、ありがとうございました)について、質問です。
ax.set_title("TEST")
ax.set_xlim(0,2*np.pi)
ax.set_ylim(-1,1)
ax.set_xticks([0, np.pi, np.pi*2])
ax.set_xticklabels([0, 'π', '...
2
票
1
回答
3,205
閲覧数
pandasで複数のCSVから特定行のみを抽出してCSVにしたい
pythonを使いはじめて2週間になります。
やりたいことは以下です。
①pandasを使って複数のCSVを読みこんで2行目のみをそれぞれから抽出
②1つ目のCSVから抽出した行は1行目
2つ目のCSVから抽出した行は2行目・・・
と、いうふうにしたいのですが、
→できたことは
・フォルダにあるCSVを読み込む
→あいまいorわからない
・なんとなく2行目もとりだせている気もするんですが。
・...
0
票
1
回答
6,510
閲覧数
Matplotlibで、たくさんの列データから必要な複数データを選択してを一つのグラフに一度に描画する賢い方法
たとえば、df.shape = (200, 1000)のpandasデータがあるとします。
下記のようなグラフを描写したいのです。
横軸:行(200)
縦軸:データの範囲
グラフ種類:折れ線
ライン数:1000
1000の列データ(各200行)を一度に指定してグラフにプロットする場合、
どのようにするとシンプルにできますか?
今までは、下記のように直接指定して描いておりましたが、
...
1
票
2
回答
1,717
閲覧数
文字列の一部となっている単語の置き換え
現在、次のようなデータの中に出てくる
配列words内の単語を「その他」に置き換えたいと考えております。
words内の単語が単独で出てくる場合には、置き換えることができますが、
文字列の一部になっている場合には、置換できません。
どのようにすれば、置換できるか、ご教示頂けると大変助かります。
import pandas as pd # pandas
import numpy as np
...
2
票
2
回答
6,549
閲覧数
.txtファイルを.csvファイルに変換したい
python3.6環境下で以下の.csvファイルを出力しました。これをカンマ(,)区切りの.csvファイルに変換したいのですがうまくいきません。zepp.csv の一行1列目の要素には a b c d e f が格納されており、区切りが空白なのです。これらをカンマ区切りで a, b, c, d, e, f に訂正するアルゴリズムを各成分に対して適用するコードが書きたいです。...
1
票
1
回答
395
閲覧数
特徴量として使えるデータを平均の差から見つけ出す方法
クラスタリングを行う上で、特徴量を選択する際に「平均の差」を使おうと考えています。
複数ある属性のうち、平均差が大きいものを特徴量として選択すれば、より適切に集団を分割できるのではないかと考えています。
その際の「平均の差を比較する」方法がわかりません。
例えば、高校のクラスが2つ(A組、B組)あったとし、
それぞれ身長の平均(cm)、体重の平均(kg)、アルバイト収入の平均(円)...
1
票
1
回答
440
閲覧数
Excel日付データの入力と計算
現在、xlsxファイルに日付のデータを保存しています(dates.xlsx)。
date2-dateを求めたいと考えています。
date date2
1973年3月 2018年8月
1984年10月 2018年5月
1990年1月 2017年12月
1954年 2016年1月
これを読み込むために、...
2
票
1
回答
155
閲覧数
文字列の数字への置き換え:文字列に揺らぎがある場合
以前の質問の拡張です。
xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。
しかし、路線名にはJRや都営などが付いたり、つかなかったりなど揺らぎあることが分かりました。
現在用意したcodeでは、完全に一致するもののみ、置き換えます。
用意した辞書と部分的に一致したものを番号に変換し、一致しないものは、欠損値にしたいのですが、
...
1
票
1
回答
204
閲覧数
文字列からのダミー変数作成
家の特徴を示す情報を持つ変数xより、シェアハウスと、バルコニーのある物件の場合に1とする
次のような変数shareとbalconyを作成したいと考えています。
index share balcony
0 1 1
1 0 1
2 1 0
3 1 0
変数名を示すリスト var_nameと、...
3
票
1
回答
87
閲覧数
文字列の数字への置き換え
現在、xに入っている路線名を、辞書line_namesにあるような数字に置き換えたいと考えています。
その際に、xにある路線名以外は、全て欠損値nanにしたいです。
現在は、line_namesのリストと、データとの対応が不完全なので、エラーになりますが、
辞書line_namesに対応を書かずとも、辞書にない文字列は、
欠損値としたいのですが、ご教示頂けるとありがたいです。
大量なデータがあり、...
2
票
3
回答
241
閲覧数
日付データから、月、日にちのデータを作成したい
日付データから、月、日にちのデータを作成したく、次のようなコードを準備しています。
import re
import pandas as pd
import datetime
df = pd.DataFrame(
{'x': ['Fri, 10 Mar 2017 23:58:00 GMT',
'Sat, 11 Mar 2017 05:33:42 GMT',
...
1
票
1
回答
4,318
閲覧数
Pandasで小数点以下の桁を保持したままdataframeに読み込むには?
現在、次のような内容のcsvファイルを読み込み、dataframeを作成したいと考えています。
ファイル名:gis_points_data.csv
この中身
index_gis,fX,fY
0,139.75192,35.70077
1,139.77791,35.6997
2,139.7467,35.70089
3,139.75908,35.69649
4,139.7747,35.69283
5,...
0
票
1
回答
1万
閲覧数
Pandasのインストールについて
pip install pandas をすると、
Could not find a version that satisfies the requirement pandas (from versions: )
No matching distribution found for pandas
と、出てしまいうまくいかず、
https://qiita.com/tkinoshi726/items/...
0
票
1
回答
5,836
閲覧数
DataFrameを作った際、indexの並びを固定化したい
Dataframeでデータを作成し、そのデータをそのままcsvに出力をしようとした際、
indexで指定した並び順(column)ではなく、アルファベット順になって出力されてしまいます。
indexで指定した並び順のままにするにはどうすれば良いのでしょうか?
記述内容としては以下のような内容です。
import pandas as pd
def create_csv():
df = ...
0
票
1
回答
1,153
閲覧数
データフレームをリスト化
以下のコード(関数は省略はしておりますが)
以下のエラーコードがでます。
Traceback (most recent call last):
df_L12[i] = df_clear()
NameError: name 'df_L12' is not defined
for文のあとにdfをclearしているので大丈夫かと思っていたのですがコードが通りません。
...
1
票
1
回答
1,528
閲覧数
pandas の Seriesクラスの`groupby`メソッドの使い方
環境
Python3.6.5
pandas 0.23.0
背景
普段はDataFrameのgroupbyメソッドを使っています。
最近、Seriesにもgroupbyメソッドがあることを知り、使ってみようと思います。
https://pandas.pydata.org/pandas-docs/version/0.23/generated/pandas.Series.groupby.html
...
0
票
2
回答
2,534
閲覧数
Pandasの繰り返し文での代入について
私は現在Pandasのデータフレームにおきまして、全ての行を繰り返して値の変更を行おうとしています。(今回は値から%を取り除こうとしています。)
その際に、下記のような警告文が出てしまいます。また、この警告文が出ると処理に大きな時間がかかります。
下記の警告文のサイトへと移動し、dataframe._setitem_with_indexerを使用したのですが、...
0
票
1
回答
1,676
閲覧数
webページのソースに貼られたリンク先のhtmlファイルを取得する
やりたいことはリンクHP(下のpythonコードのurlと同じです)の背景がグレーの部分のデータをDataframeに格納することです.
背景がグレーの部分はリンク先のページに埋め込まれたhtmlファイルとなっていまして,リンクHPのソースを見ると
html
</TABLE>
<IFRAME src="/html/frm/...
0
票
1
回答
267
閲覧数
resample('H').ohlc()でAttributeError
PythonにてOHLC形式でリサンプリングしたく、以下のコードを記述しましたが、AttributeErrorとなってしまいます。
何が悪いかわかる方はいらっしゃいますでしょうか。
なお実行環境はAzureMLのPythonScriptです。
ソース:
import pandas as pd
dataframe1['Time'] = pd.to_datetime(dataframe1['...
0
票
1
回答
2万
閲覧数
pythonでforループで自動でDataFrameの名前を変えたい
for i in range(10):
dfi=pd.DataFrame({ 'A','B'})
みたいにしたとき、dfiのiの部分が1,2,3,...と変わって結果的に
df1
df2
df3
.
.
df10
という名前のDataFrameが作成されるようなプログラムを組みたいのです。
超初心者で恐縮ですが、よろしくお願いします。
1
票
2
回答
122
閲覧数
欠損値を含む2変数の内容を1変数にまとめる方法
python のデータフレームに、
部屋の面積の入っている二つの変数xとyがあります。
xから、面積のデータを取り出し、
yにも入っている面積のデータを、取り出して、
面積のみを含む変数spaceを作りたいと考えています。
このことを意図してfor roop とif を用いて、
spaceを作ろうとしていますが、エラーが生じて進みません。
エラーをなくす方法、あるいは別の方法がございましたら、...
1
票
1
回答
101
閲覧数
Python3のデータフレーム型に関しての質問です。
データの値が5000~15000くらいまであるデータフレームに関して、その中から最大値及び最小値を抜き出したいのですが、df.max()を使うとなぜか10000未満の最大値(9999.9など)が抜き出されてしまいます。df.min()に関しても10000以上の値が抜き出されてしまいます。原因、解決方法を教えていただけると助かります。
0
票
1
回答
322
閲覧数
SASでのkeepはRやPythonではどのように書くのか
SASの場合
keep q1 q22_01-q22_15 q25 q28 q33_3-q33_21;
のように落とさず持ってくる変数を連続で指定できますが、RやPythonではどのように書くのでしょうか。
SASのように一文で書きたいです。複数のデータフレームに指定してマージ、というのは避けたいです。
Rだとdplyrを用いて
select(df, q1, num_range(prefix =...
0
票
1
回答
564
閲覧数
DataFrameを用いてカテゴリカル変数を1特徴量の量的変数に変換する方法
後述のようなsample.csvを読み込んだDataFrame dfがあったときに、カテゴリカルな変数であるresidenceに一位のラベルを自動的にふるよい方法があれば教えてください。
pandas.get_dummies(df)を用いるとそれっぽいことができなくはないですが、東京カラム、神奈川カラム、、、などと特徴量の変数の数だけ、新しい特徴量ができ、それらが0,1になってしまいます。
...
1
票
1
回答
700
閲覧数
Pythonにおける変数宣言時に異なる変数を用いる方法
私は現在関数で複数の変数を宣言しようとしています.
その際に変数名を関数実装時に決め打ちで宣言することは後のことを考えると非常に良くないと思い工夫をしようと試みています.
そこで、関数の引数を宣言する変数名を含ませることで解決できると考えました.しかし引数を変数内に用いる方法がわかりません.
どうかお力添えをお願いしたく思います.
やりたいことの例:
def new_variable(...
0
票
2
回答
443
閲覧数
数値の時刻を分の時刻へ変換するやりかた
以下のように「年」「月」「日」「時間」のデータフレームがあり時間は数値で示されている場合、日時のインデックスを (2018−2−1 0:00) のような形で表す方法はありますでしょうか?
YEAR MONTH DAY HR
2018 2 1 0.0
2018 2 1 0.5
2018 2 1 1.0
2018 2 1 1.5
...
1
票
1
回答
1,995
閲覧数
分割して読み込んだファイルの結合でエラーがでる
巨大なcsvファイルを扱うために分割してファイルを読み込んだのですが、その後の結合でエラーで出てしまいます。
以下コード
import pandas as pd
fname = '.../train.csv'
reader = pd.read_csv(fname, chunksize=10000)
df = pd.concat((r for r in reader), ignore_index=...
1
票
2
回答
1,883
閲覧数
pandas seriesの行方向への結合について
下記のコードにて、date, p をヘッダーに行方向に結合したいのですがうまくいきません。
どのようにすればできますでしょうか?
尚、tickには日付情報がはいっており、str(t.year) + str(t.month)で年月情報を作っています。pは機械学習によって得られるスコアを想定しており、これ自体は単一の数字です。
結果が
date 20154.000000
f ...