[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
362
質問
1
票
2
回答
1,944
閲覧数
python SQLAlchemy & pandas read_sql_query 日本語の処理について
初めまして、こんにちは
sqlaichemyとpandas.read_sql_queryにてmysqlのlike機能で
日本語のキーワードを選択したいですが、どうやって動けますか?
英語のキーワードを下記のように選択すると、動けるんですが
statement = "SELECT * FROM orderitem WHERE item_description like '%example%'"
...
1
票
2
回答
112
閲覧数
0.1 刻みのデータから特定の値だけが取り出せない
pandasを使い、0~0.9までの値を0.1刻みで取り出そうとしているのですが、
なぜか0.6だけ取り出すことができません。
0.6は存在することを確認しましたが、取り出すことができません。
aa = pd.DataFrame()
for i in range(10):
aa = aa.append((b[b["Gate Voltage[V]"] == 0.100*i]...
1
票
3
回答
485
閲覧数
pandasのDataFrameの操作において、部分一致複数条件かつ可変長の引数を持って特定のカラムの値を操作する関数を実装したい
※12/28,「文字型」としていたが「データ型」に修正。ご指摘ありがとうございました。
表題について、例えば列名とデータ型が以下の様なデータフレームがあり、この中から
カラム名に"A"または"B"の文字列を含む列で、データ型がintのもののみ-1する
カラム名に"0"を含むものは操作せず、何もしない
といった関数を実装するには、...
1
票
2
回答
614
閲覧数
Pandas DataFrame型での複数列を1列にしたい
以下のようなDataFrame型のデータがあります。
Pandas DataFrame型での複数列(fish,meet,vegetable)を1列にして、データ内容についても保持したいと考えております。
date member total fish meet vegetable
2020/10/1 SATO 2000 600 600 400
2020/...
1
票
2
回答
134
閲覧数
DataFrameの作り方によって、dtypeが異なるのはなぜでしょうか?
質問
文字列と数値を含む列があります。
文字列をnumpy.nanに置換した後のdtypeが、DatFrameの作り方によって異なりました。
dictからDataFrameを生成した場合
文字列を置換した後のdtypeはfloat64
In [60]: df = pandas.DataFrame({"x": [1.1, "--"]})
In [62]: ...
1
票
1
回答
377
閲覧数
Pythonでデータフレームをエクセル出力する際、説明文を入れたい
データフレームが複数個あり、to_excelでそれぞれ別のシートに出力しています。
また、各々のデータフレームについてそれぞれ説明文を1行程度入れたいと考えていますが、
説明文の入ったデータフレームをそれぞれ縦結合するとデータが崩れてしまい、うまくいきません。
どのようにすればきれいに説明文を入れることができますでしょうか。
よろしくお願いいたします。
1
票
2
回答
434
閲覧数
pandas における index 番号と対象列を別データフレームとして指定してのデータフレーム変換
pandasのデータフレームで変換するためのプログラムを書こうと試みていますが、うまくいきません。
masterという名前のデータフレームにidごとにどの変数をどう上書きするか、の対応が入っています。
id,上書き列名,上書き文字列
1,x2,ああああ
2,x4,いいい
dfというデータフレームをmasterの対応を用いて変換したいです。
(ちなみにdfの全サンプルを変換するのではなく、...
1
票
1
回答
294
閲覧数
Pandasで、飛び飛びの列番号を連番にしたい。
Pandasでデータの処理をしています。 A列がIDで、同じ数字が連続したり 、飛び飛びになっていたりします。
A列の同じ数字はそのまま、飛んでいる数字の隙間を埋めるのに効果的な操作はあれば教えて頂けませんか?
A B C D E F
1 1 0 0 0 4 1163.7
2 1 0.8 0.8 2.2 0 0
3 1 0....
1
票
2
回答
297
閲覧数
年齢を区間ごとにダミー変数化したい
初めまして、Pythonおよびデータ分析初心者です。主にPandasとNumpy,Sklearnを使ってkaggle等のコンペに挑戦している最中の者です。
データセットをロジスティック回帰によって分析したいのですが、質的データであればpd.getdummies()で簡単にダミー変数を作ることができることを最近学びました。...
1
票
2
回答
891
閲覧数
numpy配列をdataframeに変換する際に、インデックスを付与する方法について
n次元のnumpy配列をdataframeに変換する際、dataframeの1列目には1次元目のインデックス、2列目には2次元目のインデックス、・・・n列目にはn次元目のインデックス、n+1列目に配列の要素、となるようなデータフレームの作成方法をご教示賜りたいと存じます。
今までは、以下のとおり、行数が配列の要素数、列数がn+1列の2次元のnumpy配列を用意しておき、...
1
票
2
回答
948
閲覧数
ラベル名が異なる場合のmergeについて
以下の表のように、
同じ意味でラベル名が異なっている2つのデータフレームを結合しようと
した場合、どのようにすればよいのでしょうか?
通常だと、以下のような答えになるかと思うのですが・・・
pd.merge(A,B,on="日付")
ちなみに、日付、Dateそれぞれindexとして定義してあります。
A
日付 価格
2000-01-05 100
2000-01-06 110
...
1
票
3
回答
4,983
閲覧数
pandas series同士の結合について
こんにちは。
series同士の結合について質問があります。
表Aと表Bの結合を行おうと、pd.concat([A,B])とすると、
表Cのように、行追加の形で行われてしまいます。
列結合を行うにはどうしたらよいのでしょうか?
(日付、みかん、りんごのように並ぶイメージです。)
ネットで見ると、恐らく表A、表Bの価格にカラム名がついていないから、
同一カラムと見なされ、...
1
票
1
回答
376
閲覧数
除外した品詞が除外できていない
pythonでMeCabで文章の処理をかけています。
for text in df["msg_body"]:
for line in mecab.parse(text).rstrip().splitlines():
items = line.split("\t")
if len(items) == 2:
surface, ...
1
票
1
回答
893
閲覧数
pandas 欠損値が連続しているときの補間について
こんにちは,お世話になります.
pandasのinterpolate()メソッドで欠損値処理を行いたいと思っています.
このとき,欠損値がn個連続している場合は,その部分に関して補間をそもそも行わない,と指示したいのですが,どうすれば良いのでしょうか.
例えば,n=3だとすると,
...-5,NaN,NaN,6,10...
では補間を行い,
...-5,NaN,NaN,NaN,6,10,....
1
票
1
回答
203
閲覧数
pythonでの正規表現について教えてください
いろいろと調べてみましたが、なかなか理解に苦しんでおります。
下記のような条件の場合の正規表現を教えてください。
対象ファイル名について
1.n番目からm番目の文字列を抜き出す
2.n番目からm番目の文字列を削除する
3.最初からn番目までを抜き出す
4.最後からn番目までを抜き出す
例えば
"sample12345_abc_181022.txt"
から、...
1
票
2
回答
1,405
閲覧数
文字列の一部となっている単語の置き換え
現在、次のようなデータの中に出てくる
配列words内の単語を「その他」に置き換えたいと考えております。
words内の単語が単独で出てくる場合には、置き換えることができますが、
文字列の一部になっている場合には、置換できません。
どのようにすれば、置換できるか、ご教示頂けると大変助かります。
import pandas as pd # pandas
import numpy as np
...
1
票
1
回答
386
閲覧数
Excel日付データの入力と計算
現在、xlsxファイルに日付のデータを保存しています(dates.xlsx)。
date2-dateを求めたいと考えています。
date date2
1973年3月 2018年8月
1984年10月 2018年5月
1990年1月 2017年12月
1954年 2016年1月
これを読み込むために、...
1
票
1
回答
3,602
閲覧数
Pandasで小数点以下の桁を保持したままdataframeに読み込むには?
現在、次のような内容のcsvファイルを読み込み、dataframeを作成したいと考えています。
ファイル名:gis_points_data.csv
この中身
index_gis,fX,fY
0,139.75192,35.70077
1,139.77791,35.6997
2,139.7467,35.70089
3,139.75908,35.69649
4,139.7747,35.69283
5,...
1
票
1
回答
99
閲覧数
Python3のデータフレーム型に関しての質問です。
データの値が5000~15000くらいまであるデータフレームに関して、その中から最大値及び最小値を抜き出したいのですが、df.max()を使うとなぜか10000未満の最大値(9999.9など)が抜き出されてしまいます。df.min()に関しても10000以上の値が抜き出されてしまいます。原因、解決方法を教えていただけると助かります。
1
票
1
回答
163
閲覧数
データフレームの拡張と補間
年月日時 気温(℃) 降水量(mm) 風速(m/s) 日射量(MJ/㎡)
2017-01-01 00:00:00 5.8 0.0 1.5 0.0
2017-01-01 01:00:00 4.9 0.0 0.8 0.0
2017-01-01 02:00:00 4.9 0.0 1.5 0.0
2017-01-01 03:00:00 4.2 0.0 0.8 0.0
...
1
票
2
回答
1万
閲覧数
pythonでpandasをインポートできない
Pythonの超初心者です。お力添えのほど何卒お願いいたします。
Pythonでcsvを読み込んで加工や分析みたいなことをしたいと思い、Python3.6とpycharmを入れました。
csv読み込みにはpandasだと記事で読んだので、まずpandasを入れてインポートしようとしたのですができず・・・具体的には以下の通りです。
ターミナルで pip show pandas と入れたら、...
1
票
1
回答
963
閲覧数
python pandas 2つのcsvの共通の列の値を使って結合したい
以下のような2つのデータフレームがあり、new_dfのようにしたいです。
idはインデックスではありません。
[df1]
id,value
1,A
2,B
3,NaN
4,NaN
105,A
...
[df2]
value,param1,param2
A,df2-1,Value-1
B,Df2-2,VAlue-2
C,dF2-3,valUE-3
D,DF2-4,valuE-4
...
[...
1
票
1
回答
2,355
閲覧数
Python, Pandasを用いたスクレイピングでno tables foundのエラーが出てしまう。
下記のサイトからテーブルデータをPandasでスクレイピングしようとしています。
No tables foundのエラーが出てしまいます。
Google Chromeでの要素の検証ではちゃんとテーブルの要素が表示されているのですが、ページのソースを表示するとテーブルらしいソースが見当たりません。
このテーブルのソースが別のところにあるとは思うのですが、ソースのリンクからはたどり着けませんでした。...
1
票
1
回答
251
閲覧数
データフレームの一部の列において他のデータフレームの要素と一致するものを特定の番号に置き換える
以下のデータフレームの一部の列において他のデータフレームの要素と一致するものを特定の番号に置き換える方法を教えていただけないでしょうか。
import pandas as pd
import numpy as np
names = "A", "B", "C", "D"
df1 = pd.DataFrame({'Name' : names,
'Test1' :...
1
票
1
回答
5,014
閲覧数
AttributeError: module 'pandas' has no attribute 'read_csv' の対処方法
以下のようなエラーが出てしまいます。
Traceback (most recent call last):
File " ", line 7, in <module>
df = pd.read_csv(u'日経平均_2014.csv', encoding='shift-jis')
AttributeError: module 'pandas' has no ...
1
票
2
回答
2,587
閲覧数
データフレームの1変数を、分割し、別の変数として保存するには?
今、下記の表のように、xとyの変数からなるデータフレーム(data)があります。
変数xが"/"で区切られておりますが、これらを別の4つの変数、例えば
A, B, C,Dに分割したいと考えています。
index x y
1 52/26/3/8 34
2 52/26/9/10 28
3 110/55/4/9 50
dataから xを取り出し、...
1
票
2
回答
2,522
閲覧数
pythonのPandasデータフレームから、所定の辞書型に変換する方法を教えてください。
pythonのPandasデータフレームで、以下のようなデータがあります。
これを、以下のように変換する方法を知りたいです。
x={'item1':1,'item2':1,'item4':1}
y={'item1':1,'item3':1}
ちなみに、これで実行すれば「0」の値も含まれてしまい、惜しいわけです。
In:dict(df.ix['x'])
Out:{'item1': 1, '...
1
票
1
回答
86
閲覧数
Pandas の DataFrame にビットを振りたい
以下に示すようなDataFrameとlistがあります。
DataFrameのうち、listに含まれる要素と一致する行に対してビットを振りたいです。
例えば以下のようにするとビットを振ることができますが、for文を使うのでは処理が遅すぎます。
同様の処理をより高速に実装するにはどうすればよいでしょうか。
試したコード:
for i, j in lst:
df.loc[(df["...
1
票
2
回答
86
閲覧数
マルチインデックスなデータフレームから、ループなしで、行を抽出する方法
以下のような、マルチインデックスなデータフレーム(価格データ)と、
期間が含まれるデータフレーム(対象期間データ)から作成したスライスを利用して、
対象の期間の行を抽出したいです。
ループを利用すれば何とか出来たのですが、
(パフォーマンス向上のために、)ループやapplyなしで、
記述することはできますでしょうか?
import io
import pandas as pd
...
1
票
1
回答
69
閲覧数
DateTimeIndexの日時の加算
DateTimeIndexのすべての日付をずらす(加減算)したいのですが、
どのようにすればよいでしょうか?
例えば、以下の場合でしたら、df1から10日後の、df2を作成することは可能でしょうか?
import pandas as pd
df1 = pd.DataFrame(data={
'Value':[ 100, 200, 300 ]
},
index=[
...
1
票
1
回答
241
閲覧数
時系列データのパターンマッチングについて
時系列データのパターンマッチングについて
ある時系列データ(a)に、あらかじめ指定したパターンデータ(b)と似た形が、
どの時期にどの程度含まれているか、相関関係を求めたいのですが、
どのようなアプローチがよいでしょうか?(以下の方法は適切でしょうか?)
◇想定しているデータ
(a)時系列データ
時系列データは、音声データ、株価データなどを想定しています。
インデックスはpd....
1
票
2
回答
186
閲覧数
pandasでうまくデータを追加できません。
pandasで、データを追加したいのですが、どうすればいいのかが分かりません。
appendで出来るのかと思ったのですが、コラムで指定したデータに入れたいデータが入りません。
0がラベル名になって、pandasで縦にデータが並んでしまいます。
私は、columnsで指定したラベル名にリストを入れたいのです。
listの順番と、コラムの指定の順番は同じになっています。
data_set_list = ...
1
票
1
回答
192
閲覧数
辞書型のデータをdfに変換したいと考えている。
やりたいこと
とあるサイトをスクレイピングしました。
データは取得しましたが、下記のコードのようにnicknameやidなどは通信状況を調べ、
json形式で取得しましたが、twitterURLはseleniumで取得しました。
そのため、片方はデータフレームであり、もう片方は辞書型となっております。
そこで辞書形式のデータのほうをデータフレームに変換した後、二つのデータをまとめたいと
...
1
票
4
回答
511
閲覧数
二つの DataFrame から条件に一致する重複データのみを抽出したい
下記のようにAとBのデータがあり、ひとつ前の要素と比較して、AもBも重複していたら、その要素のみを抽出したいと考えております。
この場合、A列の「A4」が抽出の対象となります。
下記のように for 文を使って記述してみましたが、重複のみを抽出することがうまくできませんでした。
ご教示いただけますと幸いです。
よろしくお願いいたします。
df1 = pd.DataFrame({'A': ['A0'...
1
票
1
回答
153
閲覧数
Python DataFrameを使ってデータを置換する方法について
Python3で pandas.DataFrame.fillna を使ってExcelファイルの行と列を入れ替えた後に Replace を使ってデータを置換したいです。
実現したい内容が上手くいかないので質問させて頂きます。
ご指導をお願いできますでしょうか。
Excel Data
No
国
都市
ディズニーランド有/無
1
アメリカ
カリフォルニア
有
フロリダ
有
2
フランス
...
1
票
1
回答
201
閲覧数
Python データ前処理 文字列データの切り出しや抽出に関して
Pythonデータ前処理に関して質問させていただきたきます。
求人内容のデータ分析をしており、添付1枚目のDataFrameにてまずは前処理段階で
添付2枚目の['position']列の文字列データを確認したところ構成が求人名(詳細内容や勤務地)などまとまってしまっているデータが多数あり、取り急ぎやりたいこととしては
求人名と()の内容を分割して()の内容は一旦別の列として抽出する作業なのですが、...
1
票
1
回答
340
閲覧数
ネストされた辞書のリストからデータフレームを作成するには?
下記のようなネストされた辞書のリストから最終的にデータフレームを作成したいと考えています。
辞書がネストされているため、このままpandasで df = pd.DataFrame(sample) としてデータフレームを作成しても列が'Tdnet'のデータフレームが作成されてしまいます。
目標としてcolumnsが'id', 'pubdate', 'company_code'......
1
票
1
回答
116
閲覧数
group_by 後に count した時、必要なカラムのみ表示したい
下記のように、seabornでデフォルトで読み込める tips のデータで試してみました。
total_billやtipとそれに続くカラムは全て同じカウントの数を出しているだけなので不要です。
countというカラムだけあればいいと思うのですが、どのようにすれば実現できますか?
試したコード:
import pandas as pd
import pandas_profiling as pdp
...
1
票
1
回答
2,484
閲覧数
pandasでグループごとの箱ひげ図を作る方法
pandasにて、下のようなデータを写真のような箱ひげ図で表すにはどうすればよいですか?
import numpy as np
import pandas as pd
df = pd.DataFrame({
'group':np.random.choice(['A','B','C'], 10),
'test1':np.random.randint(1, 100, 10),
...
1
票
1
回答
1,206
閲覧数
pandasの読み込みでエラー
csvファイルを読み込むためにpandasを使いたいのですが、エラーが発生します。
ソースコード(エラーと関係なさそうな部分は省略しています)
import numpy as np
import cv2
import math
import os
import csv
import pandas as pd
def main():
width = 320
height = ...
1
票
1
回答
255
閲覧数
pandasの重複したデータの更新
pandasで.jsonファイルを読み取り、データの更新をして保存するコードを書いています。
以下のような二つのデータフレームがあり、連結し、
重複したデータが出ないように果物と店の列を重複したものを
df.drop_duplicates(subset=['fruit', 'store'])で削除しています。
df1 = pd.DataFrame({'fruit':['apple', '...
1
票
1
回答
1,064
閲覧数
特定の文字列を含むかを判定する関数の定義
下記のURLを格納したデータフレームに対し、特定の文字列に【完全一致する場合】【部分一致する場合】【NULLの場合】【それ以外】かを判定して、フラグを作成したいと考えています。元のデータフレームは、下記の通りです。
df = pd.DataFrame({'full_url': ['https://www.ABCDec.jp/shop/default.aspx', 'https://www....
1
票
1
回答
1,609
閲覧数
特定の文字列を含む行にフラグを立てる関数を作成したい
下記のデータフレームに対し、
> df = pd.DataFrame({'pref': ['東京都', '神奈川県', '北海道', '埼玉県', '千葉県', '静岡県',
> '長野県'],
> 'city' : ['渋谷区', '横浜市', '函館市', '浦和市', '浦安市' , '浜松市', '岡谷市']})
"...
1
票
1
回答
785
閲覧数
pd.read_sql()ですべて文字列で読むことは可能か
Pythonで
import pandas as pd
import pandas.io.sql as psql
のもと、pd.read_sql()でdtype=objectの実行(もしくはそれに類する操作)は可能でしょうか。
マニュアル的なページを見たのですが、特に記述がありませんでした。
これはそういう機能は存在しないということでよろしいでしょうか。
1
票
2
回答
428
閲覧数
Pandasデータフレームで特定行を削除する方法
(購買データの前処理に関するご質問です)
同「id」「購入日」「店舗」「商品」「売上タイプ」ごとに連番を振った、下記データフレームがあるのですが、
df = pd.DataFrame({'id': ['111', '111', '111', '111', '111', '222', '222', '222', '333', '333', '333', '333', '333'],
...
1
票
1
回答
120
閲覧数
データフレームの転置方法
Pandasのデータフレームで、軸を指定して転置する方法がありましたらご教示いただけませんでしょうか?
具体的には、下記データフレーム(「ID」「year」別に「金額」「個数」を集計したもの)を、
df = pd.DataFrame({'id': ['A', 'A', 'A', 'B', 'B', 'B', 'C', 'C', 'C'],
'year': ['...
1
票
1
回答
4,383
閲覧数
Pandasでグループごとに連番を付与する方法
Pandasのdataframeで、複数列の組み合わせ別に連番を付与する方法を教えていただきたいです。
具体的には、「ID」「日付」「店」の組み合わせごとの連番を、「カウント」という列を作成してそこに入れたいです。
「ID」「日付」「店」があったとして、連番を格納する「カウント」の値は、以下のイメージです。
df = pd.DataFrame({'ID': [1,1,2,2,2,3,3,3,3,...
1
票
2
回答
1,333
閲覧数
pandasで、複数列に対応するヘッダをCSVで出力したいです。
実行環境
pandas 0.25.3
Python 3.7.4
やりたいこと
pandasのDataFramdeを使って、下図のような表をCSVとして出力したいです。
試したこと
以下のPythonコードを実行しました。
dict_table = {("user1", "plan"): [1, 11],
("user1", "work"): [2, 12],
...
1
票
1
回答
908
閲覧数
pandasの dataframeに列を追加し、リストの要素をセットする方法を教えてください
以下のソースのようにpandasでdataframeを作りました。
一番下の行のコードで、「C列を追加し1行目にリストをセット」したいです。
しかし、エラーが出ます。
理由が分かりませんでした。
どうすれば回避できるでしょうか?
下から2行目のコードで「A列1行目にリストをセット」は出来たのですが。。。
import pandas as pd
df2 = pd.DataFrame(columns=...
1
票
1
回答
616
閲覧数
Python3で各サンプルごとに相関係数を算出する方法
前提条件・実装したい事
Pythonを使用して、既存のDataFrame(下記の「加工前のデータセット(df)」)を基に相関係数
を排出したいと思っています。
具体的なデータセットのイメージとしては、下記の「加工後のデータセット」の様な感じです。
加工前のデータセット(df)
|Weight(g)|Long axis|Short axis|Grain thickness|Sumple_vert|...