[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
353
質問
0
票
1
回答
2,456
閲覧数
データフレーム:共通する要素のみ取り出す
df1 = pd.DataFrame({'Text1' : ["Jack","Mary","Marco","Iabel"],
'Text2' : ["Male","Female",25,"Female"],
'Text3' : ["USA","Canada","Italy",175],
'Text4' :...
0
票
1
回答
3,819
閲覧数
pythonで2つのcsvファイルを比較し重複している値を抽出する
2つのcsvファイルを比較して、両ファイル内に重複している内容で抽出する方法を考えており
適切なコードがわからず、御教授願います。
(py勉強中のため、web・本等のプログラム内容を無理やりな方法で作成しております。不備はご容赦下さい)
データーの読み込み・データーフレーム迄の形はできたのですが
これより先の、データフレームを使用してデータの抽出プログラム方法がわからず御教授お願い致します。
(...
0
票
1
回答
3,139
閲覧数
二つのデータフレームの比較
以下のような二つのデータフレームdf1,df2があり、df2はdf1の要素を内容である程度整理したものです。df1にはあってdf2には含まれていない要素で新たな列を作り付け加えたいです。
import pandas as pd
df1 = pd.DataFrame([["Jack","Male","USA",20,"mucsician","rock","movie"],
...
0
票
1
回答
1,834
閲覧数
データフレーム:特定の複数の文字で列を分割したい
df1 = pd.DataFrame([[" A: a; aa; aaa; aaaa;aaaaa: Aa"],
[" B: b;bb; bbb; bbbb;bbbbb:Bb"],
["C: c; cc; ccc;cccc; ccccc: Cc"],
["D: d; dd; ddd; dddd;ddddd:Dd"]])
このデータフレームを出力してみると、
...
1
票
1
回答
200
閲覧数
データフレームの中の大文字で書かれた要素のみ抽出する
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'Information1' : [19, 'Shopping','HANA', 'Canada'],
'Information2' : ['books', 24, 'games', 'MARY'],
'...
1
票
1
回答
250
閲覧数
データフレームの一部の列において他のデータフレームの要素と一致するものを特定の番号に置き換える
以下のデータフレームの一部の列において他のデータフレームの要素と一致するものを特定の番号に置き換える方法を教えていただけないでしょうか。
import pandas as pd
import numpy as np
names = "A", "B", "C", "D"
df1 = pd.DataFrame({'Name' : names,
'Test1' :...
0
票
1
回答
1,373
閲覧数
データフレームで辞書のkeyと一致した要素のみそのvalueを出す
以前質問に答えていただき、リストの要素が辞書のkeyと一致したときにそのvalueを出す関数を以下のように作れました。これをデータフレームでおこなうにはどうすればいいでしょうか?どうしてもvalueを出せません。どうか教えていただけないでしょうか。
import pandas as pd
import numpy as np
fruitnames = ["Apple", "Grape","...
0
票
1
回答
2,983
閲覧数
データフレームで特定の文字を含む要素を削除する
Pythonで、データフレーム中のある特定の文字を含む要素だけを消すことはできるのでしょうか。
以下では適当なデータフレームdfを作り、df3を「A」という文字が入る要素だけ取り除いたものにしようとしましたがErrorがでてしまいました。df4は「A」だけでなく「a」や「tu」も対象にしています。また、数字が入る要素は全て消したかったのですが方法がわからず、これに関しても教えていただきたいです。...
0
票
1
回答
701
閲覧数
Pandasを用いてデータクリーニングがうまく行きません。
csvを読み込んだあとにpandasを用いて、指定カラム内のカンマ(,)を削除したいのですがうまく行きません。
以下のコードを実行しました。
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
df = pd.read_csv('csv/gaku-mg1712Ver2.csv', encoding='...
0
票
2
回答
3,651
閲覧数
CSVファイルデータのデータ型変換について: astype しても dtype が変わらない
下記のコードでコラムTOPIX dのデータをString型に変えようとしているのですが、
data.dtypesでデータ型を確認すると、オリジナルと変わらずobject型のままで表示されます。
どうしてでしょうか・・・・・
import pandas as pd
import numpy as np
df = pd.read_csv("forcasting topx.csv", header=...
0
票
2
回答
425
閲覧数
PythonのDataframe型 から Datetime型への変換について
質問です。python初心者で、よくわからないので、教えてください。
pandas のDataFrame内のstr型をdatetime型に一括変換し、月や日のデータを取得したいです。
DataFrame型→datetime型への変換はto_datetimeで変換できることは分かったのですが、そこから月・日のデータを抜き出す工程が分かりません。
また、...
2
票
1
回答
3,315
閲覧数
Pandasのapplyメソッドを使って列の文字列に対してMeCabで形態素解析をしたい。
英語版で質問しましたが回答が得られそうにないので、こちらで質問させていただきます。
https://stackoverflow.com/questions/48286364/pandas-series-apply-doesnt-work-consist-of-strings/48292467?noredirect=1#comment83570234_48292467
...
2
票
1
回答
2,809
閲覧数
Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたい。
Pandas.DataFrame.Plotで描写した折れ線グラフについて、x軸の途中から色を変えたいです。
以下で例えばx軸が3以上の場合に折れ線の色を赤色に変えるにはどうすれば良いでしょうか。
同様の質問が見つからず、ご教授下さい。
import pandas as pd
a = {'x-axis':[1,2,3,4,5], 'y-axis':[1,2,3,4,5]}
df = pd....
2
票
1
回答
919
閲覧数
PythonでCSVデータの整理
初めまして。初心者ですがよろしくお願いします。
図の左のようなCSVファイルを読み込んだとします。
A列は人を表し、B列のa,bは身長、体重を表しています(cは穴埋めなので気にしないでください)。
C列はB列に対応した数値になっています。
同じ人がa,bを不規則に測っている通り、いくつものデータを持っている場合、その人の中の最も新しい数値(ここでは行が下に行くほど新しいデータとなる)...
1
票
1
回答
859
閲覧数
pandasが学べる書籍を教えてほしいです。
連投失礼します。
pandasが学べる書籍を教えてほしいです。
「pythonではじめるデータラングリング」でpandasを取り扱うものと思ってかったら触れられてもいませんでした。
やりたいこと
実はわたしはとりくみたい問題というのはありません。pandasはcsvモジュールやxlsxモジュールよりも高機能そうだから便利なのかもしれないと思っただけです。...
-1
票
1
回答
1,288
閲覧数
Pythonでforループを使ってDataFrameを作成すると、異なる変数が全て同じ結果になる。
Pythonとpandasの以下のプログラムに関する質問です。
以下の6つの変数は異なる期間とデータを持つ、index が datetimeindex の Series です。
1~3の違いは期間が異なり、aとbはデータが異なります。
season_a1
season_b1
season_a2
season_b2
season_a3
season_b3
from pandas ...
2
票
1
回答
2,337
閲覧数
複数列を条件に新たな列を追加したい
python初心者です。pandasで以下のことをやりたいです。
|A|B|C|
|OK|OK|OK|
|-|OK|NG|
|OK|NG|OK|
といったデータフレームがあった場合
A,B,C列がすべてOKだったら、新規に追加したnew列にOK
それ以外はNGとしたい。
|A|B|C|new|
|OK|OK|OK|OK|
|-|OK|NG|NG|
|OK|NG|OK|NG|
...
1
票
1
回答
773
閲覧数
pandasの散布図行列の重複した半分を消したい
pandasのpd.scatter_matrixで作成できる散布図行列の重複した半分を消したいのですが,どうすればよいでしょうか?
コードは以下です.
import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
data = pd.read_csv("dataframe....
0
票
1
回答
270
閲覧数
seabornのdistplotで表示したグラフ上のピンの位置が知りたい
seabornのdistplotで表示したグラフについて,
個々のビンの位置と高さが知りたいのですが方法はないでしょうか?
0
票
1
回答
866
閲覧数
Pandas DataFrameの3次元配列を2次元配列にしたい
tmp_datというDataFrameは3次元構造となっており、IndexにDate,Codeが指定されており、nm_retという要素が入っています。
イメージとしては、
Date Code nm_ret
日時 銘柄コード 月次リターン
となっています。
ここから、nm_retという行を消し、DateとCodeだけの配列へと変換したいのですが、...
0
票
3
回答
246
閲覧数
pandasの行とインデックスの切替
pandasのDataFrameに関する質問です.
インデックスに指定した行を代入するような操作は可能なのでしょうか?
e.g.)
index A B
1 1.0 2.0
2 3.0 4.0
⇒2行目を代入する操作
index 3.0 4.0
1 1.0 2.0
1
票
1
回答
2万
閲覧数
特定の条件を満たす行のみを削除するには?
特定の条件を満たす行のみを選択して、データセット全体から削除したいと考えています。
pandasのdataframeにdfというデータがあります。
この中から、「同意しません」とある行全体をデータから削除したいと考えています。
現在のところ、
不同意のサンプルをselection1というグループにして、
dfから、該当する行全体、データから削除しようとしているのですが、この部分がうまく行きません。...
0
票
1
回答
369
閲覧数
連続変数からのダミー変数作成
連続的な変数から、0-1のダミー変数を作成する場合を考えています。
今、マンションの階数を示す変数がkaiに入っています。
この変数から、1階の場合には、1、それ以外は0とするダミー変数 floor_1 を作成したい
と考えています。
現在は、for文とif文の組合わせで作成しているのですが、
うまくできたり、できなかったりします。
下記の場合ですと、エラーが出ています。
...
0
票
1
回答
1,214
閲覧数
Pandas 文字列の置換
次のような、部屋の階数を示すデータがあります。
['2', 'B1', '23-49', 'M2']
B1は地下一階を、23-49は、23階を、M2は不明なので、欠損値にしたいと考えています。
[2, -1, 23, NaN]
しかし、現在は、全てNanになってしまいます。
文字列の置換方法の理解が足りないためと思いますが、
ご教示下さいますとありがたいです。
よろしくお願いします。
...
2
票
2
回答
8,049
閲覧数
matplotlibでCSVから3Dサーフェスグラフを作りたい
pandasでcsvファイルを読み込んで3Dのサーフェスのグラフを作りたいのですが、x,y,z成分に当たる要素をcsvファイルからどう割り当てればいいかわかりません。
csvファイルは、
NAN 10,20,30,40,50,60,70,80,90
1 x x x x x x x x x
2 x x x x x x x x x
3 x x x x ...
0
票
1
回答
135
閲覧数
pandasで1変数の情報を用いて2変数を作成したい
dfにおけるxには、目的地までの来るまでの車での移動時間、または徒歩分数が混在しています。
index 2には、徒歩分数が入っています。
車での移動時間が入っている箇所では、「車x(ykm)」という形式になっています。
xから、車での移動時間を示すcar_timeと徒歩分数walk_timeの二つの変数を作成したいです。
現在は次のような状況ですが、walk_timeの、index=1, ...
0
票
1
回答
2,403
閲覧数
dataframeに含まれる、文字列中の数字を取り出したい
dfにおけるxには、目的地までの来るまでの移動時間、または徒歩分数が混在しています。
index 2には、徒歩分数が入っています。
車での移動時間が入っている箇所では、「車x(ykm)」という形式になっています。
車の時間のみを取り出し、次のような列に「car_time」という変数名を付けて、dfに追加したいです。
['5','0','27']
現在は以下のような状況です。
import ...
1
票
1
回答
4,603
閲覧数
pandasでcsv出力をしようとするとエラーになってしまう
pandasでcsv出力をしようとするとエラーになってしまいます。
csv_up.py
# -*- coding: utf-8 -*-
import pandas as pd
import csv
def make_csv_for_recipt(data_for_recipt):
df = pd.DataFrame([
["0001", "John", "Engineer"...
0
票
2
回答
525
閲覧数
連続しないDataFrameの要素を更新する方法は?
以下のコードを実行すると前者は元のDataFrameを更新しますが、後者は更新されません。連続しないDataFrameの各要素を編集しやすい形に格納しなおして操作しようと思うのですが、良い方法はありますでしょうか?
import pandas as pd
df = pd.DataFrame( {'tag': ['A','B','A','B'], 'val': [1,2,3,4] }, ...
1
票
1
回答
4,946
閲覧数
AttributeError: module 'pandas' has no attribute 'read_csv' の対処方法
以下のようなエラーが出てしまいます。
Traceback (most recent call last):
File " ", line 7, in <module>
df = pd.read_csv(u'日経平均_2014.csv', encoding='shift-jis')
AttributeError: module 'pandas' has no ...
0
票
1
回答
615
閲覧数
列データから正規表現で取り出したデータを、新しい列に書き込むには?
次のようなデータフレームdfで、
a
1 abc def
2 123 567
3 qqq eee
a列のデータに正規表現で取り出したデータを、あらたな列に加える
a b
1 abc def def
2 123 567 567
3 qqq eee eee
には、どうすればいいですか?
df['b'...
1
票
2
回答
1,159
閲覧数
pandasでcsvをまとめて取り込みたい
初歩的な質問ですみません.
1 o_000.csv, 1o_001.csv .....とcsvのファイルを一気に取り込みそれぞれを
data0,data1,data2,......にしたいです.
while(i<100):
data+str(i)=pd.read_csv('1 o_0'+str(i)+'.csv')
i+=1
data+str(i)...
1
票
1
回答
2万
閲覧数
CSVをPandasで扱う際のスペース区切りの問題
初心者です.
csvファイルをインポートしたいと考えています.
データセットは以下の通りです(簡略化しています).
0 0 0 0
0 12 12 12
0 123 123 123
data=pd.read_csv( '○○.csv',sep=' ')
上記のようにインポートすると
0 NaN NaN NaN 0 NaN NaN NaN 0 NaN NaN ...
1
票
2
回答
1,907
閲覧数
python SQLAlchemy & pandas read_sql_query 日本語の処理について
初めまして、こんにちは
sqlaichemyとpandas.read_sql_queryにてmysqlのlike機能で
日本語のキーワードを選択したいですが、どうやって動けますか?
英語のキーワードを下記のように選択すると、動けるんですが
statement = "SELECT * FROM orderitem WHERE item_description like '%example%'"
...
0
票
1
回答
188
閲覧数
pandas dataframeの扱いについて
次のようなdataframeがあるとします.
名前 年齢
あ NaN
あ 20
い 30
このdataframeに対して,「名前に「あ」を含み年齢がNaNの行の年齢に10を代入する」という処理がしたいです.
for i, row in df.iterrows():
if 'あ' in row["名前"]:
if row["年齢"]!=row["年齢"]:
...
1
票
2
回答
485
閲覧数
pandasで4次元配列を管理したい.
タイトルどおりです.
L次元のベクトルxがi,j,kをパラメータにして生成させるとき,
列にXベクトルの成分をならべ,インデックスをi,j,kの組み合わせで表示したいです.
以下のような生成過程のデータをうまく管理したいです.
for i range (I)
for j range (J)
for k range (K)
for l range (L)
x[i,j,k,l]...
-1
票
1
回答
252
閲覧数
週次データを日次に格納する方法
df1は、indexが2015-01-04,2015-01-05,2015-01-06のように日次で入っています。
df2は、indexが2015-01-04,2015-01-11,2015-01-18のように週次で入っています。
df2のindexをdf1に揃え、df2の2015-01-04と同じ値が2015-01-04,01-05,01-06,01-07、、の一週間に入るようにするには、...
0
票
1
回答
131
閲覧数
Groupbyの使用法
Groupbyを用いて、ある変数が最大の時の別の変数の値を取ってきたいのですが、どのように表記すれば良いでしょうか。
例えば、http://ailaby.com/groupby_easy/
にある「max を適用すると」の箇所で、値引きが最大の時の価格データ(150000,70000)を取ってきたいのですが、どのような関数の表現になるか教えて頂けますでしょうか。
0
票
1
回答
1,138
閲覧数
Pandasでquery実行の際に name 'yr' is not definedというエラー
以下のコードのようなyr(年)に関するloopを回して、クエリから一部データを抽出し、加工したいのですが、 name 'yr' is not defined というエラーが出て実行してくれません。
クエリの中で変数を使うときには、下のような表記ではいけないのでしょうか?
正しい表記法を教えて頂けますと幸いです。
for yr in range(2004,2010):
TF=TS....
0
票
1
回答
3,661
閲覧数
pandasのデータフレームから積み上げ棒グラフを作りたい
pandasのデータフレームから積み上げ棒グラフを作りたいです。
classごとにグルーピングして、
x軸にclass1 , class2 , class3 を配置して
y軸にlabel を配置したいです。
その時、y軸のlabelには 0 と 1がありますのでそれぞれの件数を積み上げ棒グラフで分けたいです。
色も分けたいです。
どのようなコードを書けばよろしいでしょうか?
...
0
票
2
回答
2,361
閲覧数
dataframeから辞書型への変換について
dataframeのデータを辞書型に格納したいのですが、良い方法を教えてください。
画像のようなdataframeから下記のような辞書データを作りたいです。
movie_dict = {
'UserId(1)':{
'MovieId(68646)': 10,
'MovieId(...
0
票
1
回答
1,583
閲覧数
Pandasを使った計算の実行時間短縮のためにはどうすればいいでしょうか?
Pandasで以下のコードような計算をすると、1時間程度かかってしまいます。
df1を使ってdf2の各項目のデータを計算しています。
一般にfor文を使うと時間がとてもかかると聞きましたが、では以下のコードをどう改善すれば実行時間をみじかくできるでしょうか?
df1の行数が50万であり、以下のコードではfor文で1行ずつ参照しています。
df1 = pd.DataFrame(***)
df2 =...
0
票
1
回答
1,835
閲覧数
dataframeの各セルのlistを分解して新たな変数にするには?
次のような各セルにリストが入ったdataframeがあります。
import pandas as pd
df = pd.DataFrame(
{'x': [['都営三田線/水道橋駅 歩4分', 'JR中央線/水道橋駅 歩3分'], ['東京メトロ東西線/飯田橋駅 歩5分', '東京メトロ東西線/九段下駅 歩7分', 'JR中央線/水道橋駅 歩8分'], ['JR山手線/神田駅 歩6分']]...
1
票
2
回答
2,578
閲覧数
データフレームの1変数を、分割し、別の変数として保存するには?
今、下記の表のように、xとyの変数からなるデータフレーム(data)があります。
変数xが"/"で区切られておりますが、これらを別の4つの変数、例えば
A, B, C,Dに分割したいと考えています。
index x y
1 52/26/3/8 34
2 52/26/9/10 28
3 110/55/4/9 50
dataから xを取り出し、...
3
票
1
回答
1万
閲覧数
anacondaでpandasを使うモジュールをpyinstallerでexe化出来ない
pandasを使ったモジュールをexe化しようとしても上手く行かずに困っています。
Traceback (most recent call last):
File "site-packages\PyInstaller\loader\rthooks\pyi_rth_pkgres.py", line 11, in <module>
File "c:\users\Username\...
0
票
1
回答
634
閲覧数
Pythonでfortran形式のデータを読み込む方法
pythonでデータを読み込みこむ方法について質問します。
読み込むデータは、下記のようなfortran 80カラムのフォーマットで10f8.3の形式です。
0.010 0.010 0.031 0.024 0.027 -0.030 -0.026 0.020 -0.119 -0.154
-0.015 -0.081 -0.045 -0.016 -0....
1
票
2
回答
2,517
閲覧数
pythonのPandasデータフレームから、所定の辞書型に変換する方法を教えてください。
pythonのPandasデータフレームで、以下のようなデータがあります。
これを、以下のように変換する方法を知りたいです。
x={'item1':1,'item2':1,'item4':1}
y={'item1':1,'item3':1}
ちなみに、これで実行すれば「0」の値も含まれてしまい、惜しいわけです。
In:dict(df.ix['x'])
Out:{'item1': 1, '...
4
票
3
回答
5,767
閲覧数
pythonのPandasで、縦持ちのデータを横持ちにするよい方法を教えてください。
python初心者です。
いろいろ調べながら進めているのですが、どうしてもすっきりしないので、どなたか教えていただけませんでしょうか?
◆Pandasのデータフレームで、縦持ちのデータを横持ちに変換する方法です。
以下のような縦持ちのデータがあるとします。(csvから読み込み)
ID number item
0 A 111 nn
1 A 123 mm
2 A 211 ...
3
票
1
回答
1,359
閲覧数
pandas 別のデータフレームにあるデータのみにフラグを付けたい
タイトルが分かりにくくて恐縮ですが、例えば以下の3個のデータフレームがあったとします。
・df_count
|日付|件数|
|2016-04-01|100|
|2016-04-02|1000|
|2016-04-03|300|
|2016-04-04|1500|
・df_CP1
|日付|キャンペーン名|
|2016-04-02|CP1|
・df_CP2
|日付|キャンペーン名|
|2016-...
2
票
1
回答
585
閲覧数
python pandas でのデータ処理について
こんにちは。python pandas 超初学者の文系の者です。色々と調べてはみたのですが、どうすれば良いか分からずに困り果てています。お力添えをお願いいたします。
あるエクセルデータを読み込み、以下のようなグラフの作成をしているのですが、x軸は範囲を限定し、さらに、y軸はデータが0から始まるように移動させたいのです。具体的に言うと、x軸は0.05から0,25まで、y軸は0から始まり、...