[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
413
質問
0
票
1
回答
300
閲覧数
pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処
KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。
>>> train.info()
<class 'pandas.core.frame.DataFrame'>
Index: 458913 entries, ...
0
票
2
回答
209
閲覧数
Pandasを使った行の比較方法について
やりたいこと
PythonでBook1とBook2のエクセルを比較します。
Book1には無い行を、Book2のヘッダーFlagとしてどの行がないかを記載したいです。
両方のエクセルのキーとなるものはtitleにしています。
Book1のエクセル
created_at,title,messageId,content
2022-06-16T06:43:17.488Z,日本,2332528852,雨
...
0
票
2
回答
200
閲覧数
pandas list型にするには
csvファイル(A_csv)
A B C D E F G H I J
1 1 2 3 4 5 6 7 8 9 10
をpandasを使いプログラム上に読み込み
リスト型
[1,2,3,4,5,6,7,8,9,10]
に変更したいのですが,
Empty DataFrame
Columns: [1 2 3 4 5 6 7 8 9 10]
Index: []
...
0
票
3
回答
7,234
閲覧数
インストールした外部ライブラリが import 出来ない
Pythonでcsvを読み込んで加工して分析みたいなことをしたいと思って、
Python3.7とpycharmをインストールしました。
csvの読み込みにはpandasだと記事で読んだので、まずpandasを入れてインポートしようとしたのですができず・・・具体的には以下です。
ターミナルでpip show pandasと実行したら、以下が出てきたのでインストールはできているんだと思います。
...
0
票
1
回答
1,147
閲覧数
object型の列をdatetime64型へ変換したい
markt_train_dfというデータフレームを扱っています。データ型は以下の通りとなっております。
今、一番上の”time"という列のデータ型をobjectからdatetime64[ns, UTC]に変更しなければならないのですが、どのようにすれば"time"のデータ型のみを変更したdataframeを取得できるでしょうか。
初歩的な質問で大変恐縮ですがご教授いただきましたら幸いです。
...
0
票
2
回答
4,030
閲覧数
pandas.dataframeからilocを用いて必要なデータだけを抜き出した際に表示されるワーニングについて教えてください。
pandasのデータフレーム(df2)から必要な行列だけを抜き出すために、下記のような操作をした際に表示されるワーニングについて。
df2 = df.iloc[0:3201,:]
#必要なデータだけ抜き出し
df2 = df2.astype(float)
#データ型変更:実数
df_index = df2.iloc[:,0]
df_alfa = df2.iloc[:,np.arange(1, ...
0
票
2
回答
2,534
閲覧数
Pandasの繰り返し文での代入について
私は現在Pandasのデータフレームにおきまして、全ての行を繰り返して値の変更を行おうとしています。(今回は値から%を取り除こうとしています。)
その際に、下記のような警告文が出てしまいます。また、この警告文が出ると処理に大きな時間がかかります。
下記の警告文のサイトへと移動し、dataframe._setitem_with_indexerを使用したのですが、...
0
票
2
回答
77
閲覧数
データフレームで1つの列の要素の一部に2をかけたい
以下のようなデータフレームあります
2列目の値を2倍にしたいですが、
インデックスと項目名はないので、
どのようなコードを書けば良いでしょうか?
ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
0
票
2
回答
146
閲覧数
最大値、最小値の時のidを求めたい。
〇実行環境
Windows 10
Python 3.X
pandas
こちらのリンクでの質問内容の続きになります。
pandasでの特定の条件下でのデータ取得ができない。
〇リンク先の質問
上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。
〇質問内容
...
0
票
3
回答
171
閲覧数
python pandasによるデータ処理について
色々と調べてみたはいいものの、書き方がつかめずどうしても固まってしまいます。お力添えをよろしくお願いいたします。
各染色体について父由来か母由来どちらの染色体を子孫に渡すかによってどんな能力のパターンがある得るかのシミュレーションです。
chr_effect.txtのようなデータファイルがあります。
animal、pnt、chr1...chr29の31列あり、...
0
票
2
回答
1,278
閲覧数
Pandasでgroupbyを使って重複した値を1行でまとめたい
やりたいこと
表1に 定刻[変更] のように同じ列を含む行が複数あった場合、表2のように1行にまとめたいです。
Pandasのgroupbyを使ってみましたが、実現したい結果と上手くいかないです。
コードでは何がいけないのか、もしくは他に簡単な方法がありましたら、教えていただけると嬉しいです。お手数ですが、よろしくお願い致します。
表1.csv
定刻[変更],出発地,経由地,航空会社,便名,機種,...
0
票
1
回答
435
閲覧数
pandasにてcsvを読み込んだときにカンマで区切られない
pandasにてcsvを読み込んだ時にカンマで区切ることができません。
図のように、columnが1と表示されてしまいます。
delimiterも試してみましたが、変化がありません。
何か足りない部分があるのでしょうか?
以下、追記--------------------
3行目と4行目を記載します。
行全体がダブルクォートで囲まれている様には見えないのですが。。
DATA No ...
0
票
2
回答
193
閲覧数
DataFrameで各行毎に処理をした結果を1つのリストにまとめる方法
DataFrameで各行毎に処理をした結果を1つのリストにまとめたいです。
下記のように書くことはできたのですが、可読性向上のために、myfunc内で関数外のリストに要素を追加しているのをやめて、別の方法で書くことはできないでしょうか?
apply以外の方法でも構わないのですが、iterrowsは使わずに書きたいです。
import pandas as pd
df = pd.DataFrame(
...
0
票
1
回答
789
閲覧数
DataFrameで条件に一致した文字から始まる列の値が条件に一致した文字以外であれば抽出する方法
DataFrameで「条件に一致した文字("input")から始まる列の値が条件に一致した文字("a")以外であれば抽出」したいです。
下記のように書くことはできたのですが、もう少し簡潔に書けないでしょうか?
import pandas as pd
df = pd.DataFrame(
[["Yamada", "a&...
0
票
2
回答
311
閲覧数
コラムの値を空白文字で区切り、別のコラムに分割したい
Pandasで以下のようなCSVファイルをDFとして読み込みました。
このDF内の、郵便番号と住所を別のコラムにしたいです。
下記のコードを試しました。
gyoumu_add_csv['split'] = gyoumu_add_csv['A'].str.split(' ')
gyoumu_add_csv['A1'] = gyoumu_add_csv['split'].str.get(0)
...
0
票
2
回答
172
閲覧数
プロットの横軸が詰まって読めない
試したコード
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
tips = sns.load_dataset('tips')
tips['total_bill'].plot.bar()
結果
下記のように行数を制限すると読めています。
tips['total_bill'][:10].plot....
0
票
2
回答
692
閲覧数
累積比率(線グラフ)を棒グラフに重ねる方法がわかりません
線グラフと棒グラフを個別に表示する方法はできました。
これらを同じグラフに描画する方法がわかりません。
環境:
Anaconda-Navigator
Jupyter Notebook 6.3.0
線グラフ:
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import seaborn as sns
df ...
0
票
3
回答
4,760
閲覧数
行ごとに列の数が異なる CSV から、特定の値を取り出したい
形が整っていないcsvから特定の値を取り出したい。(行と列を指定して)
以下のようなcsvがあり、pandasを用いてデータを取り出そうとするとエラーが当然出てきます。
実現したいことは、
4行3列の値を取り出す
17行3列の値を取り出す
のような操作をできるようにしたいのです。
対象のCSV:
SetupTitle, 0_NMOS_id-vg_vg-0.5-1_step2m_vd0....
0
票
2
回答
844
閲覧数
Pythonのdataframeで、各時刻ごとにデータをグループ化して相関を計算する方法
背景
時系列データの分析を行おうと思っております。
各時刻ごとにseriesを作ってcorrを出そうとしているのですが、NaNになってうまく参照できません。(おそらくデータフレームのインデックスが悪さをしているものと思われます)
row_dataは以下で指定したデータフレームです。
ドル円の価格データ、時刻(UTC)を格納してます。
row_data = pd.DataFrame()
...
0
票
2
回答
1,143
閲覧数
dataframe内の数値から文字列に変換する方法
file_name expression
0 test_0000.jpg 1
1 test_0001.jpg 0
2 test_0002.jpg 0
3 test_0003.jpg 0
4 test_0004.jpg 2
... ... ...
307 test_0307.jpg 1
308 test_0308.jpg 0
309 ...
0
票
2
回答
2,018
閲覧数
Pandasでif文に2つ以上の条件が入る変換
x1,..,y14
abc, ..., -
のようなデータフレームdfがあります。
x1 == 'abc' かつ y14 == '-' ならば y14 = '★'のような変換をしたいと考えております。
def henkan(x):
if x == abc:
return '★'
df.y14 = df.y14.apply(henkan)
...
0
票
2
回答
174
閲覧数
pythonで日付リストから、ある月の出現頻度を取得する方法
以下のような日付データがあります。
DatetimeIndex(['2019-06-05', '2019-06-14', '2019-06-24', '2019-07-03',
'2019-07-30', '2019-07-31', '2019-08-06', '2019-08-28',
'2019-09-03', '2019-09-26'...
0
票
1
回答
327
閲覧数
データフレームのnanとNoneの比較
PythonのPandasで、2つのデータフレームraw1, raw2があり、raw1のx1,x2とraw2のy1,y2を比べて違うもの(x1!=y1 or x2!=y2)のみを出力したいと考えていますが、片方は欠損値がnan, もう一方はNoneになっており、比較ができなくて困っています。
raw1 = raw1.where((pd.notnull(raw1)), None)
として、...
0
票
2
回答
307
閲覧数
Pandasで条件に当てはまる列だけ同じ変換をしたい
Pandasで条件に当てはまる列だけ同じ変換を施したく、以下のコードを書いていますが
can't assign to function callのSyntax Errorが出てしまいます。
df.str.contains("x") = df.str.contains("x").apply(lambda x: 1 if x == 1 else 0)
どう改良すればよろしいでしょうか?
...
0
票
1
回答
272
閲覧数
PythonでAPIで取得したJSONをデータフレーム化したい
PythonでAPIで取得したJSONをデータフレーム化したいと考えていますが、うまく行かないです。
import requests
import pandas as pd
url = 'https://newspicks.com/'
hb_count = 'http://api.b.st-hatena.com/entrylist/json?mode=rss&threshold=...
0
票
1
回答
4,660
閲覧数
pythonで複数のcsvファイルから特定の列を抽出して結合させたい
やりたいこと:
添付画像のようなcsvファイルが複数ある
各ファイルからプロファイル1の列のデータを抽出
列方向にデータを結合
csvファイルとして保存
import csv
import glob
import os
import pandas as pd
df_dir = './sample1'
df_file = '*.csv'
if __name__ == "__main__":
...
0
票
1
回答
7,872
閲覧数
pandas.plotで凡例の場所を変更したい
pandas.plotを用いて株価のグラフを作成したのですが、凡例が変な位置に来てしまいます。
matplotlibであれば下記のように、legend に対して loc を指定してやれば位置を調整できると思うのですが、pandas.plotだと出来ないのでしょうか?
(matplotlibのラッパーなので、難しいことをすれば出来るのでしょうか?)
matplotlibだと以下の書き方ができる
...
0
票
1
回答
983
閲覧数
pandas DataFrameから特定列の値が複数の候補のいずれかで抽出する方法
以下のようなpandas DataFrameがあります。
import pandas as pd
import numpy as np
df=pd.DataFrame(np.arange(30).reshape(10,3),columns=pd.Index(['one','two','three']))
twoカラムで数値が22の行を取得するには以下のようにしています。
df[df['two'...
0
票
2
回答
457
閲覧数
python3 isin関数を使用するが順番通りデータを抽出できない
以下のファイルがあります。
Df12元のファイル
url,url_category,todo
A,app,0
B,app,1
B,app,2
A,app,3
C,matome,4
.......
上記の形でtodoは1〜100くらいまで重複しないであり、他の項目は重複あります。
final_result =
[[9, 0, 1, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0,...
0
票
2
回答
215
閲覧数
pythonを使用して複数のcsvデータを操作
pythonを使用して2つのcsvファイルを一つにまとめたいと考えております。
【list1】
route_node,X,Y
50775,-7882.7599,-43837.4058
50774,-7886.58284,-43851.12686
50772,-7895.8552,-43835.9677
【list2】
id,x,y
57136,-10171.54496,-44468.08496
...
0
票
2
回答
1,620
閲覧数
Pythonでデータフレーム名に対して繰り返しの処理を行うには?
複数のデータフレームがあり、それぞれのデータフレームの大きさを知りたく、次のようなコードを書いています。
dfs =['df_a', 'df_b', 'df_c']
for df_name in dfs:
print(df_name)
df_name.shape
df_nameが、文字列であり、.shapeは使えないというエラーが出てきます(その通りなのですが)。
'str' ...
0
票
2
回答
4,746
閲覧数
データフレームの複数列を一つの列で割る
以下のようなデータフレーム
a1,a2,a3,b1
1,1,2,4
3,4,2,1
3,6,2,9
...
を考えます。
c1=a1/b1,c2=a2/b1,c3=a3/b1をそれぞれ計算してデータフレームの右につけようと考えています。
この場合は3変数なのでまだ手で書けますが、(Rの場合はmutate(c1=a1/b1,c2=a2/b1,c3=a3/b1)でしょうか。)...
0
票
2
回答
1,495
閲覧数
Pandasでのデータ処理を高速化したい
PandasのDataframeで、特定条件の数値を統一したいです。
例えばこのようなdfがあります。
id label
0 a 1
1 a 2
2 a 1
3 b 2
4 b 2
5 c 2
6 a 1
7 b 1
8 b 2
aとbは複数のラベルを持っているため、...
0
票
2
回答
364
閲覧数
shift()の使い方について
python初心者です。よろしくお願いします。
下記は正常に動くのですが、
df['ud_flag'] = df.apply(lambda x : 1 if x.p == 1 else(-1 if x.p == -1 else 0),axis=1)
udのフラグとして、1又は-1の値のみにしたい。
つまり、udが0値の部分を、前回の1、又は-1のままとしたいので、...
0
票
1
回答
1,148
閲覧数
pandas 特定の列すべてを計算して編集したいが、for分内でilocで値取り出すとstrになる現象
dataframeの2列目の値をすべて読み込み、計算した後編集するプログラムをpandasで作成しております。
その中で
TypeError: unsupported operand type(s) for -: 'str' and 'float'
と表示され、計算できなく困っております。
作成したdataframeのdf_rawの中身はこのような中身です。
[7801 rows x 2 ...
0
票
1
回答
101
閲覧数
pandasデータへ変換する方法を教えて下さい。
pythonのループの仕方を教えて下さい。
よろしくお願いします。
(参考)無向グラフと有向グラフ>無向グラフの隣接行列(adjacency matrix)
http://www.dais.is.tohoku.ac.jp/~shioura/teaching/ad11/ad11-09.pdf#page=5
import pandas as pd
# input : 線分a [0,1]
# ...
0
票
1
回答
6,510
閲覧数
Matplotlibで、たくさんの列データから必要な複数データを選択してを一つのグラフに一度に描画する賢い方法
たとえば、df.shape = (200, 1000)のpandasデータがあるとします。
下記のようなグラフを描写したいのです。
横軸:行(200)
縦軸:データの範囲
グラフ種類:折れ線
ライン数:1000
1000の列データ(各200行)を一度に指定してグラフにプロットする場合、
どのようにするとシンプルにできますか?
今までは、下記のように直接指定して描いておりましたが、
...
0
票
1
回答
2万
閲覧数
pythonでforループで自動でDataFrameの名前を変えたい
for i in range(10):
dfi=pd.DataFrame({ 'A','B'})
みたいにしたとき、dfiのiの部分が1,2,3,...と変わって結果的に
df1
df2
df3
.
.
df10
という名前のDataFrameが作成されるようなプログラムを組みたいのです。
超初心者で恐縮ですが、よろしくお願いします。
0
票
1
回答
3,170
閲覧数
二つのデータフレームの比較
以下のような二つのデータフレームdf1,df2があり、df2はdf1の要素を内容である程度整理したものです。df1にはあってdf2には含まれていない要素で新たな列を作り付け加えたいです。
import pandas as pd
df1 = pd.DataFrame([["Jack","Male","USA",20,"mucsician","rock","movie"],
...
0
票
1
回答
2,231
閲覧数
データフレーム:特定の複数の文字で列を分割したい
df1 = pd.DataFrame([[" A: a; aa; aaa; aaaa;aaaaa: Aa"],
[" B: b;bb; bbb; bbbb;bbbbb:Bb"],
["C: c; cc; ccc;cccc; ccccc: Cc"],
["D: d; dd; ddd; dddd;ddddd:Dd"]])
このデータフレームを出力してみると、
...
0
票
1
回答
293
閲覧数
seabornのdistplotで表示したグラフ上のピンの位置が知りたい
seabornのdistplotで表示したグラフについて,
個々のビンの位置と高さが知りたいのですが方法はないでしょうか?
0
票
2
回答
78
閲覧数
PandasのDataFrame.concatメソッドのsort引数の意味、効果は?
PandasのDataFrame.concatメソッドのsort引数にTrueを指定しても、(sort=Falseを指定しても)
実行結果に変化が見られないのですが、
どのような効果がるのでしょうか?
Pandasの公式ドキュメントは読んだのですが、理解できませんでした。
https://pandas.pydata.org/docs/reference/api/pandas.concat.html
...
0
票
1
回答
53
閲覧数
時系列の横結合(merge)の質問について
2つCSVファイルがあります:area1.csv area2.csv
時間列の項目名はないので、
時間を基準に横結合したいなら、どうやって修正したら良いでしょうか?
ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
df1 = pd.read_csv(area1.csv,index_col=0)
df2 = pd.read_csv(area2.csv,index_col=0)
...
0
票
1
回答
48
閲覧数
時系列の横結合の質問について
2つCSVファイルがあります:area1.csv area2.csv
時間列の項目名はないので、
時間を基準に横結合したいなら、どうやって修正したら良いでしょうか?
ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
df1 = pd.read_csv(area1.csv)
df2 = pd.read_csv(area2.csv)
df3 = pd.concat([df1, df2]...
0
票
1
回答
49
閲覧数
Excelデータで条件に合致しないデータを除外して取り込む方法
やりたいこと
エクセルファイルの特定シート(シート名前が決まっている)を読み込み、取り込むべきデータかを判断したいです。
例えば以下のような条件で不適合なデータを除く(適合するデータを抽出する)こと。
必須項目で空白はNG
Noは1以上
Modelは既定の文字列以外はNG
TypeがCのときにはoption文字列必須でなければNG
Excelファイルを取り込むのにpandasを利用しましたが、...
0
票
2
回答
98
閲覧数
dtypeをobjectからint64に変更する方法を教えてください
import numpy as np
import pandas as pd
df_maize = pd.read_csv("PSD online data maize.csv")
print(df_maize["Name"])
print(df_maize["Production"])
print(df_maize["...
0
票
1
回答
75
閲覧数
pandas グルーピング化を使用してデータ取得ができるかが知りたい。
〇実行環境
Windows 10
Python 3.X
pandas
こちらのリンクでの質問内容の続きになります。
pandasでの特定の条件下でのデータ取得ができない。
〇リンク先の質問
上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。
〇質問内容
...
0
票
1
回答
126
閲覧数
pandas .agg(['mean'])で正確な値を求めることができない。
〇実行環境
Windows 10
Python 3.X
pandas
こちらのリンクでの質問内容の続きになります。
pandasでの特定の条件下でのデータ取得ができない。
〇リンク先の質問
上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。
〇質問内容
...
0
票
1
回答
256
閲覧数
Pythonで特定の文字列を含むかをcontains()を使って判断する関数
Pythonでtrain['name']という文字列項目に対して、特定の文字列(例えば、"aaa")を含む場合は"1"、含まない場合は"0"となる項目(train['test'])を別で作りたいと思っています。その際、以下のような関数(kansu1やkansu2)を作り、apply関数でセットしようとしたのですが、...
0
票
1
回答
95
閲覧数
matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'
VSCodeで以下のプログラムを実行するとエラーメッセージが表示されグラフが表示されません。解決法がありましたら教えて下さい
エラー
例外が発生しました: TypeError unhashable type: 'numpy.ndarray'
コード:
import pandas as pd
df =pd.read_csv("csvファイルのパス")
df.head()
x = ...