[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
0
1 回答
300 閲覧数

pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処

KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。 >>> train.info() <class 'pandas.core.frame.DataFrame'> Index: 458913 entries, ...
onishichi's user avatar
0
2 回答
209 閲覧数

Pandasを使った行の比較方法について

やりたいこと PythonでBook1とBook2のエクセルを比較します。 Book1には無い行を、Book2のヘッダーFlagとしてどの行がないかを記載したいです。 両方のエクセルのキーとなるものはtitleにしています。 Book1のエクセル created_at,title,messageId,content 2022-06-16T06:43:17.488Z,日本,2332528852,雨 ...
幸589's user avatar
  • 435
0
2 回答
200 閲覧数

pandas list型にするには

csvファイル(A_csv) A B C D E F G H I J 1 1 2 3 4 5 6 7 8 9 10 をpandasを使いプログラム上に読み込み リスト型 [1,2,3,4,5,6,7,8,9,10] に変更したいのですが, Empty DataFrame Columns: [1 2 3 4 5 6 7 8 9 10] Index: [] ...
炎天下修羅's user avatar
0
3 回答
7,234 閲覧数

インストールした外部ライブラリが import 出来ない

Pythonでcsvを読み込んで加工して分析みたいなことをしたいと思って、 Python3.7とpycharmをインストールしました。 csvの読み込みにはpandasだと記事で読んだので、まずpandasを入れてインポートしようとしたのですができず・・・具体的には以下です。 ターミナルでpip show pandasと実行したら、以下が出てきたのでインストールはできているんだと思います。 ...
you's user avatar
  • 1
0
1 回答
1,147 閲覧数

object型の列をdatetime64型へ変換したい

markt_train_dfというデータフレームを扱っています。データ型は以下の通りとなっております。 今、一番上の”time"という列のデータ型をobjectからdatetime64[ns, UTC]に変更しなければならないのですが、どのようにすれば"time"のデータ型のみを変更したdataframeを取得できるでしょうか。 初歩的な質問で大変恐縮ですがご教授いただきましたら幸いです。 ...
glass's user avatar
  • 139
0
2 回答
4,030 閲覧数

pandas.dataframeからilocを用いて必要なデータだけを抜き出した際に表示されるワーニングについて教えてください。

pandasのデータフレーム(df2)から必要な行列だけを抜き出すために、下記のような操作をした際に表示されるワーニングについて。 df2 = df.iloc[0:3201,:] #必要なデータだけ抜き出し df2 = df2.astype(float) #データ型変更:実数 df_index = df2.iloc[:,0] df_alfa = df2.iloc[:,np.arange(1, ...
nsgui tarns's user avatar
0
2 回答
2,534 閲覧数

Pandasの繰り返し文での代入について

私は現在Pandasのデータフレームにおきまして、全ての行を繰り返して値の変更を行おうとしています。(今回は値から%を取り除こうとしています。) その際に、下記のような警告文が出てしまいます。また、この警告文が出ると処理に大きな時間がかかります。 下記の警告文のサイトへと移動し、dataframe._setitem_with_indexerを使用したのですが、...
Flow_engine's user avatar
0
2 回答
77 閲覧数

データフレームで1つの列の要素の一部に2をかけたい

以下のようなデータフレームあります 2列目の値を2倍にしたいですが、 インデックスと項目名はないので、 どのようなコードを書けば良いでしょうか? ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
Chen Stanley's user avatar
0
2 回答
146 閲覧数

最大値、最小値の時のidを求めたい。

〇実行環境 Windows 10 Python 3.X pandas こちらのリンクでの質問内容の続きになります。 pandasでの特定の条件下でのデータ取得ができない。 〇リンク先の質問 上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。 〇質問内容 ...
zumo1224's user avatar
  • 113
0
3 回答
171 閲覧数

python pandasによるデータ処理について

色々と調べてみたはいいものの、書き方がつかめずどうしても固まってしまいます。お力添えをよろしくお願いいたします。 各染色体について父由来か母由来どちらの染色体を子孫に渡すかによってどんな能力のパターンがある得るかのシミュレーションです。 chr_effect.txtのようなデータファイルがあります。 animal、pnt、chr1...chr29の31列あり、...
yui's user avatar
  • 15
0
2 回答
1,278 閲覧数

Pandasでgroupbyを使って重複した値を1行でまとめたい

やりたいこと 表1に 定刻[変更] のように同じ列を含む行が複数あった場合、表2のように1行にまとめたいです。 Pandasのgroupbyを使ってみましたが、実現したい結果と上手くいかないです。 コードでは何がいけないのか、もしくは他に簡単な方法がありましたら、教えていただけると嬉しいです。お手数ですが、よろしくお願い致します。 表1.csv 定刻[変更],出発地,経由地,航空会社,便名,機種,...
幸589's user avatar
  • 435
0
1 回答
435 閲覧数

pandasにてcsvを読み込んだときにカンマで区切られない

pandasにてcsvを読み込んだ時にカンマで区切ることができません。 図のように、columnが1と表示されてしまいます。 delimiterも試してみましたが、変化がありません。 何か足りない部分があるのでしょうか? 以下、追記-------------------- 3行目と4行目を記載します。 行全体がダブルクォートで囲まれている様には見えないのですが。。 DATA No ...
Robotman's user avatar
0
2 回答
193 閲覧数

DataFrameで各行毎に処理をした結果を1つのリストにまとめる方法

DataFrameで各行毎に処理をした結果を1つのリストにまとめたいです。 下記のように書くことはできたのですが、可読性向上のために、myfunc内で関数外のリストに要素を追加しているのをやめて、別の方法で書くことはできないでしょうか? apply以外の方法でも構わないのですが、iterrowsは使わずに書きたいです。 import pandas as pd df = pd.DataFrame( ...
shimmy0619's user avatar
0
1 回答
789 閲覧数

DataFrameで条件に一致した文字から始まる列の値が条件に一致した文字以外であれば抽出する方法

DataFrameで「条件に一致した文字("input")から始まる列の値が条件に一致した文字("a")以外であれば抽出」したいです。 下記のように書くことはできたのですが、もう少し簡潔に書けないでしょうか? import pandas as pd df = pd.DataFrame( [["Yamada", "a&...
shimmy0619's user avatar
0
2 回答
311 閲覧数

コラムの値を空白文字で区切り、別のコラムに分割したい

Pandasで以下のようなCSVファイルをDFとして読み込みました。 このDF内の、郵便番号と住所を別のコラムにしたいです。 下記のコードを試しました。 gyoumu_add_csv['split'] = gyoumu_add_csv['A'].str.split(' ') gyoumu_add_csv['A1'] = gyoumu_add_csv['split'].str.get(0) ...
Ichiro Nakajima's user avatar
0
2 回答
172 閲覧数

プロットの横軸が詰まって読めない

試したコード import pandas as pd import matplotlib.pyplot as plt import seaborn as sns tips = sns.load_dataset('tips') tips['total_bill'].plot.bar() 結果 下記のように行数を制限すると読めています。 tips['total_bill'][:10].plot....
shingo.nakanishi's user avatar
0
2 回答
692 閲覧数

累積比率(線グラフ)を棒グラフに重ねる方法がわかりません

線グラフと棒グラフを個別に表示する方法はできました。 これらを同じグラフに描画する方法がわかりません。 環境: Anaconda-Navigator Jupyter Notebook 6.3.0 線グラフ: import matplotlib.pyplot as plt import numpy as np import pandas as pd import seaborn as sns df ...
shingo.nakanishi's user avatar
0
3 回答
4,760 閲覧数

行ごとに列の数が異なる CSV から、特定の値を取り出したい

形が整っていないcsvから特定の値を取り出したい。(行と列を指定して) 以下のようなcsvがあり、pandasを用いてデータを取り出そうとするとエラーが当然出てきます。 実現したいことは、 4行3列の値を取り出す 17行3列の値を取り出す のような操作をできるようにしたいのです。 対象のCSV: SetupTitle, 0_NMOS_id-vg_vg-0.5-1_step2m_vd0....
18aaa's user avatar
  • 101
0
2 回答
844 閲覧数

Pythonのdataframeで、各時刻ごとにデータをグループ化して相関を計算する方法

背景 時系列データの分析を行おうと思っております。 各時刻ごとにseriesを作ってcorrを出そうとしているのですが、NaNになってうまく参照できません。(おそらくデータフレームのインデックスが悪さをしているものと思われます) row_dataは以下で指定したデータフレームです。 ドル円の価格データ、時刻(UTC)を格納してます。 row_data = pd.DataFrame() ...
Rich-4-coding's user avatar
0
2 回答
1,143 閲覧数

dataframe内の数値から文字列に変換する方法

file_name expression 0 test_0000.jpg 1 1 test_0001.jpg 0 2 test_0002.jpg 0 3 test_0003.jpg 0 4 test_0004.jpg 2 ... ... ... 307 test_0307.jpg 1 308 test_0308.jpg 0 309 ...
hideto.tsuzuki 's user avatar
0
2 回答
2,018 閲覧数

Pandasでif文に2つ以上の条件が入る変換

x1,..,y14 abc, ..., - のようなデータフレームdfがあります。 x1 == 'abc' かつ y14 == '-' ならば y14 = '★'のような変換をしたいと考えております。 def henkan(x): if x == abc: return '★' df.y14 = df.y14.apply(henkan) ...
user87562's user avatar
  • 853
0
2 回答
174 閲覧数

pythonで日付リストから、ある月の出現頻度を取得する方法

以下のような日付データがあります。 DatetimeIndex(['2019-06-05', '2019-06-14', '2019-06-24', '2019-07-03', '2019-07-30', '2019-07-31', '2019-08-06', '2019-08-28', '2019-09-03', '2019-09-26'...
Shiro's user avatar
  • 33
0
1 回答
327 閲覧数

データフレームのnanとNoneの比較

PythonのPandasで、2つのデータフレームraw1, raw2があり、raw1のx1,x2とraw2のy1,y2を比べて違うもの(x1!=y1 or x2!=y2)のみを出力したいと考えていますが、片方は欠損値がnan, もう一方はNoneになっており、比較ができなくて困っています。 raw1 = raw1.where((pd.notnull(raw1)), None) として、...
user87562's user avatar
  • 853
0
2 回答
307 閲覧数

Pandasで条件に当てはまる列だけ同じ変換をしたい

Pandasで条件に当てはまる列だけ同じ変換を施したく、以下のコードを書いていますが can't assign to function callのSyntax Errorが出てしまいます。 df.str.contains("x") = df.str.contains("x").apply(lambda x: 1 if x == 1 else 0) どう改良すればよろしいでしょうか? ...
user87562's user avatar
  • 853
0
1 回答
272 閲覧数

PythonでAPIで取得したJSONをデータフレーム化したい

PythonでAPIで取得したJSONをデータフレーム化したいと考えていますが、うまく行かないです。 import requests import pandas as pd url = 'https://newspicks.com/' hb_count = 'http://api.b.st-hatena.com/entrylist/json?mode=rss&threshold=...
user87562's user avatar
  • 853
0
1 回答
4,660 閲覧数

pythonで複数のcsvファイルから特定の列を抽出して結合させたい

やりたいこと: 添付画像のようなcsvファイルが複数ある 各ファイルからプロファイル1の列のデータを抽出 列方向にデータを結合 csvファイルとして保存 import csv import glob import os import pandas as pd df_dir = './sample1' df_file = '*.csv' if __name__ == "__main__": ...
moomin's user avatar
  • 17
0
1 回答
7,872 閲覧数

pandas.plotで凡例の場所を変更したい

pandas.plotを用いて株価のグラフを作成したのですが、凡例が変な位置に来てしまいます。 matplotlibであれば下記のように、legend に対して loc を指定してやれば位置を調整できると思うのですが、pandas.plotだと出来ないのでしょうか? (matplotlibのラッパーなので、難しいことをすれば出来るのでしょうか?) matplotlibだと以下の書き方ができる ...
Eiji's user avatar
  • 271
0
1 回答
983 閲覧数

pandas DataFrameから特定列の値が複数の候補のいずれかで抽出する方法

以下のようなpandas DataFrameがあります。 import pandas as pd import numpy as np df=pd.DataFrame(np.arange(30).reshape(10,3),columns=pd.Index(['one','two','three'])) twoカラムで数値が22の行を取得するには以下のようにしています。 df[df['two'...
ペンは剣よりも強し's user avatar
0
2 回答
457 閲覧数

python3 isin関数を使用するが順番通りデータを抽出できない

以下のファイルがあります。 Df12元のファイル url,url_category,todo A,app,0 B,app,1 B,app,2 A,app,3 C,matome,4 ....... 上記の形でtodoは1〜100くらいまで重複しないであり、他の項目は重複あります。 final_result = [[9, 0, 1, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0,...
user avatar
0
2 回答
215 閲覧数

pythonを使用して複数のcsvデータを操作

pythonを使用して2つのcsvファイルを一つにまとめたいと考えております。 【list1】 route_node,X,Y 50775,-7882.7599,-43837.4058 50774,-7886.58284,-43851.12686 50772,-7895.8552,-43835.9677 【list2】 id,x,y 57136,-10171.54496,-44468.08496 ...
Daaaaai39's user avatar
0
2 回答
1,620 閲覧数

Pythonでデータフレーム名に対して繰り返しの処理を行うには?

複数のデータフレームがあり、それぞれのデータフレームの大きさを知りたく、次のようなコードを書いています。 dfs =['df_a', 'df_b', 'df_c'] for df_name in dfs:   print(df_name) df_name.shape df_nameが、文字列であり、.shapeは使えないというエラーが出てきます(その通りなのですが)。 'str' ...
kazusumi's user avatar
  • 240
0
2 回答
4,746 閲覧数

データフレームの複数列を一つの列で割る

以下のようなデータフレーム a1,a2,a3,b1 1,1,2,4 3,4,2,1 3,6,2,9 ... を考えます。 c1=a1/b1,c2=a2/b1,c3=a3/b1をそれぞれ計算してデータフレームの右につけようと考えています。 この場合は3変数なのでまだ手で書けますが、(Rの場合はmutate(c1=a1/b1,c2=a2/b1,c3=a3/b1)でしょうか。)...
user87562's user avatar
  • 853
0
2 回答
1,495 閲覧数

Pandasでのデータ処理を高速化したい

PandasのDataframeで、特定条件の数値を統一したいです。 例えばこのようなdfがあります。 id label 0 a 1 1 a 2 2 a 1 3 b 2 4 b 2 5 c 2 6 a 1 7 b 1 8 b 2 aとbは複数のラベルを持っているため、...
lynn's user avatar
  • 73
0
2 回答
364 閲覧数

shift()の使い方について

python初心者です。よろしくお願いします。 下記は正常に動くのですが、 df['ud_flag'] = df.apply(lambda x : 1 if x.p == 1 else(-1 if x.p == -1 else 0),axis=1) udのフラグとして、1又は-1の値のみにしたい。 つまり、udが0値の部分を、前回の1、又は-1のままとしたいので、...
user31357's user avatar
0
1 回答
1,148 閲覧数

pandas 特定の列すべてを計算して編集したいが、for分内でilocで値取り出すとstrになる現象

dataframeの2列目の値をすべて読み込み、計算した後編集するプログラムをpandasで作成しております。 その中で TypeError: unsupported operand type(s) for -: 'str' and 'float' と表示され、計算できなく困っております。 作成したdataframeのdf_rawの中身はこのような中身です。 [7801 rows x 2 ...
ktakita's user avatar
  • 159
0
1 回答
101 閲覧数

pandasデータへ変換する方法を教えて下さい。

pythonのループの仕方を教えて下さい。 よろしくお願いします。 (参考)無向グラフと有向グラフ>無向グラフの隣接行列(adjacency matrix) http://www.dais.is.tohoku.ac.jp/~shioura/teaching/ad11/ad11-09.pdf#page=5 import pandas as pd # input : 線分a [0,1] # ...
mrrclb48z's user avatar
  • 387
0
1 回答
6,510 閲覧数

Matplotlibで、たくさんの列データから必要な複数データを選択してを一つのグラフに一度に描画する賢い方法

たとえば、df.shape = (200, 1000)のpandasデータがあるとします。 下記のようなグラフを描写したいのです。 横軸:行(200) 縦軸:データの範囲 グラフ種類:折れ線 ライン数:1000 1000の列データ(各200行)を一度に指定してグラフにプロットする場合、 どのようにするとシンプルにできますか? 今までは、下記のように直接指定して描いておりましたが、 ...
nsgui tarns's user avatar
0
1 回答
2万 閲覧数

pythonでforループで自動でDataFrameの名前を変えたい

for i in range(10):  dfi=pd.DataFrame({ 'A','B'}) みたいにしたとき、dfiのiの部分が1,2,3,...と変わって結果的に df1 df2 df3 . . df10 という名前のDataFrameが作成されるようなプログラムを組みたいのです。 超初心者で恐縮ですが、よろしくお願いします。
tktk's user avatar
  • 23
0
1 回答
3,170 閲覧数

二つのデータフレームの比較

以下のような二つのデータフレームdf1,df2があり、df2はdf1の要素を内容である程度整理したものです。df1にはあってdf2には含まれていない要素で新たな列を作り付け加えたいです。 import pandas as pd df1 = pd.DataFrame([["Jack","Male","USA",20,"mucsician","rock","movie"], ...
Python初心者's user avatar
0
1 回答
2,231 閲覧数

データフレーム:特定の複数の文字で列を分割したい

df1 = pd.DataFrame([[" A: a; aa; aaa; aaaa;aaaaa: Aa"], [" B: b;bb; bbb; bbbb;bbbbb:Bb"], ["C: c; cc; ccc;cccc; ccccc: Cc"], ["D: d; dd; ddd; dddd;ddddd:Dd"]]) このデータフレームを出力してみると、 ...
Python初心者's user avatar
0
1 回答
293 閲覧数

seabornのdistplotで表示したグラフ上のピンの位置が知りたい

seabornのdistplotで表示したグラフについて, 個々のビンの位置と高さが知りたいのですが方法はないでしょうか?
plion1783's user avatar
0
2 回答
78 閲覧数

PandasのDataFrame.concatメソッドのsort引数の意味、効果は?

PandasのDataFrame.concatメソッドのsort引数にTrueを指定しても、(sort=Falseを指定しても) 実行結果に変化が見られないのですが、 どのような効果がるのでしょうか? Pandasの公式ドキュメントは読んだのですが、理解できませんでした。 https://pandas.pydata.org/docs/reference/api/pandas.concat.html ...
Sasaki's user avatar
  • 400
0
1 回答
53 閲覧数

時系列の横結合(merge)の質問について

2つCSVファイルがあります:area1.csv area2.csv 時間列の項目名はないので、 時間を基準に横結合したいなら、どうやって修正したら良いでしょうか? ご教示いただけましたら幸いですので、どうぞよろしくお願いします! df1 = pd.read_csv(area1.csv,index_col=0) df2 = pd.read_csv(area2.csv,index_col=0) ...
Chen Stanley's user avatar
0
1 回答
48 閲覧数

時系列の横結合の質問について

2つCSVファイルがあります:area1.csv area2.csv 時間列の項目名はないので、 時間を基準に横結合したいなら、どうやって修正したら良いでしょうか? ご教示いただけましたら幸いですので、どうぞよろしくお願いします! df1 = pd.read_csv(area1.csv) df2 = pd.read_csv(area2.csv) df3 = pd.concat([df1, df2]...
Chen Stanley's user avatar
0
1 回答
49 閲覧数

Excelデータで条件に合致しないデータを除外して取り込む方法

やりたいこと エクセルファイルの特定シート(シート名前が決まっている)を読み込み、取り込むべきデータかを判断したいです。 例えば以下のような条件で不適合なデータを除く(適合するデータを抽出する)こと。 必須項目で空白はNG Noは1以上 Modelは既定の文字列以外はNG TypeがCのときにはoption文字列必須でなければNG Excelファイルを取り込むのにpandasを利用しましたが、...
Takahiro  Funahashi's user avatar
0
2 回答
98 閲覧数

dtypeをobjectからint64に変更する方法を教えてください

import numpy as np import pandas as pd df_maize = pd.read_csv("PSD online data maize.csv") print(df_maize["Name"]) print(df_maize["Production"]) print(df_maize["...
keyri's user avatar
  • 29
0
1 回答
75 閲覧数

pandas グルーピング化を使用してデータ取得ができるかが知りたい。

〇実行環境 Windows 10 Python 3.X pandas こちらのリンクでの質問内容の続きになります。 pandasでの特定の条件下でのデータ取得ができない。 〇リンク先の質問 上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。 〇質問内容 ...
zumo1224's user avatar
  • 113
0
1 回答
126 閲覧数

pandas .agg(['mean'])で正確な値を求めることができない。

〇実行環境 Windows 10 Python 3.X pandas こちらのリンクでの質問内容の続きになります。 pandasでの特定の条件下でのデータ取得ができない。 〇リンク先の質問 上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。 〇質問内容 ...
zumo1224's user avatar
  • 113
0
1 回答
256 閲覧数

Pythonで特定の文字列を含むかをcontains()を使って判断する関数

Pythonでtrain['name']という文字列項目に対して、特定の文字列(例えば、"aaa")を含む場合は"1"、含まない場合は"0"となる項目(train['test'])を別で作りたいと思っています。その際、以下のような関数(kansu1やkansu2)を作り、apply関数でセットしようとしたのですが、...
ryo's user avatar
  • 3
0
1 回答
95 閲覧数

matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'

VSCodeで以下のプログラムを実行するとエラーメッセージが表示されグラフが表示されません。解決法がありましたら教えて下さい エラー 例外が発生しました: TypeError unhashable type: 'numpy.ndarray' コード: import pandas as pd df =pd.read_csv("csvファイルのパス") df.head() x = ...
user avatar