[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
0
1 回答
114 閲覧数

以下のリストデータがあり、さらにカラムの中に辞書型のデータがあります。これを以下の形に変換したいのですが、やり方が不明

現在以下の形のリストデータを抽出しました。 [['A (S)' 'B (M)'] ['1234' '{ "voltage" : { "name" : { "S" : "R00070" }, "button" : { "L" : [ { "N" : "29" }, { "N" : "0" } ] }'] ['5678' '{ "voltage" : { "name" : { "...
0
1 回答
1,224 閲覧数

import pandas で、pandas/init.py に対して SyntaxError がでます。

ターミナルで python ファイルを実行したとき、以下のエラーがでます。 python パス/ファイル名.py Traceback (most recent call last): File "/Users/xxx/Desktop/Python/test.py", line 5, in <module> import pandas as pd File "/...
0
1 回答
3,343 閲覧数

複数のdataframeをfor文で回したい

df_1, df_2, df_3 とカラムがすべて同じなデータフレームがあるとき、 df_1['year'].shape df_2['year'].shape df_3['year'].shape 上記を for 文で回したく、 for i in (1,2,3): df_(i)['year'].shape のように実現したいのですが、どのようにすれば自動化できますでしょうか?
  • 1
0
2 回答
299 閲覧数

Pandasで条件に当てはまる列だけ同じ変換をしたい

Pandasで条件に当てはまる列だけ同じ変換を施したく、以下のコードを書いていますが can't assign to function callのSyntax Errorが出てしまいます。 df.str.contains("x") = df.str.contains("x").apply(lambda x: 1 if x == 1 else 0) どう改良すればよろしいでしょうか? ...
  • 853
0
1 回答
1,039 閲覧数

Pandasで文字の列を削除したい

Pandasで数値の列のみ残し、文字の列を削除したいと考えて以下のコードを実行しましたがエラーでした。 df = df.drop(df.select_dtypes(include=str),axis=1) エラーメッセージは TypeError: string dtypes are not allowed, use 'object' instead でした。 どう書き直せばよいでしょうか。...
  • 853
0
1 回答
9,290 閲覧数

pandasで'DataFrame' object has no attribute 'split'のエラーを解決したい

CSVからpandasで読み取った"/"で数字のまとまりごとに区切ってある文字列(OIDカラムの数字の文字列)をsplitで分割して再度、リスト化したいのですが、タイトルにあるエラーで上手く実装できません。 何かアドバイスを頂ければ幸いです。 よろしくお願いします。 read_csvの結果 OID 0 1618544796/...
2
2 回答
8,954 閲覧数

seaborn scatterplotにおいて、凡例(hue)に数値のものをいれるとプロット色が濃淡になってしまう

seaborn のversion0.10.0を使用しております。 seaborn scatterplotにおいて、凡例(hue)に数値のものをいれるとプロット色が濃淡になってしまいます。 やりたいこととしては出力図の凡例をカラフルな色にしたいと考えております。 通常はカラフルになるのですが、凡例対象が数値であるため濃淡なものになってしまいます。 図にしたいデータ 現在の出力図 sns....
  • 159
0
1 回答
388 閲覧数

pandas リストデータフレームから参照して列を追加したい

先日、pandas 別のデータフレームから参照して置換する方法を質問した者です。 上記は解決したのですが、下記のデータフレームで参照する方法が上手くいきません。 [例] [df2]を参照して、'City'に対応するCityCodeを[df1]に追加したい import pandas as pd df1 = pd.DataFrame({ 'Name': ['John', 'Milke', ...
0
1 回答
4,209 閲覧数

pandas 別のデータフレームから参照して置換する方法

プログラミング初学者です。 pandasでのデータフレームに関しての質問です。 2つのデータフレームで要素が一致したら置換する方法で苦戦しております。 [例] [df1] id, fruits 1, ringo 2, mikan 3, suika [df2] id, fruits_en, fruits_jp 1, apple, ringo 2, watermelon, suika 3, ...
0
1 回答
1万 閲覧数

pip instal pandasでホイールを構築できないとなります

python初心者です。 環境はWindows10、Python 3.8.0です。VScodeを使っています。 pip install pandas を実行すると以下のように表示されます。 Could not build wheels for numpy, since package 'wheel' is not installed. Could not build wheels for ...
1
0 回答
889 閲覧数

AttributeError: module 'pandas' has no attribute 'read_csv' の対処法

以下のコードでcsvを読み込もうとしたら、題名の通りエラーが出てしまいます。 実行したコード import pandas as pd x = pd.read_csv("wine-R.csv") エラーメッセージ AttributeError: module 'pandas' has no attribute 'read_csv' 確認したこと: ・カレントディレクトリ内にpandas....
0
1 回答
534 閲覧数

foliumにて地図にマッピングしようとすると最大再帰処理回数を超えてしまう。

GoogleColaboratoryにてfoliumを使用し、地図上にマッピングしたいと考えています。 以下の記事を参照しました。 Python pandas + folium で Leaflet をもっと使いたい このようなデータを作成、使用しました。 import folium m = folium.Map(location=[35.861651,139.645435], ...
  • 17
0
1 回答
8,364 閲覧数

pandas 日付のソートが上手くいきません

pandasにてソートを行なったのですが、日付(判明日)の部分だけ、上手くソートされません。日の部分が二桁の際には上手く並び替えられているのですが、どうしても日が一桁の日時が無視してソートされてしまいます。どのようにすれば解決するでしょうか。 df_sort=df3.sort_values(["居住地","判明日"]) df_sort.head(50)`
  • 17
0
1 回答
2,509 閲覧数

pandas dataframeの列名に〇〇を含む要素を抽出しさらに値にフィルターをかける方法

下記のdataframeに対して 「labelが1かつ列名にP1を含む列の値が1以上かつ列名にP3を含む列の値が1以上の要素を抽出」 という処理を加えたいです。 Pythonコードの例をご教示頂けますでしょうか。 dataframe ↓ ↓ Output data (labelが0のもの以外にも、列名にP1とP3を含む列の値が全て0のものも抽出していない)
2
2 回答
869 閲覧数

resampleを用いた外挿 (データ補間) を行いたい

1時間刻みの年間データがあります。 このデータを1分刻みのデータとして補間したいですが、 23時までの内挿する方法しか分かりません。 23時01分から23時59分までの外挿方法について教えてください。 本当に基礎的な部分だと思いますが、いい方法が見つからないのでお願いいたします。 df2=df.resample('1T').interpolate() 対象の年間データ 0 2019-...
  • 95
0
0 回答
286 閲覧数

pykakasiでローマ字変換したリストをCSVファイルにするには?

pykakasiで日本語をローマ字に変換した場合、再度CSVファイルで取り出すにはどうしたらよいでしょうか?ご助言頂けますと幸いです。 エラー ValueError: DataFrame constructor not properly called! コード G=nx.Graph() df=pd.read_csv("at1.csv",header=None) df ...
0
1 回答
59 閲覧数

pandasでファイル中のTSVフォーマット部分のデータのみを読み取りたい

処理情報+TSVフォーマットの結果データという特殊フォーマットのファイルから TSVフォーマットの結果データのみを、pandasのデータフレームに保持するにはどうすればよいでしょうか? 動作環境 OS: Windows10 Python: Ver3.7.5 Pandas: Ver0.25.3 特殊フォーマットファイルのサンプルは以下の通りの内容です #TimeStamp 20200303 ...
  • 387
1
1 回答
587 閲覧数

pandas-highcharts でグラフが描画されない

実現したいこと 取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。 該当のソースコード from pandas_highcharts.display import display_charts df = ... # ...
  • 11
0
2 回答
1,587 閲覧数

CSVファイルを読み込んでデータを処理する時のエラーについて

CSVファイルをpandasで読み込んでリストの作成と平均のまとめを行った結果、エラーになってしまい、ファイルに原因があるのか、コードに原因があるのかが分かりません。 解決策があればご意見、よろしくお願いします。 コード import pandas as pd # pandasでcsvを読み込む df = pd.read_csv("kion10y.csv", encoding="utf-8")...
  • 21
1
1 回答
8,134 閲覧数

pandasで文字の長さによる抽出

pandasのデータフレームdfで、文字列のはいった列mojiの長さが3以上のものを残したいと考えています。 mojilen=len(moji)で新しい列を作れば行けると思いますが、新しい列を作らずに処理する方法はあるのでしょうか。 df.query("len(df.moji)>2")は駄目でした。 よろしくおねがいします。
  • 853
0
1 回答
365 閲覧数

PythonでAPIで複数ページに渡るデータ取得

PythonでAPIで取得したJSONをデータフレーム化したい の続きです。 以下のコードで、iについて数値でループさせても同じページが取れてしまいます。 これを回避する方法はありますでしょうか。それとも非対応でしょうか? hb_count = 'http://api.b.st-hatena.com/entrylist/json?sort=count&page='+str(i) また、...
  • 853
0
1 回答
270 閲覧数

PythonでAPIで取得したJSONをデータフレーム化したい

PythonでAPIで取得したJSONをデータフレーム化したいと考えていますが、うまく行かないです。 import requests import pandas as pd url = 'https://newspicks.com/' hb_count = 'http://api.b.st-hatena.com/entrylist/json?mode=rss&threshold=...
  • 853
0
1 回答
291 閲覧数

要素がlist型であるpandasのdataframeをndarrayの2次元配列にしたい

dataframe e.g) date vec 2019-01-04 [-0.08072768, -0.061041858, 0.09872102] 2019-01-04 [-0.07853928, -0.058681224, 0.10971683] こういったdataframeがあった場合に、...
0
1 回答
4,591 閲覧数

pythonで複数のcsvファイルから特定の列を抽出して結合させたい

やりたいこと: 添付画像のようなcsvファイルが複数ある 各ファイルからプロファイル1の列のデータを抽出 列方向にデータを結合 csvファイルとして保存 import csv import glob import os import pandas as pd df_dir = './sample1' df_file = '*.csv' if __name__ == "__main__": ...
  • 17
3
1 回答
727 閲覧数

pandasで単独の要素に値を代入する際のiatとilocの違いについて ValueError: could not convert string to float:

単独の要素に値を代入する際のiatとilocの違いについて df1 = pd.DataFrame([[np.nan, 2], [1, 3], [4, 6]], columns=['A', 'B']) df2 = pd.DataFrame([['aaa', 'bbb'], [1, 3], [4, 6]], columns=['A', 'B']) A B 0 NaN 2 1 1....
  • 63
0
0 回答
2,690 閲覧数

excelファイルから複数シートを読み込み、別々のDataFrameを作成する方法

以下の通り、excelファイルから複数シート(ファイル内の全シート)を読み込んだ後、 各シートごとに任意の名前をつけDataFrame化したいと考えています。 all_sheets = pd.read_excel('分析データ.xlsx', sheet_name=None) 具体的には、本ファイルには合計4シートあり、それぞれ data_4、data_5、data_6、data_7 ...
  • 11
0
1 回答
7,577 閲覧数

pandas.plotで凡例の場所を変更したい

pandas.plotを用いて株価のグラフを作成したのですが、凡例が変な位置に来てしまいます。 matplotlibであれば下記のように、legend に対して loc を指定してやれば位置を調整できると思うのですが、pandas.plotだと出来ないのでしょうか? (matplotlibのラッパーなので、難しいことをすれば出来るのでしょうか?) matplotlibだと以下の書き方ができる ...
  • 271
0
1 回答
1,421 閲覧数

エクセルファイルから数値以外 (文字、空白行等) の行を削除したい

Pythonでエクセルファイルの数値以外 (文字、空白行等) の行を削除したいのですが、 どのようにすればよいでしょうか? 空白行の削除だけならば、以下のコードでなんとか実現できたのですが、 文字や記号などを含む行削除方法がなかなかネットでも見つかりません。 ご存じの方、ご指導頂ければありがたいです。 よろしくお願いいたします。 空白行の削除 df = pd.read_excel('target+...
0
1 回答
916 閲覧数

pandas DataFrameから特定列の値が複数の候補のいずれかで抽出する方法

以下のようなpandas DataFrameがあります。 import pandas as pd import numpy as np df=pd.DataFrame(np.arange(30).reshape(10,3),columns=pd.Index(['one','two','three'])) twoカラムで数値が22の行を取得するには以下のようにしています。 df[df['two'...
0
0 回答
52 閲覧数

複数データフレームの行数を一気にカウントする方法 [重複]

Pythonのfor文について質問させてください。(初歩的な質問で恐縮です、、) 以下の4つのデータフレームがあったとします。それぞれのデータフレームの行数を、for文を使って一気にカウントしたいです。 df_1 df_2 df_3 df_4 データフレームが1つだった場合は、以下のよう記述できると思います。 print(len(df_1)) これを、for文で4つのファイルに回す場合、...
  • 11
1
0 回答
157 閲覧数

GCPのVMインスタンス上でImportError: No module named 'pandas' エラーが発生します

▼前提 GCP上のVMインスタンスにPython3.6の環境を構築し、pip3でpandas,numpy,sklearnなどのモジュールをインストールしました。 ▼事象 しかし、import pandas を実行すると、 [Tue Dec 24 09:09:11.447228 2019] [cgi:error] [pid 19982] [client 34.84.154.183:35282] ...
0
2 回答
443 閲覧数

python3 isin関数を使用するが順番通りデータを抽出できない

以下のファイルがあります。 Df12元のファイル url,url_category,todo A,app,0 B,app,1 B,app,2 A,app,3 C,matome,4 ....... 上記の形でtodoは1〜100くらいまで重複しないであり、他の項目は重複あります。 final_result = [[9, 0, 1, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0,...
user avatar
1
1 回答
1,362 閲覧数

クリップボードにコピーしたweb上の表をエクセルファイルに張り付けるコードをPythonで書きたい

対象のwebサイトは鍵付きのためスクレイピングが使えないので、クリップボードにコピーしてからエクセルにペーストするコードを書きたいと考えています。 クリップボードにコピー→データフレームとして読み込み→CSV変換→エクセルに張り付けとしたいのですが、最初の段階で pandas.read_clipboard() を使おうとすると以下のエラーが出てうまくいきません。 エラーメッセージ ...
  • 21
1
2 回答
116 閲覧数

時間を望んだformatで表示させる方法

pandasによるデータフレームで0~23のhour列と、0~60のminute列があり、その2列からtime列("%H:%M"の形式)を作りたいと考えています。 ですが、hour、minuteともにint型だからかエラーが出てうまくいきません。 どのように対処すればよろしいでしょうか?
  • 853
0
2 回答
7,395 閲覧数

pandasにて一次元へというエラーがでる

array([[-1, 0, 1, 1, 1, 0, 2, 3, 4, 5, 6, 7, 8, 7, 0], [-1, 9, 10, 11, 12, 11, 13, 11, 14, 11, 15, 12, 16, 17, 18], [-1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,...
user avatar
0
1 回答
159 閲覧数

python Pandasで、テーブル解析後、行数が足りません。

Python pandasでテーブル解析しましたが、どのサイトでも行数がサイト通りに解析できません。 以下、コードです。 import pandas as pd url = 'https://weather.time-j.net/' dfs = pd.read_html(url) print(dfs[1].head()) 結果です。 都市名 今日の最高気温 最高気温の平年値 ...
1
1 回答
5,312 閲覧数

Pandasでグループごとに連番を付与する方法

Pandasのdataframeで、複数列の組み合わせ別に連番を付与する方法を教えていただきたいです。 具体的には、「ID」「日付」「店」の組み合わせごとの連番を、「カウント」という列を作成してそこに入れたいです。 「ID」「日付」「店」があったとして、連番を格納する「カウント」の値は、以下のイメージです。 df = pd.DataFrame({'ID': [1,1,2,2,2,3,3,3,3,...
  • 11
0
2 回答
208 閲覧数

pythonを使用して複数のcsvデータを操作

pythonを使用して2つのcsvファイルを一つにまとめたいと考えております。 【list1】 route_node,X,Y 50775,-7882.7599,-43837.4058 50774,-7886.58284,-43851.12686 50772,-7895.8552,-43835.9677 【list2】 id,x,y 57136,-10171.54496,-44468.08496 ...
1
2 回答
1,656 閲覧数

pandasで、複数列に対応するヘッダをCSVで出力したいです。

実行環境 pandas 0.25.3 Python 3.7.4 やりたいこと pandasのDataFramdeを使って、下図のような表をCSVとして出力したいです。 試したこと 以下のPythonコードを実行しました。 dict_table = {("user1", "plan"): [1, 11], ("user1", "work"): [2, 12], ...
  • 1,626
1
1 回答
996 閲覧数

pandasの dataframeに列を追加し、リストの要素をセットする方法を教えてください

以下のソースのようにpandasでdataframeを作りました。 一番下の行のコードで、「C列を追加し1行目にリストをセット」したいです。 しかし、エラーが出ます。 理由が分かりませんでした。 どうすれば回避できるでしょうか? 下から2行目のコードで「A列1行目にリストをセット」は出来たのですが。。。 import pandas as pd df2 = pd.DataFrame(columns=...
0
1 回答
3,963 閲覧数

pythonのpandasを使用したcsvデータの列の追加

pythonのpandasを使用して元のcsvファイルの特定の列(detime)を読み込み、既存のcsvファイルに追記したいと考えております。 default_list_4.csv (元ファイル) x,y,botime,detime,eldid,firev -11321.9,-44284,0.923816,1.03909,1298,100 -11716.1,-46828.7,0.517662,...
0
0 回答
240 閲覧数

pythonのmatplotlib

一番下に載せたカンマ区切りのcsvファイルを、contourで等高線にしたいです。 空白欄のNANの部分を0に置き換えた上で下記のコードで実行すると、等高線は出てくるのですが、0という値は考えないので本当は出てきてほしくないです。 ・NANの空欄ところの処理はどうすれば良いのでしょうか? ・y軸の値は0.01〜1.00なのに、実行すると0~100になってしまうのはなぜでしょうか? ・...
  • 1
0
1 回答
338 閲覧数

fill_betweenでwhereを認識させたい

plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?) 知っている方はぜひ教えていただけると助かります。 import matplotlib.pyplot as plt import numpy as np f1 = np.loadtxt(filepath1) f2 = np.loadtxt(...
0
2 回答
2,145 閲覧数

pandasで条件に応じてcsvから行を削除したい

Pythonのpandasでcsvを読み込み、条件に従って行を削除し、新たなファイルに出力したいと考えています。 csvファイル (list1.csv) が以下の時、『time2』に着目し、time2が1.0以下のものの中からtime2の値が小さい順に3つ削除する為には、以下のスクリプトで実行できるかと思います。 list1.csv [time1,time2][0.27,0.45][0.28,...
0
0 回答
465 閲覧数

pandas Typeエラー

python pandas学習中の初心者です。 https://note.nkmk.me/python-pandas-where-mask/ こちらのサイトを参考にして print(df < 0) を実行したところ、下記のエラーが表示されます。 回避方法をご教授お願いします。 DataFremeデータサンプル >>> df A B C D 0 -20 ...
1
0 回答
58 閲覧数

ilocを使用した際のindex値の抽出

以下の様にilocでデータを抽出した場合、 そのindex値を取り出す(2010-03-09)を取り出す方法はありますか? data.iloc[2500] Open 925.69 High 927.79 Low 923.60 Close 924.38 Name: 2010-03-09 00:00:00, dtype: float64 data.iloc[2500]...
  • 271
0
1 回答
3,679 閲覧数

PandasでCSVファイルの読み込みに失敗してしまう

macでpythonからcsvを読み込む場合はどのように設定すれば良いでしょうか? 下記のようなコードを作成しましたが、実行するとエラーが表示されます。 コード import pandas as pd #pandasをpdとしてインポート df = pd.read_csv("/Users/ha/Desktop/tati.csv", encoding="utf-8_sig") print (...
  • 435
0
3 回答
6,752 閲覧数

インストールした外部ライブラリが import 出来ない

Pythonでcsvを読み込んで加工して分析みたいなことをしたいと思って、 Python3.7とpycharmをインストールしました。 csvの読み込みにはpandasだと記事で読んだので、まずpandasを入れてインポートしようとしたのですができず・・・具体的には以下です。 ターミナルでpip show pandasと実行したら、以下が出てきたのでインストールはできているんだと思います。 ...
  • 1
0
1 回答
2,861 閲覧数

pandasで日付時刻、数値のcsvファイルを読み込んでグラフ化したい

プログラミング初心者です。お見苦しく申し訳ありません。 日付時刻、数値だけのcsvファイルを読み込んで、グラフ化したいだけなのですが、多くのサイトを回って参考にしてもエラーが無くなりません。 ずばり、修正案をいただけないでしょうか。 1)読み込むcsvファイル time,count 2019/09/13 10:00:00,5123 2019/09/13 10:00:01,4872 2019/...
  • 3
0
1 回答
360 閲覧数

Pythonのpandasでindexでマージ

もとのデータフレームから一列だけ抜き、更にdropnaしてその後処理を施し、もとのデータフレームにマージしようと試みています。 マージキーになるようなものがデータにないため、indexを使ってマージしようと考えていますが、dropnaするとnanである部分のindexが歯抜けになるのではなく、上から0スタートで振り直されてしまいます。 これを回避する方法はないでしょうか。 詳しい方、...
  • 853

1
3 4
5
6 7
9