[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
407
質問
0
票
1
回答
114
閲覧数
以下のリストデータがあり、さらにカラムの中に辞書型のデータがあります。これを以下の形に変換したいのですが、やり方が不明
現在以下の形のリストデータを抽出しました。
[['A (S)' 'B (M)']
['1234'
'{ "voltage" : { "name" : { "S" : "R00070" }, "button" : { "L" : [ { "N" : "29" }, { "N" : "0" } ] }']
['5678'
'{ "voltage" : { "name" : { "...
0
票
1
回答
1,224
閲覧数
import pandas で、pandas/init.py に対して SyntaxError がでます。
ターミナルで python ファイルを実行したとき、以下のエラーがでます。
python パス/ファイル名.py
Traceback (most recent call last):
File "/Users/xxx/Desktop/Python/test.py", line 5, in <module>
import pandas as pd
File "/...
0
票
1
回答
3,343
閲覧数
複数のdataframeをfor文で回したい
df_1, df_2, df_3 とカラムがすべて同じなデータフレームがあるとき、
df_1['year'].shape
df_2['year'].shape
df_3['year'].shape
上記を for 文で回したく、
for i in (1,2,3):
df_(i)['year'].shape
のように実現したいのですが、どのようにすれば自動化できますでしょうか?
0
票
2
回答
299
閲覧数
Pandasで条件に当てはまる列だけ同じ変換をしたい
Pandasで条件に当てはまる列だけ同じ変換を施したく、以下のコードを書いていますが
can't assign to function callのSyntax Errorが出てしまいます。
df.str.contains("x") = df.str.contains("x").apply(lambda x: 1 if x == 1 else 0)
どう改良すればよろしいでしょうか?
...
0
票
1
回答
1,039
閲覧数
Pandasで文字の列を削除したい
Pandasで数値の列のみ残し、文字の列を削除したいと考えて以下のコードを実行しましたがエラーでした。
df = df.drop(df.select_dtypes(include=str),axis=1)
エラーメッセージは
TypeError: string dtypes are not allowed, use 'object' instead
でした。
どう書き直せばよいでしょうか。...
0
票
1
回答
9,290
閲覧数
pandasで'DataFrame' object has no attribute 'split'のエラーを解決したい
CSVからpandasで読み取った"/"で数字のまとまりごとに区切ってある文字列(OIDカラムの数字の文字列)をsplitで分割して再度、リスト化したいのですが、タイトルにあるエラーで上手く実装できません。
何かアドバイスを頂ければ幸いです。
よろしくお願いします。
read_csvの結果
OID
0 1618544796/...
2
票
2
回答
8,954
閲覧数
seaborn scatterplotにおいて、凡例(hue)に数値のものをいれるとプロット色が濃淡になってしまう
seaborn のversion0.10.0を使用しております。
seaborn scatterplotにおいて、凡例(hue)に数値のものをいれるとプロット色が濃淡になってしまいます。
やりたいこととしては出力図の凡例をカラフルな色にしたいと考えております。
通常はカラフルになるのですが、凡例対象が数値であるため濃淡なものになってしまいます。
図にしたいデータ
現在の出力図
sns....
0
票
1
回答
388
閲覧数
pandas リストデータフレームから参照して列を追加したい
先日、pandas 別のデータフレームから参照して置換する方法を質問した者です。
上記は解決したのですが、下記のデータフレームで参照する方法が上手くいきません。
[例]
[df2]を参照して、'City'に対応するCityCodeを[df1]に追加したい
import pandas as pd
df1 = pd.DataFrame({
'Name': ['John', 'Milke', ...
0
票
1
回答
4,209
閲覧数
pandas 別のデータフレームから参照して置換する方法
プログラミング初学者です。
pandasでのデータフレームに関しての質問です。
2つのデータフレームで要素が一致したら置換する方法で苦戦しております。
[例]
[df1]
id, fruits
1, ringo
2, mikan
3, suika
[df2]
id, fruits_en, fruits_jp
1, apple, ringo
2, watermelon, suika
3, ...
0
票
1
回答
1万
閲覧数
pip instal pandasでホイールを構築できないとなります
python初心者です。
環境はWindows10、Python 3.8.0です。VScodeを使っています。
pip install pandas を実行すると以下のように表示されます。
Could not build wheels for numpy, since package 'wheel' is not installed.
Could not build wheels for ...
1
票
0
回答
889
閲覧数
AttributeError: module 'pandas' has no attribute 'read_csv' の対処法
以下のコードでcsvを読み込もうとしたら、題名の通りエラーが出てしまいます。
実行したコード
import pandas as pd
x = pd.read_csv("wine-R.csv")
エラーメッセージ
AttributeError: module 'pandas' has no attribute 'read_csv'
確認したこと:
・カレントディレクトリ内にpandas....
0
票
1
回答
534
閲覧数
foliumにて地図にマッピングしようとすると最大再帰処理回数を超えてしまう。
GoogleColaboratoryにてfoliumを使用し、地図上にマッピングしたいと考えています。
以下の記事を参照しました。
Python pandas + folium で Leaflet をもっと使いたい
このようなデータを作成、使用しました。
import folium
m = folium.Map(location=[35.861651,139.645435], ...
0
票
1
回答
8,364
閲覧数
pandas 日付のソートが上手くいきません
pandasにてソートを行なったのですが、日付(判明日)の部分だけ、上手くソートされません。日の部分が二桁の際には上手く並び替えられているのですが、どうしても日が一桁の日時が無視してソートされてしまいます。どのようにすれば解決するでしょうか。
df_sort=df3.sort_values(["居住地","判明日"])
df_sort.head(50)`
0
票
1
回答
2,509
閲覧数
pandas dataframeの列名に〇〇を含む要素を抽出しさらに値にフィルターをかける方法
下記のdataframeに対して
「labelが1かつ列名にP1を含む列の値が1以上かつ列名にP3を含む列の値が1以上の要素を抽出」
という処理を加えたいです。
Pythonコードの例をご教示頂けますでしょうか。
dataframe
↓
↓
Output data
(labelが0のもの以外にも、列名にP1とP3を含む列の値が全て0のものも抽出していない)
2
票
2
回答
869
閲覧数
resampleを用いた外挿 (データ補間) を行いたい
1時間刻みの年間データがあります。
このデータを1分刻みのデータとして補間したいですが、
23時までの内挿する方法しか分かりません。
23時01分から23時59分までの外挿方法について教えてください。
本当に基礎的な部分だと思いますが、いい方法が見つからないのでお願いいたします。
df2=df.resample('1T').interpolate()
対象の年間データ
0 2019-...
0
票
0
回答
286
閲覧数
pykakasiでローマ字変換したリストをCSVファイルにするには?
pykakasiで日本語をローマ字に変換した場合、再度CSVファイルで取り出すにはどうしたらよいでしょうか?ご助言頂けますと幸いです。
エラー
ValueError: DataFrame constructor not properly called!
コード
G=nx.Graph()
df=pd.read_csv("at1.csv",header=None)
df
...
0
票
1
回答
59
閲覧数
pandasでファイル中のTSVフォーマット部分のデータのみを読み取りたい
処理情報+TSVフォーマットの結果データという特殊フォーマットのファイルから
TSVフォーマットの結果データのみを、pandasのデータフレームに保持するにはどうすればよいでしょうか?
動作環境
OS: Windows10
Python: Ver3.7.5
Pandas: Ver0.25.3
特殊フォーマットファイルのサンプルは以下の通りの内容です
#TimeStamp 20200303 ...
1
票
1
回答
587
閲覧数
pandas-highcharts でグラフが描画されない
実現したいこと
取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。
該当のソースコード
from pandas_highcharts.display import display_charts
df = ... # ...
0
票
2
回答
1,587
閲覧数
CSVファイルを読み込んでデータを処理する時のエラーについて
CSVファイルをpandasで読み込んでリストの作成と平均のまとめを行った結果、エラーになってしまい、ファイルに原因があるのか、コードに原因があるのかが分かりません。
解決策があればご意見、よろしくお願いします。
コード
import pandas as pd
# pandasでcsvを読み込む
df = pd.read_csv("kion10y.csv", encoding="utf-8")...
1
票
1
回答
8,134
閲覧数
pandasで文字の長さによる抽出
pandasのデータフレームdfで、文字列のはいった列mojiの長さが3以上のものを残したいと考えています。
mojilen=len(moji)で新しい列を作れば行けると思いますが、新しい列を作らずに処理する方法はあるのでしょうか。
df.query("len(df.moji)>2")は駄目でした。
よろしくおねがいします。
0
票
1
回答
365
閲覧数
PythonでAPIで複数ページに渡るデータ取得
PythonでAPIで取得したJSONをデータフレーム化したい
の続きです。
以下のコードで、iについて数値でループさせても同じページが取れてしまいます。
これを回避する方法はありますでしょうか。それとも非対応でしょうか?
hb_count = 'http://api.b.st-hatena.com/entrylist/json?sort=count&page='+str(i)
また、...
0
票
1
回答
270
閲覧数
PythonでAPIで取得したJSONをデータフレーム化したい
PythonでAPIで取得したJSONをデータフレーム化したいと考えていますが、うまく行かないです。
import requests
import pandas as pd
url = 'https://newspicks.com/'
hb_count = 'http://api.b.st-hatena.com/entrylist/json?mode=rss&threshold=...
0
票
1
回答
291
閲覧数
要素がlist型であるpandasのdataframeをndarrayの2次元配列にしたい
dataframe e.g)
date vec
2019-01-04 [-0.08072768, -0.061041858, 0.09872102]
2019-01-04 [-0.07853928, -0.058681224, 0.10971683]
こういったdataframeがあった場合に、...
0
票
1
回答
4,591
閲覧数
pythonで複数のcsvファイルから特定の列を抽出して結合させたい
やりたいこと:
添付画像のようなcsvファイルが複数ある
各ファイルからプロファイル1の列のデータを抽出
列方向にデータを結合
csvファイルとして保存
import csv
import glob
import os
import pandas as pd
df_dir = './sample1'
df_file = '*.csv'
if __name__ == "__main__":
...
3
票
1
回答
727
閲覧数
pandasで単独の要素に値を代入する際のiatとilocの違いについて ValueError: could not convert string to float:
単独の要素に値を代入する際のiatとilocの違いについて
df1 = pd.DataFrame([[np.nan, 2], [1, 3], [4, 6]], columns=['A', 'B'])
df2 = pd.DataFrame([['aaa', 'bbb'], [1, 3], [4, 6]], columns=['A', 'B'])
A B
0 NaN 2
1 1....
0
票
0
回答
2,690
閲覧数
excelファイルから複数シートを読み込み、別々のDataFrameを作成する方法
以下の通り、excelファイルから複数シート(ファイル内の全シート)を読み込んだ後、
各シートごとに任意の名前をつけDataFrame化したいと考えています。
all_sheets = pd.read_excel('分析データ.xlsx', sheet_name=None)
具体的には、本ファイルには合計4シートあり、それぞれ data_4、data_5、data_6、data_7 ...
0
票
1
回答
7,577
閲覧数
pandas.plotで凡例の場所を変更したい
pandas.plotを用いて株価のグラフを作成したのですが、凡例が変な位置に来てしまいます。
matplotlibであれば下記のように、legend に対して loc を指定してやれば位置を調整できると思うのですが、pandas.plotだと出来ないのでしょうか?
(matplotlibのラッパーなので、難しいことをすれば出来るのでしょうか?)
matplotlibだと以下の書き方ができる
...
0
票
1
回答
1,421
閲覧数
エクセルファイルから数値以外 (文字、空白行等) の行を削除したい
Pythonでエクセルファイルの数値以外 (文字、空白行等) の行を削除したいのですが、
どのようにすればよいでしょうか?
空白行の削除だけならば、以下のコードでなんとか実現できたのですが、
文字や記号などを含む行削除方法がなかなかネットでも見つかりません。
ご存じの方、ご指導頂ければありがたいです。
よろしくお願いいたします。
空白行の削除
df = pd.read_excel('target+...
0
票
1
回答
916
閲覧数
pandas DataFrameから特定列の値が複数の候補のいずれかで抽出する方法
以下のようなpandas DataFrameがあります。
import pandas as pd
import numpy as np
df=pd.DataFrame(np.arange(30).reshape(10,3),columns=pd.Index(['one','two','three']))
twoカラムで数値が22の行を取得するには以下のようにしています。
df[df['two'...
0
票
0
回答
52
閲覧数
複数データフレームの行数を一気にカウントする方法 [重複]
Pythonのfor文について質問させてください。(初歩的な質問で恐縮です、、)
以下の4つのデータフレームがあったとします。それぞれのデータフレームの行数を、for文を使って一気にカウントしたいです。
df_1
df_2
df_3
df_4
データフレームが1つだった場合は、以下のよう記述できると思います。
print(len(df_1))
これを、for文で4つのファイルに回す場合、...
1
票
0
回答
157
閲覧数
GCPのVMインスタンス上でImportError: No module named 'pandas' エラーが発生します
▼前提
GCP上のVMインスタンスにPython3.6の環境を構築し、pip3でpandas,numpy,sklearnなどのモジュールをインストールしました。
▼事象
しかし、import pandas を実行すると、
[Tue Dec 24 09:09:11.447228 2019] [cgi:error] [pid 19982] [client 34.84.154.183:35282] ...
0
票
2
回答
443
閲覧数
python3 isin関数を使用するが順番通りデータを抽出できない
以下のファイルがあります。
Df12元のファイル
url,url_category,todo
A,app,0
B,app,1
B,app,2
A,app,3
C,matome,4
.......
上記の形でtodoは1〜100くらいまで重複しないであり、他の項目は重複あります。
final_result =
[[9, 0, 1, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0,...
1
票
1
回答
1,362
閲覧数
クリップボードにコピーしたweb上の表をエクセルファイルに張り付けるコードをPythonで書きたい
対象のwebサイトは鍵付きのためスクレイピングが使えないので、クリップボードにコピーしてからエクセルにペーストするコードを書きたいと考えています。
クリップボードにコピー→データフレームとして読み込み→CSV変換→エクセルに張り付けとしたいのですが、最初の段階で pandas.read_clipboard() を使おうとすると以下のエラーが出てうまくいきません。
エラーメッセージ
...
1
票
2
回答
116
閲覧数
時間を望んだformatで表示させる方法
pandasによるデータフレームで0~23のhour列と、0~60のminute列があり、その2列からtime列("%H:%M"の形式)を作りたいと考えています。
ですが、hour、minuteともにint型だからかエラーが出てうまくいきません。
どのように対処すればよろしいでしょうか?
0
票
2
回答
7,395
閲覧数
pandasにて一次元へというエラーがでる
array([[-1, 0, 1, 1, 1, 0, 2, 3, 4, 5, 6, 7, 8, 7, 0],
[-1, 9, 10, 11, 12, 11, 13, 11, 14, 11, 15, 12, 16, 17, 18],
[-1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,...
0
票
1
回答
159
閲覧数
python Pandasで、テーブル解析後、行数が足りません。
Python pandasでテーブル解析しましたが、どのサイトでも行数がサイト通りに解析できません。
以下、コードです。
import pandas as pd
url = 'https://weather.time-j.net/'
dfs = pd.read_html(url)
print(dfs[1].head())
結果です。
都市名 今日の最高気温 最高気温の平年値 ...
1
票
1
回答
5,312
閲覧数
Pandasでグループごとに連番を付与する方法
Pandasのdataframeで、複数列の組み合わせ別に連番を付与する方法を教えていただきたいです。
具体的には、「ID」「日付」「店」の組み合わせごとの連番を、「カウント」という列を作成してそこに入れたいです。
「ID」「日付」「店」があったとして、連番を格納する「カウント」の値は、以下のイメージです。
df = pd.DataFrame({'ID': [1,1,2,2,2,3,3,3,3,...
0
票
2
回答
208
閲覧数
pythonを使用して複数のcsvデータを操作
pythonを使用して2つのcsvファイルを一つにまとめたいと考えております。
【list1】
route_node,X,Y
50775,-7882.7599,-43837.4058
50774,-7886.58284,-43851.12686
50772,-7895.8552,-43835.9677
【list2】
id,x,y
57136,-10171.54496,-44468.08496
...
1
票
2
回答
1,656
閲覧数
pandasで、複数列に対応するヘッダをCSVで出力したいです。
実行環境
pandas 0.25.3
Python 3.7.4
やりたいこと
pandasのDataFramdeを使って、下図のような表をCSVとして出力したいです。
試したこと
以下のPythonコードを実行しました。
dict_table = {("user1", "plan"): [1, 11],
("user1", "work"): [2, 12],
...
1
票
1
回答
996
閲覧数
pandasの dataframeに列を追加し、リストの要素をセットする方法を教えてください
以下のソースのようにpandasでdataframeを作りました。
一番下の行のコードで、「C列を追加し1行目にリストをセット」したいです。
しかし、エラーが出ます。
理由が分かりませんでした。
どうすれば回避できるでしょうか?
下から2行目のコードで「A列1行目にリストをセット」は出来たのですが。。。
import pandas as pd
df2 = pd.DataFrame(columns=...
0
票
1
回答
3,963
閲覧数
pythonのpandasを使用したcsvデータの列の追加
pythonのpandasを使用して元のcsvファイルの特定の列(detime)を読み込み、既存のcsvファイルに追記したいと考えております。
default_list_4.csv (元ファイル)
x,y,botime,detime,eldid,firev
-11321.9,-44284,0.923816,1.03909,1298,100
-11716.1,-46828.7,0.517662,...
0
票
0
回答
240
閲覧数
pythonのmatplotlib
一番下に載せたカンマ区切りのcsvファイルを、contourで等高線にしたいです。
空白欄のNANの部分を0に置き換えた上で下記のコードで実行すると、等高線は出てくるのですが、0という値は考えないので本当は出てきてほしくないです。
・NANの空欄ところの処理はどうすれば良いのでしょうか?
・y軸の値は0.01〜1.00なのに、実行すると0~100になってしまうのはなぜでしょうか?
・...
0
票
1
回答
338
閲覧数
fill_betweenでwhereを認識させたい
plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?)
知っている方はぜひ教えていただけると助かります。
import matplotlib.pyplot as plt
import numpy as np
f1 = np.loadtxt(filepath1)
f2 = np.loadtxt(...
0
票
2
回答
2,145
閲覧数
pandasで条件に応じてcsvから行を削除したい
Pythonのpandasでcsvを読み込み、条件に従って行を削除し、新たなファイルに出力したいと考えています。
csvファイル (list1.csv) が以下の時、『time2』に着目し、time2が1.0以下のものの中からtime2の値が小さい順に3つ削除する為には、以下のスクリプトで実行できるかと思います。
list1.csv
[time1,time2][0.27,0.45][0.28,...
0
票
0
回答
465
閲覧数
pandas Typeエラー
python pandas学習中の初心者です。
https://note.nkmk.me/python-pandas-where-mask/
こちらのサイトを参考にして print(df < 0) を実行したところ、下記のエラーが表示されます。
回避方法をご教授お願いします。
DataFremeデータサンプル
>>> df
A B C D
0 -20 ...
1
票
0
回答
58
閲覧数
ilocを使用した際のindex値の抽出
以下の様にilocでデータを抽出した場合、
そのindex値を取り出す(2010-03-09)を取り出す方法はありますか?
data.iloc[2500]
Open 925.69
High 927.79
Low 923.60
Close 924.38
Name: 2010-03-09 00:00:00, dtype: float64
data.iloc[2500]...
0
票
1
回答
3,679
閲覧数
PandasでCSVファイルの読み込みに失敗してしまう
macでpythonからcsvを読み込む場合はどのように設定すれば良いでしょうか?
下記のようなコードを作成しましたが、実行するとエラーが表示されます。
コード
import pandas as pd #pandasをpdとしてインポート
df = pd.read_csv("/Users/ha/Desktop/tati.csv", encoding="utf-8_sig")
print (...
0
票
3
回答
6,752
閲覧数
インストールした外部ライブラリが import 出来ない
Pythonでcsvを読み込んで加工して分析みたいなことをしたいと思って、
Python3.7とpycharmをインストールしました。
csvの読み込みにはpandasだと記事で読んだので、まずpandasを入れてインポートしようとしたのですができず・・・具体的には以下です。
ターミナルでpip show pandasと実行したら、以下が出てきたのでインストールはできているんだと思います。
...
0
票
1
回答
2,861
閲覧数
pandasで日付時刻、数値のcsvファイルを読み込んでグラフ化したい
プログラミング初心者です。お見苦しく申し訳ありません。
日付時刻、数値だけのcsvファイルを読み込んで、グラフ化したいだけなのですが、多くのサイトを回って参考にしてもエラーが無くなりません。
ずばり、修正案をいただけないでしょうか。
1)読み込むcsvファイル
time,count
2019/09/13 10:00:00,5123
2019/09/13 10:00:01,4872
2019/...
0
票
1
回答
360
閲覧数
Pythonのpandasでindexでマージ
もとのデータフレームから一列だけ抜き、更にdropnaしてその後処理を施し、もとのデータフレームにマージしようと試みています。
マージキーになるようなものがデータにないため、indexを使ってマージしようと考えていますが、dropnaするとnanである部分のindexが歯抜けになるのではなく、上から0スタートで振り直されてしまいます。
これを回避する方法はないでしょうか。
詳しい方、...