[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
417
質問
0
票
1
回答
763
閲覧数
Pythonで特定の文字列を含むかをcontains()を使って判断する関数
Pythonでtrain['name']という文字列項目に対して、特定の文字列(例えば、"aaa")を含む場合は"1"、含まない場合は"0"となる項目(train['test'])を別で作りたいと思っています。その際、以下のような関数(kansu1やkansu2)を作り、apply関数でセットしようとしたのですが、...
0
票
1
回答
122
閲覧数
matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'
VSCodeで以下のプログラムを実行するとエラーメッセージが表示されグラフが表示されません。解決法がありましたら教えて下さい
エラー
例外が発生しました: TypeError unhashable type: 'numpy.ndarray'
コード:
import pandas as pd
df =pd.read_csv("csvファイルのパス")
df.head()
x = ...
0
票
1
回答
117
閲覧数
DataFrame型データのexcelファイルへの出力
pandasにより取得したDataFrame型データをexcelファイルに移す作業を行いました。
9行ごとに5つの表が貼り付けられている状態を予想していましたが,結果は5つ目の表のみ想定通りの位置に貼り付けられている状態でした。(下図のような感じ)
また表データは6行6列のデータです。
DataFrame型データをexcelファイルに出力するたびにすべてのセル情報が上書きされると考え,...
0
票
1
回答
1,337
閲覧数
pandas groupby で集計を行った列の列名
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧金','鎧銀'],
'カテゴリ':['戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','外部有識者','管理者','...
0
票
1
回答
218
閲覧数
python pandas データフレームにおける各要素をリストではなくしたい
ほぼ初心者なので、見当違いのこと言ってるかもしれませんがご教授よろしくお願いします。
添付した画像上部のように、約4万行×1列に約100~200個(各行によって個数はまちまち)の0、1、2のいずれかが並んだデータがあります。
これを、約100~200個の0、1、2の並びを分割して約4万行×100~200列(欠測の要素は#N/Aや-などで表現したいです)のデータに変換したいです。
...
0
票
1
回答
757
閲覧数
pandasのデータフレームをスプレッドシートへ反映したい
スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。
やりたいこと
データフレームをスプレッドシートの最下部に追加したい
コード:
import pandas as pd
import gspread
import csv
import json
from oauth2client.service_account ...
0
票
1
回答
1,917
閲覧数
Pandas でのデータ結合時にエラーが発生する
seriesに対し、日付をkeyにしてmerge_df1を左外部結合の下記のプログラムを実行するとエラーが発生するのですがなぜなのでしょうか?
import numpy as np
import pandas as pd
series = pd.Series(['1/1', '1/2', '1/3', '1/4', '1/5', '1/6','1/7',
'1/8'...
0
票
1
回答
934
閲覧数
pd.read_htmlがうまく機能しない
以下のURLからテーブルデータを取ろうとしていますが、片方のURLの場合(aa1)だけうまくいきません。
これは取ってくるデータの文字列に何か原因があるのでしょうか。また、色々他のサイトで調べた結果、encoding="cp932"と行ってもうまくいきませんでした。
例えば、
import pandas as pd
aa0 = "https://db.netkeiba....
0
票
2
回答
408
閲覧数
JSONファイルのエラー箇所の特定
Python 3.9.10を使っています。
JSONファイルを読もうとしたときに、
import pandas as pd
json_file = open(ファイルパス, 'r', encoding='utf-8')
df = pd.read_json(json_file)
というようなことをやっていますが、エラーが出ることがあります。エラーの意味することが何なのかというかということは、...
0
票
2
回答
213
閲覧数
`df.groupby("user").resample("W",on="date",label="left",closed="left")[["count"]].sum()`を実行したときに`KeyError`が発生する原因を教えてください。
実行環境
Python 3.10.2
pandas 1.4.1
やりたいこと
以下のpandas.DataFrameに対して、userごとにcountを1週間単位で集計したいです。
In [1]: df=pandas.DataFrame({"count":[1,2,3], "working_hours":[6,7,8], "user"...
0
票
1
回答
268
閲覧数
pandas.DataFrame.resample関数の`label`引数, `closed`引数のデフォルト値は、なぜ特定の条件だけ`right`なのでしょうか?
やりたいこと
以下のデータのcountを、1週間単位(日曜日始まり)で集計した値を算出したいです。
In [1]: df=pandas.DataFrame({"count":[1,2,3],
"date": pandas.date_range('2022-03-13', periods=3, freq='D')})
In [2]: df
Out[2]:
...
0
票
1
回答
1,550
閲覧数
pandasで任意の位置の値に代入locの利用方法について
Pythonのpandasのライブラリを使って
任意の位置の値に代入したいです。
ExcelからYahooの交通費検索して取得した金額の値を
金額の列に値を入力したいです。
既に入力しているもの除外しております。
Excel Data
出発
到着
金額
備考
東京
品川
池袋
浅草
新宿
五反田
168
20211222利用済み
実現結果のExcel Data
出発
到着
金額
備考
...
0
票
1
回答
877
閲覧数
pandasのリスト要素を加算するときにNaNになることを避ける方法
DateFrameの複数の列にそれぞれリストが格納されているときに、リスト内の値を結合して1つのリストを生成したいです。列の値としてNaNが含まれていない場合は列同時を結合すれば実現できたのですが、NaNが含まれる場合に結果がNaNとなってしまいます。NaNを除いて処理を行うにはどうすればよいでしょうか?
import pandas as pd
import numpy as np
...
0
票
1
回答
414
閲覧数
Pandas でエクセルファイルを取り込んだデータフレームの name で AttributeError が発生する
以下の記事を参考に作業しています。
Excelシートをデータフレームとして読み込む
pd_xl = pd.ExcelFile(<略>)
temp_df = pd_xl.parse(sheet_name=<略>, names=<略>)
temp_df = temp_df.fillna('-')
print('temp_df.name-->', ...
0
票
2
回答
1,660
閲覧数
Beautiful Soup4で動的なクラス名自体を取得するには?
BS4初心者、というかWebスクレイピング初心者です。
スクレイピング対象のサイトの作りが表データと表を説明するデータで構成されており、Pandasを使い表データ取得や加工等はできるようになったのですが、表以外のデータの取得も必要となりBeautifulSoup4を併用することで考えています。
取得する必要があるのは動的に変更となるclass名自体になります。
...
0
票
1
回答
506
閲覧数
PandasのDataFrameのplotメソッドで、同軸グラフの表示順を指定したい
PandasのDataFrameのplotメソッドで、折れ線グラフに、追加で横棒グラフを表示させたいのですが、
表示順(zorder)の指定ができず困っています。(現状は棒グラフを半透明色にしてごまかしています。)
棒グラフを最背面へ、凡例を最前面へ表示を指定することは可能でしょうか?
# zorderが効かない例(pd.DataFrameのplotメソッドを利用)
import pandas ...
0
票
1
回答
1,454
閲覧数
pythonとcsvファイルを使って3次元グラフを作りたい
pythonとcsvファイルを用いて3次元グラフを作りたいです。
画像のようなCSVファイルを用いて三次元グラフを作ることを目標としています。(エクセルで開いているのでコンマの位置でセル分けされています。)
pos=768,列はAMKまで存在しています。
この画像中の9行目がx軸、A列がy軸に該当し、中のデータがz軸で表現される量に該当します。
...
0
票
1
回答
1,409
閲覧数
pandasにて末尾."0"ゼロを削除をする方法
やりたいこと
Excelからデータを読み込み,.0"ゼロを削除したいです。
Excelのデータ
番号 番号2 備考
123043449019 0123479020 有
0123499020 無
123043449020 有
pythonのデータを読み込むとき
...
0
票
1
回答
4,043
閲覧数
Python でのValueError: Length mismatchへの対処が分かりません。
以下のコードで突然ValueError: Length mismatchが出てきて、対処の方法が分かりません。同じ証券コードを繰り返し取得したからかと思ったのですがそうではなく、昨日までは問題なく動作していたためどこを改善してよいかも不明です。
解決策を教えていただけますでしょうか。
%matplotlib inline
import pandas as pd
import matplotlib....
0
票
1
回答
3,463
閲覧数
ValueError: Length of values (2) does not match length of index (5) が起こる
pandasの = の動きを理解しないまま、推測でコードを書いています。
まず、下記のように書くと動くことが確認できました。
import matplotlib.pyplot as plt
import pandas as pd
df = pd.DataFrame({
'date': ['01-01', '01-02', '01-03', '02-01', '02-01'],
'...
0
票
1
回答
223
閲覧数
pandasオブジェクトとmatplotlibの関係がわからない
まず、pandasは関係なくmatplotlibにシンプルにデータを渡す書き方だと下記になると思います。
該当ドキュメントはおそらくこちら
https://matplotlib.org/stable/api/_as_gen/matplotlib.pyplot.bar.html
書いてみたコード:
import matplotlib.pyplot as plt
import pandas as pd
...
0
票
2
回答
347
閲覧数
pandasでログデータに対してセッションIDを付与したい
以下のようなログデータに対してpandasでセッションIDを付与したいのですがやり方がわかりません。
user time
0 2020-05-23 00:01:19
0 2020-05-23 00:13:32
1 2020-05-23 00:13:45
0 2020-05-23 12:59:45
2 2020-05-23 13:13:13
1 2020-05-...
0
票
1
回答
891
閲覧数
ヒストグラムの階級を500区切りにしたい
下記のコードを書いてみました
import matplotlib.pyplot as plt
import matplotlib.ticker as ticker
import pandas as pd
import seaborn as sns
df = pd.DataFrame(
{
'value': [
5060,5000, 4400, ...
0
票
1
回答
576
閲覧数
ヒストグラムの縦軸の数が小数になる
下記のようなコードを書きました。
import matplotlib.pyplot as plt
import pandas as pd
import seaborn as sns
df = pd.DataFrame(
{
'value': [
5000, 4000, 2500, 1100, 1000, 900, 800,
...
0
票
1
回答
679
閲覧数
リストにデータフレームを追加できない
Python3.7.6です。
リストにデータフレームを追加しようとしているのですが、str型と判断されてしまっているのかうまくいきません。
実行結果は以下のとおりです。
filesはfunc関数で読み込むときのファイルパスが入っているリストです。
lst = list()
for i in files:
lst.append(func(k=files[i]))
TypeError: ...
0
票
1
回答
727
閲覧数
PythonでExcelからデータ読込後、ブラウザで検索
やりたいこと
Excelからデータを読み込み,yahooで交通費検索したいです。
各項フィルドごとで作業を繰り返したいです。
以下のサイトと同様な処理をPandasで実現したい。
参考:
PythonでExcelからデータ読込→サイトで交通費検索→Excelへデータ書込
Pythonでエクセルから情報を取得して検索エンジンに入力!
Excelのデータ
日付 出発 到着 ...
0
票
1
回答
789
閲覧数
PythonでCSVから特定の列を読み込みメール送信 [クローズ済み]
Pythonで下記の条件でメールを送信したいです。
① csvの 特定の列 だけを抽出した pandasのDataFrame を作成する
② 作成したDataFrameの 1行目と2行目(indexは0と1) に対して③~⑤の処理を行う
③ 処理対象行の 各列の列名とデータを抽出してそれぞれに改行コードを付加し、連結する
④ 抽出・連結した各列名+データを、さらに改行コードで連結する
⑤ ...
0
票
1
回答
1,811
閲覧数
CSV ヘッダーの追加と列名の順番変更について
Pythonで既存のcsvにヘッダーの追加と列名の順番変更を行いたいです。
データ毎回不定期に変わります。下記の①〜③条件で変わります。
①既存のCSV 順番の変更
A B C D E F
test1 test2 test3 test5 test4 test6
②既存のCSV D,Fの列がない時
A B C ...
0
票
2
回答
1,182
閲覧数
pandas で標準入力からデータ読み込む方法
pandas で標準入力 (STDIN) から read_csv のように読み込むこと可能でしょうか?
STDIN を変数に入れて、それを stringIO にして読み込むのは可能なのですが、もっとスマートにやる方法はないでしょうか?理想としては、jupyter 環境でストリーム(標準出力など)を設定して、次に、そのストリームをpandas で読み込むようなことをしたいです。
0
票
1
回答
84
閲覧数
dropna(axis=1)とdropna(axis=0)で出力された内容が同じになるのはなぜですか?
pandasのdropnaについて質問です。一通りpandasなどをインポートした後に
今、df1のような欠損値ありのExcalデータを作って、試しています。
データは以下の通りです。
[In]
df1=pd.read_excel('mo.xlsx')
print(df1)
[Out]
T A B C
0 2 2.0 5.0 1.0
...
0
票
1
回答
1,110
閲覧数
データフレームの2列から辞書を作る際、keyが重複しているのでvalueをリスト化する方法
データフレームから
dic1 = dict(zip(df['pid'], df['nid']))
を使って辞書を作りたいのですが、
pidに重複があるためうまくいきません。(おそらく上書きが起こっています。)
(pid, nid) = {'8':'11', '8':'19'}
の際はkeyが重複していればvalueがリストになるように、
この場合だと{8:[11,19]}
のようにしたいです。
(...
0
票
1
回答
154
閲覧数
Pandasにおいて、IDでグループ化してからデータ削除を行いたい
Pandasで以下のdfを処理しようとしています。A列(ID)が同じデータのうち、E列において、後ろに0がない1の値が不要であり、削除したいです。つまり、13、14行目はA列(ID)が3であり、ID=3において後ろにE列の値に0がないので削除したいです。(21行目のID=5においても同様)
初心者にもわかりやすい方法があればご教示いただけますでしょうか。
A B C D E ...
0
票
1
回答
102
閲覧数
pandasで少し複雑なデータの選択を行いたい
Pandasでデータ処理をしています。以下のデータセット(df)で、 A列(IDです)の値が2の行ではE列の値が1のみ(0が存在しない)4の行ではE列の値が0のみ(1が存在しない)です。このようなデータから、E列の値が0と1の両方を含むデータだけを取り出したいです。(A列が2と4の行を削除して、A列が1、3、5の行だけを残したいです。)
何か良い操作があればご教示くださいませんか?
A ...
0
票
1
回答
157
閲覧数
Pandasで行の削除をしたい
以下のようなデータをPandasで扱っており、A列が連番になるように行を削除したいです。
(2-13行目、15-21行目を削除してA列の数字が1,2...になるようにしたいです。)
良い方法があればご教示くださいませんか?
対象のデータ:
A B C D E F
1 1 0 0 0 4 1163.7
2 1 0.8 0.8 2.2 0 ...
0
票
2
回答
99
閲覧数
pandasの表の処理方法に悩んでいます
pythonのpandasを使ったデータ加工方法で悩んでおります。
どなたかご教授お願いいたします。
以下のようなデータを加工したいです。
このデータを
import pandas as pd
pd.DataFrame([[1,'ame', 30,'hare',40],[2,'kumori', 20,'kosame',30]], columns=['id','today_tenki', '...
0
票
1
回答
9,490
閲覧数
pandasで欠損により小数点がつく問題を回避したい
psycopg2でデータベースからSQLでデータを取得し、データフレーム化していますがその際欠損のあるbigint列がfloatになってしまいます。
Pandasで加工した後、DBに戻したいと考えているのですがfloatだとエラーが出てしまいます。
ERROR: invalid input syntax for type bigint
整数値でも .0 となっているのが原因のようです。
...
0
票
1
回答
497
閲覧数
Pandasで文字列に対して関数を適用したい
Python3.7です。
df['cnt'] = df.x1.count('$')
として、x1列(文字列)に出てくる$の回数を数えた列を作ろうと考えていますが、
KeyError: 'Requested level ($) does not match index name (None)'
とエラーが出てしまいます。
どう対処すればよろしいでしょうか。
追記
df.x1.str.count('...
0
票
1
回答
1,249
閲覧数
pandasでcsvファイルを読み込むとinvalid character in identifier
resasからダウンロードした人口データcsvファイルをpandasに読み込みたいが、
以下のエラーメッセージが発生した。
df File "<ipython-input-13-5abd90abec15>", line 4
df = pd.read_csv(url, encoding="SHIFT-JIS")
...
0
票
1
回答
2,725
閲覧数
DataFrame からタイムゾーンを削除したいがうまくいかない
以下の DataFrame があります。
install_t
0 NaT
1 2020-03-28 19:31:22.159174+09:00
2 NaT
3 2019-12-31 10:38:38.165566+09:00
4 ...
0
票
1
回答
162
閲覧数
MultiindexなSeriesを表形式に変換する方法
以下のようなデータがあります。
sample code:
import pandas as pd
arrays = [np.array(['bar', 'bar', 'baz', 'baz', 'foo', 'foo', 'qux', 'qux']),
np.array(['one', 'two', 'one', 'two', 'one', 'two', 'one', '...
0
票
1
回答
119
閲覧数
Pandasで予め商品ごとのメーカーリストを使用し、仕入れリストの商品詳細からメーカーを特定・自動入力したい。
Pandasにて以下の処理を行いたいです。
DataFrame1
DataFrame1 は仕入れリストです。
A, B, C, D は商品名とします。
%は関係ない文字・数字とします
DataFrame 2
<実行したいこと>
①DataFrame1に、"Marker"という列を追加します。
②DataFrame1の"Product_Description&...
0
票
1
回答
531
閲覧数
pandasで列を選択する際、startswithやendswithと同じ操作を使いたい
Pandasで条件に当てはまる列だけ同じ変換をしたい
という質問を以前させていただき、回答をいただきましたがcontainsではなくstartswithやendswithのパターンの際は正規表現を利用する以外にやり方はありますでしょうか。
同じような質問になるかもしれませんが、
SASでのkeepはRやPythonではどのように書くのか
のように、データフレーム上の列を選択して少なくしたいとき、...
0
票
1
回答
1,345
閲覧数
import pandas で、pandas/init.py に対して SyntaxError がでます。
ターミナルで python ファイルを実行したとき、以下のエラーがでます。
python パス/ファイル名.py
Traceback (most recent call last):
File "/Users/xxx/Desktop/Python/test.py", line 5, in <module>
import pandas as pd
File "/...
0
票
1
回答
3,948
閲覧数
複数のdataframeをfor文で回したい
df_1, df_2, df_3 とカラムがすべて同じなデータフレームがあるとき、
df_1['year'].shape
df_2['year'].shape
df_3['year'].shape
上記を for 文で回したく、
for i in (1,2,3):
df_(i)['year'].shape
のように実現したいのですが、どのようにすれば自動化できますでしょうか?
0
票
1
回答
1万
閲覧数
pandasで'DataFrame' object has no attribute 'split'のエラーを解決したい
CSVからpandasで読み取った"/"で数字のまとまりごとに区切ってある文字列(OIDカラムの数字の文字列)をsplitで分割して再度、リスト化したいのですが、タイトルにあるエラーで上手く実装できません。
何かアドバイスを頂ければ幸いです。
よろしくお願いします。
read_csvの結果
OID
0 1618544796/...
0
票
1
回答
475
閲覧数
pandas リストデータフレームから参照して列を追加したい
先日、pandas 別のデータフレームから参照して置換する方法を質問した者です。
上記は解決したのですが、下記のデータフレームで参照する方法が上手くいきません。
[例]
[df2]を参照して、'City'に対応するCityCodeを[df1]に追加したい
import pandas as pd
df1 = pd.DataFrame({
'Name': ['John', 'Milke', ...
0
票
1
回答
5,109
閲覧数
pandas 別のデータフレームから参照して置換する方法
プログラミング初学者です。
pandasでのデータフレームに関しての質問です。
2つのデータフレームで要素が一致したら置換する方法で苦戦しております。
[例]
[df1]
id, fruits
1, ringo
2, mikan
3, suika
[df2]
id, fruits_en, fruits_jp
1, apple, ringo
2, watermelon, suika
3, ...
0
票
1
回答
1万
閲覧数
pip instal pandasでホイールを構築できないとなります
python初心者です。
環境はWindows10、Python 3.8.0です。VScodeを使っています。
pip install pandas を実行すると以下のように表示されます。
Could not build wheels for numpy, since package 'wheel' is not installed.
Could not build wheels for ...
0
票
1
回答
9,356
閲覧数
pandas 日付のソートが上手くいきません
pandasにてソートを行なったのですが、日付(判明日)の部分だけ、上手くソートされません。日の部分が二桁の際には上手く並び替えられているのですが、どうしても日が一桁の日時が無視してソートされてしまいます。どのようにすれば解決するでしょうか。
df_sort=df3.sort_values(["居住地","判明日"])
df_sort.head(50)`
0
票
1
回答
2,779
閲覧数
pandas dataframeの列名に〇〇を含む要素を抽出しさらに値にフィルターをかける方法
下記のdataframeに対して
「labelが1かつ列名にP1を含む列の値が1以上かつ列名にP3を含む列の値が1以上の要素を抽出」
という処理を加えたいです。
Pythonコードの例をご教示頂けますでしょうか。
dataframe
↓
↓
Output data
(labelが0のもの以外にも、列名にP1とP3を含む列の値が全て0のものも抽出していない)