[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
266
質問
2
票
1回答
358 件の閲覧数
特定の文字列を含む行にフラグを立てる関数を作成したい
下記のデータフレームに対し、
> df = pd.DataFrame({'pref': ['東京都', '神奈川県', '北海道', '埼玉県', '千葉県', '静岡県',
> '長野県'],
> 'city' : ['渋谷区', '横浜市', '函館市', '浦和市', '浦安市' , '浜松市', '岡谷市']})
"...
0
票
1回答
321 件の閲覧数
pandas-highcharts でグラフが描画されない
実現したいこと
取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。
該当のソースコード
from pandas_highcharts.display import display_charts
df = ... # ...
0
票
1回答
161 件の閲覧数
PythonでExcelからデータ読込後、ブラウザで検索
やりたいこと
Excelからデータを読み込み,yahooで交通費検索したいです。
各項フィルドごとで作業を繰り返したいです。
以下のサイトと同様な処理をPandasで実現したい。
参考:
PythonでExcelからデータ読込→サイトで交通費検索→Excelへデータ書込
Pythonでエクセルから情報を取得して検索エンジンに入力!
Excelのデータ
日付 出発 到着 ...
0
票
1回答
62 件の閲覧数
PythonのStyleFrameでエクセルに上書きせず追記できるようにしたい
StyleFrame を使ってエクセルに上書きせずに保存したいのですがうまく行きません。
試したことは with StyleFrame.ExcelWriter(s_path,mode='a') as writer: です。
これではエラーになってしまって出来ませんでした。
教えていただけたら嬉しいです、よろしくお願いします。
0
票
1回答
41 件の閲覧数
pandasで数列の各値を一定区間のstdevを計算してそれで割り算したいとき
いつもお世話になっております。
【背景】
株の価格をpriceに格納して、そのsmaを窓関数を使って以下のように求めてます
sma8 = pd.Series(price).rolling(8).mean().values
sma24 = pd.Series(price).rolling(8).mean().values
【やりたいこと】
概念のようなものを書きます。
sma20_std = ...
2
票
2回答
120 件の閲覧数
Pythonのdataframeで、各時刻ごとにデータをグループ化して相関を計算する方法
背景
時系列データの分析を行おうと思っております。
各時刻ごとにseriesを作ってcorrを出そうとしているのですが、NaNになってうまく参照できません。(おそらくデータフレームのインデックスが悪さをしているものと思われます)
row_dataは以下で指定したデータフレームです。
ドル円の価格データ、時刻(UTC)を格納してます。
row_data = pd.DataFrame()
...
1
票
1回答
442 件の閲覧数
pandas DataFrameから特定列の値が複数の候補のいずれかで抽出する方法
以下のようなpandas DataFrameがあります。
import pandas as pd
import numpy as np
df=pd.DataFrame(np.arange(30).reshape(10,3),columns=pd.Index(['one','two','three']))
twoカラムで数値が22の行を取得するには以下のようにしています。
df[df['two'...
0
票
2回答
1,084 件の閲覧数
Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2
複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。
1、データの確認をしました
import pandas as pd
file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv"
df1 = pd.read_csv(file_path, ...
0
票
2回答
60 件の閲覧数
dataframe内の数値から文字列に変換する方法
file_name expression
0 test_0000.jpg 1
1 test_0001.jpg 0
2 test_0002.jpg 0
3 test_0003.jpg 0
4 test_0004.jpg 2
... ... ...
307 test_0307.jpg 1
308 test_0308.jpg 0
309 ...
2
票
1回答
89 件の閲覧数
Dataframeにネストした辞書を一つずつ追加していく方法
下記1、2の処理で辞書をDataframeに一行ずつ追加していく方法を教えてください。
下記ocのvalueを更新
oc_dfに一行ずつvalueを追加
1、2を繰り返してoc_dfを更新
oc_dfに追加する行はリングバッファのように更新して最大10行としたいのですが中々うまくいきません。
PTPSYNC = "hoge"
SWD1 = "delay"
...
0
票
1回答
577 件の閲覧数
クリップボードにコピーしたweb上の表をエクセルファイルに張り付けるコードをPythonで書きたい
対象のwebサイトは鍵付きのためスクレイピングが使えないので、クリップボードにコピーしてからエクセルにペーストするコードを書きたいと考えています。
クリップボードにコピー→データフレームとして読み込み→CSV変換→エクセルに張り付けとしたいのですが、最初の段階で pandas.read_clipboard() を使おうとすると以下のエラーが出てうまくいきません。
エラーメッセージ
...
1
票
2回答
1,346 件の閲覧数
2つのDataframeで期間重複するIDを抽出したい
python3とpandasを使っています。
df1,df2の2つのDataframeのうち同じIDの人物の日付を比較し、期間重複がある行のIDを取り出したいです。
実際には10万行ほどあります。
data1 = [[1, "2010-01-01", "2010-01-20"], [1, "2010-03-20", "2010-03-30"],
[2, "2010-02-01", ...
0
票
1回答
889 件の閲覧数
エクセルで数値以外(文字、空白行等)の行を削除したい
Pythonでエクセルの数値以外(文字、空白行等)の行を削除したいのですが、
どのようにすればよいでしょうか?
空白行の削除だけならば、以下のコードでなんとか実現できたのですが、
文字や記号などを含む行削除方法がなかなかネットでも見つかりません。
ご存じの方、ご指導頂ければありがたいです。
よろしくお願いいたします。
■空白行の削除
df = pd.read_excel('target+...
1
票
1回答
2,260 件の閲覧数
Pandasでグループごとに連番を付与する方法
Pandasのdataframeで、複数列の組み合わせ別に連番を付与する方法を教えていただきたいです。
具体的には、「ID」「日付」「店」の組み合わせごとの連番を、「カウント」という列を作成してそこに入れたいです。
「ID」「日付」「店」があったとして、連番を格納する「カウント」の値は、以下のイメージです。
df = pd.DataFrame({'ID': [1,1,2,2,2,3,3,3,3,...
3
票
3回答
58 件の閲覧数
dataframeの各列を1列目の値で引きたい
dataframeの各列を1列目の値で引こうとし、以下のコードで試みたのですが、計算結果のdf2を見ると、1列目は自身の値で引いているので当然0になりますが、他の列は1列目で引かれていなものが返されてしまいます
こちらどのように書き直せばよいか、ご教示いただけると幸いです
df2=df
for i in df.columns.values :
df2[i]=df[i]-df.iloc[:,...
1
票
1回答
92 件の閲覧数
Pythonで特定の列を抽出しメールで送信する
csvの日付と内容の列だけを抽出し、昨日の日付だけが含んだ列だけを抽出しメールを送信したいです。
下記のコードで記載しましたが、エラーが発生します。
ilocではdataframeがemptyだとエラーになるからだと思います。
① csvの 特定の列 だけを抽出した pandasのDataFrame を作成する
② 昨日の列だけを抽出する
③ 作成したDataFrameの 1行目と2行目(...
0
票
1回答
142 件の閲覧数
PythonでCSVから特定の列を読み込みメール送信 [クローズ済み]
Pythonで下記の条件でメールを送信したいです。
① csvの 特定の列 だけを抽出した pandasのDataFrame を作成する
② 作成したDataFrameの 1行目と2行目(indexは0と1) に対して③~⑤の処理を行う
③ 処理対象行の 各列の列名とデータを抽出してそれぞれに改行コードを付加し、連結する
④ 抽出・連結した各列名+データを、さらに改行コードで連結する
⑤ ...
2
票
3回答
88 件の閲覧数
Python 3.8.5 seriesでの正規表現を用いた文字列検索について
tpye を見ると <class 'pandas.core.series.Series'> というデータになっています。
このデータに含まれる文字列検索をしたいと思っています。
match = Series_data[Series_data == "F:\\"]
とやると、目的の結果が得られています。(今のところそう見える)
実際には、...
1
票
2回答
175 件の閲覧数
pandas で標準入力からデータ読み込む方法
pandas で標準入力 (STDIN) から read_csv のように読み込むこと可能でしょうか?
STDIN を変数に入れて、それを stringIO にして読み込むのは可能なのですが、もっとスマートにやる方法はないでしょうか?理想としては、jupyter 環境でストリーム(標準出力など)を設定して、次に、そのストリームをpandas で読み込むようなことをしたいです。
0
票
1回答
194 件の閲覧数
Python の正規表現で特定の文字列を抽出する関数の定義
下記のように、URLを格納したデータフレームがあります。
こちらに、特定のパラメータの値を抽出し、新しい列を作って代入したいと考えています。
df = pd.DataFrame({'ulr' : ['https://www.shop.jp/shop/pro_source=google&pro_md=list_1&pro_cp=sweets_&gclid=?...
0
票
0回答
43 件の閲覧数
0
票
1回答
257 件の閲覧数
fill_betweenでwhereを認識させたい
plt.fill_betweenでgreenの部分しか表示されません。どうすれば意図したグラフが得られるでしょうか? (-が入っているから認識されない?)
知っている方はぜひ教えていただけると助かります。
import matplotlib.pyplot as plt
import numpy as np
f1 = np.loadtxt(filepath1)
f2 = np.loadtxt(...
0
票
0回答
82 件の閲覧数
pandas 1.2.0 で、行ごとの加算値を求めたい
pythonのpandasで、ゼロ列目(行名)が日付になって、1列目以降は整数データのみのデータフレームなのですが、いままでは、
df['加算結果'] = df.sum(axis=1)
という具合に日にちごと(=行ごと)の加算値が計算できていました。
最近、pandasをアップデートしたことが問題らしく、
TypeError: Addition/subtraction of integers ...
1
票
1回答
1,039 件の閲覧数
pandasを使った場合のexeファイルへの変換方法
コード中にpandasを使用したファイルをpy2exeを使って、
exeファイルにコンパイルしましたが、実行できません。
exeファイルは一応作成されるのですが、ファイルサイズが異様に大きく、
実行すると次のエラーが出力されてしまいます。
OMP: Warning #178: Function GetModuleHandleEx failed:
OMP: System error #126: ...
1
票
1回答
788 件の閲覧数
to_csvのエラー
データフレームをcsvに出力したいのですが、to_csvが機能しません。resultというデータフレームを
result.to_csv('ディレクトリ名/ファイル名.csv',encoding='shift-jis')
で出力しようとしても、下記のようなエラーが出てしまいます。
FileNotFoundError: [Errno 2] No such file or directory: '...
0
票
2回答
82 件の閲覧数
リストを作るときに、必要な要素数になるまで回したい
データセットを作成したい。そこで以下のコードに改良を加えたい。
コードで計算されているDisが、1<Dis<2の間に収まるようにしたい。
つまり、それ以外の値を取るDisの行の組み合わせは捨てたいです。
しかし、最終的に得られるP_sample_2のデータは10×6の行列になるようにしたい。
どのように考えるのがよいでしょうか?
P_sample = []
PP_sample = []
...
0
票
1回答
476 件の閲覧数
pandasでcsvファイルを読み込むとinvalid character in identifier
resasからダウンロードした人口データcsvファイルをpandasに読み込みたいが、
以下のエラーメッセージが発生した。
df File "<ipython-input-13-5abd90abec15>", line 4
df = pd.read_csv(url, encoding="SHIFT-JIS")
...
0
票
1回答
290 件の閲覧数
CSV ヘッダーの追加と列名の順番変更について
Pythonで既存のcsvにヘッダーの追加と列名の順番変更を行いたいです。
データ毎回不定期に変わります。下記の①〜③条件で変わります。
①既存のCSV 順番の変更
A B C D E F
test1 test2 test3 test5 test4 test6
②既存のCSV D,Fの列がない時
A B C ...
1
票
1回答
399 件の閲覧数
pandasでグループごとの箱ひげ図を作る方法
pandasにて、下のようなデータを写真のような箱ひげ図で表すにはどうすればよいですか?
import numpy as np
import pandas as pd
df = pd.DataFrame({
'group':np.random.choice(['A','B','C'], 10),
'test1':np.random.randint(1, 100, 10),
...
0
票
1回答
235 件の閲覧数
得られたデータ(deque)を書式に合わせてcsvに出力したいです.
現在,筋電センサを用いて動作推定するプログラムを作っているのですが,個人学習する際に得られるデータをトーレーニングデータの書式(csv)と同じようにcsvに出力したいと考えています.使用している筋電センサは8電極あり,8行1列の行列値でデータが取得できます.
例 deque([160067619223897, [-12, 13, 2, 4, 1, 4, 0, 0])のような形式で表示されます.
...
0
票
1回答
279 件の閲覧数
pandasの読み込みでエラー
csvファイルを読み込むためにpandasを使いたいのですが、エラーが発生します。
ソースコード(エラーと関係なさそうな部分は省略しています)
import numpy as np
import cv2
import math
import os
import csv
import pandas as pd
def main():
width = 320
height = ...
0
票
1回答
112 件の閲覧数
クロス表で集計軸(columns)を水平方向に複数並べる方法。
【質問文修正】
「stock_a」と1つの変数を軸にした集計表の出力はできましたが、
例えば「stock_a」「industry_a」等、複数の変数を同じレベルで並べた集計表の出力ができません。どのようなコードが適切でしょうか。
コード
import pandas as pd
df = pd.DataFrame({
'id':['id00001','id00002','id00003','...
0
票
2回答
382 件の閲覧数
PythonのDataframe型 から Datetime型への変換について
質問です。python初心者で、よくわからないので、教えてください。
pandas のDataFrame内のstr型をdatetime型に一括変換し、月や日のデータを取得したいです。
DataFrame型→datetime型への変換はto_datetimeで変換できることは分かったのですが、そこから月・日のデータを抜き出す工程が分かりません。
また、...
0
票
2回答
183 件の閲覧数
Pandasでif文に2つ以上の条件が入る変換
x1,..,y14
abc, ..., -
のようなデータフレームdfがあります。
x1 == 'abc' かつ y14 == '-' ならば y14 = '★'のような変換をしたいと考えております。
def henkan(x):
if x == abc:
return '★'
df.y14 = df.y14.apply(henkan)
...
0
票
1回答
45 件の閲覧数
dropna(axis=1)とdropna(axis=0)で出力された内容が同じになるのはなぜですか?
pandasのdropnaについて質問です。一通りpandasなどをインポートした後に
今、df1のような欠損値ありのExcalデータを作って、試しています。
データは以下の通りです。
[In]
df1=pd.read_excel('mo.xlsx')
print(df1)
[Out]
T A B C
0 2 2.0 5.0 1.0
...
3
票
1回答
115 件の閲覧数
pandasの重複したデータの更新
pandasで.jsonファイルを読み取り、データの更新をして保存するコードを書いています。
以下のような二つのデータフレームがあり、連結し、
重複したデータが出ないように果物と店の列を重複したものを
df.drop_duplicates(subset=['fruit', 'store'])で削除しています。
df1 = pd.DataFrame({'fruit':['apple', '...
0
票
2回答
117 件の閲覧数
pythonで日付リストから、ある月の出現頻度を取得する方法
以下のような日付データがあります。
DatetimeIndex(['2019-06-05', '2019-06-14', '2019-06-24', '2019-07-03',
'2019-07-30', '2019-07-31', '2019-08-06', '2019-08-28',
'2019-09-03', '2019-09-26'...
2
票
0回答
68 件の閲覧数
Pandasでカラム名がどうしても小文字で出力される際の対処
pandasのデータフレームdfで最終id、という名前のカラムがあり、
df.rename(columns = {'最終id':'最終ID'})
とリネームしても出力物では小文字のidに戻ってしまいます。
どのようにすれば回避できますでしょうか。
よろしくお願いいたします。
実行環境
Windows 10
Python 3.7
0
票
1回答
227 件の閲覧数
特定の文字列を含むかを判定する関数の定義
下記のURLを格納したデータフレームに対し、特定の文字列に【完全一致する場合】【部分一致する場合】【NULLの場合】【それ以外】かを判定して、フラグを作成したいと考えています。元のデータフレームは、下記の通りです。
df = pd.DataFrame({'full_url': ['https://www.ABCDec.jp/shop/default.aspx', 'https://www....
3
票
1回答
204 件の閲覧数
Pythonでデータフレームをエクセル出力する際、説明文を入れたい
データフレームが複数個あり、to_excelでそれぞれ別のシートに出力しています。
また、各々のデータフレームについてそれぞれ説明文を1行程度入れたいと考えていますが、
説明文の入ったデータフレームをそれぞれ縦結合するとデータが崩れてしまい、うまくいきません。
どのようにすればきれいに説明文を入れることができますでしょうか。
よろしくお願いいたします。
2
票
1回答
143 件の閲覧数
データフレームの2列から辞書を作る際、keyが重複しているのでvalueをリスト化する方法
データフレームから
dic1 = dict(zip(df['pid'], df['nid']))
を使って辞書を作りたいのですが、
pidに重複があるためうまくいきません。(おそらく上書きが起こっています。)
(pid, nid) = {'8':'11', '8':'19'}
の際はkeyが重複していればvalueがリストになるように、
この場合だと{8:[11,19]}
のようにしたいです。
(...
1
票
1回答
1,145 件の閲覧数
PandasでCSVファイルの読み込みに失敗してしまう
macでpythonからcsvを読み込む場合はどのように設定すれば良いでしょうか?
下記のようなコードを作成しましたが、実行するとエラーが表示されます。
コード
import pandas as pd #pandasをpdとしてインポート
df = pd.read_csv("/Users/ha/Desktop/tati.csv", encoding="utf-8_sig")
print (...
3
票
1回答
250 件の閲覧数
pd.read_sql()ですべて文字列で読むことは可能か
Pythonで
import pandas as pd
import pandas.io.sql as psql
のもと、pd.read_sql()でdtype=objectの実行(もしくはそれに類する操作)は可能でしょうか。
マニュアル的なページを見たのですが、特に記述がありませんでした。
これはそういう機能は存在しないということでよろしいでしょうか。
0
票
0回答
81 件の閲覧数
0
票
0回答
105 件の閲覧数
Pythonで生成したdataframeを呼び出したい
Tkinterにより読み込んだ複数のファイルをそれぞれ(i番目の)Dataframeに格納するプログラムを作成したのですが、それぞれのDataframeにアクセスする方法が知りたいです。
例えば print(i番目のDataframe) などの動作を想定しております。i 番目のDataframeを宣言する方法を教えてください。
import pandas as pd
import tkinter
...
1
票
1回答
85 件の閲覧数
pandasのヘッダが数字になってしまったときの対処法
cross = pd.crosstab(x["id"], x["flag"])
として以下のデータフレームが生成されました。
「9」列が0でないものに絞りたいのですが、
cross
Out[1]:
flag 1 2 3 4 5 9
id
10001 1 0 1 0 2 0
10002 1 0 0 0 1 0
...
0
票
1回答
212 件の閲覧数
pandasで1つ前の日付との相関をとるには
以下の様に、消費カロリーが翌日の体重の変化と関係する場合、
相関の計算時は、同一時刻ではなく、
別々の時刻となるかと思うのですが、
どの様にDataframeを定義すればいいのでしょうか??
(dataframeを定義し、df.corrで相関を計算する想定)
通常だと、pd.dataframe(table[['消費カロリー,'体重']])みたいに定義し、
df.corrで出ると思うのですが、...
3
票
2回答
197 件の閲覧数
pandas における index 番号と対象列を別データフレームとして指定してのデータフレーム変換
pandasのデータフレームで変換するためのプログラムを書こうと試みていますが、うまくいきません。
masterという名前のデータフレームにidごとにどの変数をどう上書きするか、の対応が入っています。
id,上書き列名,上書き文字列
1,x2,ああああ
2,x4,いいい
dfというデータフレームをmasterの対応を用いて変換したいです。
(ちなみにdfの全サンプルを変換するのではなく、...
2
票
2回答
155 件の閲覧数
Pandasデータフレームで特定行を削除する方法
(購買データの前処理に関するご質問です)
同「id」「購入日」「店舗」「商品」「売上タイプ」ごとに連番を振った、下記データフレームがあるのですが、
df = pd.DataFrame({'id': ['111', '111', '111', '111', '111', '222', '222', '222', '333', '333', '333', '333', '333'],
...
0
票
1回答
69 件の閲覧数
Pandasにおいて、IDでグループ化してからデータ削除を行いたい
Pandasで以下のdfを処理しようとしています。A列(ID)が同じデータのうち、E列において、後ろに0がない1の値が不要であり、削除したいです。つまり、13、14行目はA列(ID)が3であり、ID=3において後ろにE列の値に0がないので削除したいです。(21行目のID=5においても同様)
初心者にもわかりやすい方法があればご教示いただけますでしょうか。
A B C D E ...