[pandas] タグが付いた質問
Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。
407
質問
0
票
1
回答
59
閲覧数
データの結合と合算
2つのデータを結合して、重複するデータがあれば合算したい。
# データ1
df1 = pd.DataFrame({"送信元IP": [1.1.1.1, 3.3.3.3, 5.5.5.5],
"宛先IP": [2.2.2.2, 4.4.4.4, 6.6.6.6],
"...
-2
票
1
回答
79
閲覧数
時系列のフォーマットを変更と描画
1.時間のフォーマットを変更したいですが、
df['datetime'] = pd.to_datetime(df['datetime'],format='%Y年%m月%d日 %H時%M分')
うまくいかないんです。
正しい書き方は何ですか。
2.散布図の作り方、
plt.plot_date(datetime, temp)
うまくいかないんです。
正しい書き方は何ですか。
よろしくお願いします。
0
票
1
回答
665
閲覧数
PythonのStyleFrameでエクセルに上書きせず追記できるようにしたい
StyleFrame を使ってエクセルに上書きせずに保存したいのですがうまく行きません。
試したことは with StyleFrame.ExcelWriter(s_path,mode='a') as writer: です。
これではエラーになってしまって出来ませんでした。
教えていただけたら嬉しいです、よろしくお願いします。
0
票
1
回答
624
閲覧数
pandas groupby で集計を行った列の列名
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧金','鎧銀'],
'カテゴリ':['戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','外部有識者','管理者','...
0
票
1
回答
56
閲覧数
時系列のデータフレームの作成
1点目
時系列のデータフレームについて、一日単位の時系列がわかりますが:
pd.date_range(start='2022-01-01', end='2022-01-31', freq='D')
output:
DatetimeIndex(['2022-01-01', '2022-01-02', '2022-01-03', '2022-01-04',
'2022-...
2
票
1
回答
1,603
閲覧数
object 型データから int 型への変換でエラーが発生する
csvで読み込んだデータがobject型として読み込まれてしまい、int型への変換を実施したところ添付のようなエラーでつまずいてしまっております。
色々やり方は調べたのですがどうしても解決できないため、解決方法を教示いただけると幸いです。
おそらく空欄が影響してしまっているのでreplaceでnp.NaNにした上でastypeにてint型変換をかけたのですがうまくいっていない状況です。
...
1
票
2
回答
4,942
閲覧数
Pandasで複数ファイルの結合時にエラー ParserError: Error tokenizing data. C error: Expected 1 fields in line 2, saw 2
複数のファイル結合を目指しております。最下部エラーの改善策を教えてくださいませ。
1、データの確認をしました
import pandas as pd
file_path =r"C:\Users\t\anaconda\t\001urishi_sousa\jyuretsu\2014USINPCSV_10249669.csv"
df1 = pd.read_csv(file_path, ...
0
票
1
回答
40
閲覧数
列名無い、同じ構造のdataframeの値を足し算
列名無い、同じ構造のデータフレームの足し算、
私はこう書きましたが、
names=['time','交通量']
df1= pd.read_csv(r'file1.csv', index_col= 0 ,names=cols_name)
df2= pd.read_csv(r'file2.csv', index_col= 0 ,names=cols_name)
df_sum = (df1....
1
票
1
回答
96
閲覧数
複数条件の抽出方法
1月1日を抽出したい場合
df = df.query('日付+エリア.str.contains("1月1日")')
1月1日の東京を抽出したい場合
df = df.query('日付+エリア.str.contains("1月1日.+東京")')
もし1月1日の東京と神奈川を抽出したい場合、どのようなコードを書けば良いでしょうか?
0
票
1
回答
49
閲覧数
時系列の横結合(merge)の質問について
2つCSVファイルがあります:area1.csv area2.csv
時間列の項目名はないので、
時間を基準に横結合したいなら、どうやって修正したら良いでしょうか?
ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
df1 = pd.read_csv(area1.csv,index_col=0)
df2 = pd.read_csv(area2.csv,index_col=0)
...
0
票
1
回答
46
閲覧数
時系列の横結合の質問について
2つCSVファイルがあります:area1.csv area2.csv
時間列の項目名はないので、
時間を基準に横結合したいなら、どうやって修正したら良いでしょうか?
ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
df1 = pd.read_csv(area1.csv)
df2 = pd.read_csv(area2.csv)
df3 = pd.concat([df1, df2]...
1
票
2
回答
63
閲覧数
それぞれの列の値が、文面に含まれているかを判定する
それぞれの列の値が、文面に含まれているかを判定するには、どうすればよいでしょうか?
import pandas as pd
df = pd.DataFrame(
data={
'コンテキスト': ['東京は晴れ', '曇りの神奈川', '熱い沖縄の気候'],
'キーワード': ['福岡', '神奈川', '沖縄']},
index=['xx', '...
0
票
1
回答
42
閲覧数
Excelデータで条件に合致しないデータを除外して取り込む方法
やりたいこと
エクセルファイルの特定シート(シート名前が決まっている)を読み込み、取り込むべきデータかを判断したいです。
例えば以下のような条件で不適合なデータを除く(適合するデータを抽出する)こと。
必須項目で空白はNG
Noは1以上
Modelは既定の文字列以外はNG
TypeがCのときにはoption文字列必須でなければNG
Excelファイルを取り込むのにpandasを利用しましたが、...
0
票
2
回答
70
閲覧数
データフレームで1つの列の要素の一部に2をかけたい
以下のようなデータフレームあります
2列目の値を2倍にしたいですが、
インデックスと項目名はないので、
どのようなコードを書けば良いでしょうか?
ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
0
票
1
回答
81
閲覧数
無相関検定をしたいのですがやりかたを教えてください
import numpy as np
import pandas as pd
df_maize = pd.read_csv("PSD online data maize.csv", thousands=',')]
df_maize.corr()
相関係数の計算まではできましたが以下の検定でエラーが起きました
import pandas as pd
import ...
0
票
2
回答
79
閲覧数
dtypeをobjectからint64に変更する方法を教えてください
import numpy as np
import pandas as pd
df_maize = pd.read_csv("PSD online data maize.csv")
print(df_maize["Name"])
print(df_maize["Production"])
print(df_maize["...
0
票
1
回答
553
閲覧数
pandasのデータフレームをスプレッドシートへ反映したい
スプレッドシートのAPIを用いてデータフレームをスプレッドシートの最下部に追記したいのですが、うまい方法はなにかあるでしょうか。
やりたいこと
データフレームをスプレッドシートの最下部に追加したい
コード:
import pandas as pd
import gspread
import csv
import json
from oauth2client.service_account ...
0
票
2
回答
133
閲覧数
最大値、最小値の時のidを求めたい。
〇実行環境
Windows 10
Python 3.X
pandas
こちらのリンクでの質問内容の続きになります。
pandasでの特定の条件下でのデータ取得ができない。
〇リンク先の質問
上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。
〇質問内容
...
0
票
1
回答
89
閲覧数
CSVの特定の列に特定の桁の値を抽出するには?
CSVのファイル、学籍番号の右からの2つ目の数字1の行を抽出したいなら、どうしたらよいですか
df = pd.read_excel(r"C:成績表.csv", index_col= 0 , header = [0],names=cols_name)
df01 = df.drop(['クラス'],axis=1)
df01[["学籍番号"] ==
0
票
1
回答
143
閲覧数
時系列の凡例のフォーマット (日時表示) を変更したい
以下を実行して、折れ線グラフを生成しました。
凡例の中の時間 YYYY-MM-DD のフォーマット(日付のみ、時間なし)にしたいなら、どこを直せばいですか?
for i in range(0,10) :
df04.plot(figsize=(8, 6))
plt.legend(loc='upper left', bbox_to_anchor=(1, 1))
plt....
1
票
1
回答
57
閲覧数
dataframeのcolumnsを変更するとindexの上に0が入る
タイトルにあるようにあるCSVデータをpd.csv_readで読み込み、
dataframeのcolumnsを変更するとindexの行の上に「0」が入ります。
そのままデータフレームのplot()を実行すると凡例に「0」が入ってしまいます。
この0の削除方法をご教示お願いします。
CSVデータは以下です。
import pandas as pd #pandasのインポート
df = pd....
0
票
1
回答
114
閲覧数
pandas .agg(['mean'])で正確な値を求めることができない。
〇実行環境
Windows 10
Python 3.X
pandas
こちらのリンクでの質問内容の続きになります。
pandasでの特定の条件下でのデータ取得ができない。
〇リンク先の質問
上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。
〇質問内容
...
0
票
1
回答
65
閲覧数
pandas グルーピング化を使用してデータ取得ができるかが知りたい。
〇実行環境
Windows 10
Python 3.X
pandas
こちらのリンクでの質問内容の続きになります。
pandasでの特定の条件下でのデータ取得ができない。
〇リンク先の質問
上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。
〇質問内容
...
0
票
2
回答
87
閲覧数
pandasで同一idはまとめて出力し、そのうえでtimestamp順に出力したい。
実行環境
Windows 10
Python 3.X
pandas
データの説明
下記の元データはログをcsv化したものの一部の例になります。
こちらはid,timestampというカラムで構成されています。
timestampは昇順で並べられており、それに沿ってidが並べられています。
idは基本的にはまとまっておりますが、遅延などにより、別のidが先に割り込む形で出力されることがあり、...
0
票
1
回答
717
閲覧数
json_normalize を使用してDFを作成したいのですが、keyエラーになってしまう。
以下のようにJSONファイルを読み込んでDFにしようすると「keyerror」になってしまいます。
なぜでしょうか。
元のJSONファイルは以下です。
[
{
"creat_at": "2020-04-26T12:55:58+0900",
"pay_id": "E86F0CD0B346",
"pay": {
"a":...
0
票
1
回答
119
閲覧数
Pythonで特定の文字列を含むかをcontains()を使って判断する関数
Pythonでtrain['name']という文字列項目に対して、特定の文字列(例えば、"aaa")を含む場合は"1"、含まない場合は"0"となる項目(train['test'])を別で作りたいと思っています。その際、以下のような関数(kansu1やkansu2)を作り、apply関数でセットしようとしたのですが、...
3
票
3
回答
230
閲覧数
pandas, numpyでの積分・線形保管の処理を高速化したい
Pythonで数値解析のソフトウェアを作成しているのですが、処理に時間が掛かっており高速化したいと考えています。
cProfileで解析したところ、以下のintegrate()とscipyのinterp1dという2つの関数で全体の約47%の処理時間を占めていることが分かりました(total: 54.4 s, integrate: 14.7 s, interp1d: 11.2 s)。
...
1
票
2
回答
108
閲覧数
pandasでの特定の条件下でのデータ取得ができない。
実行環境
Windows 10
Python 3.X
pandas
データの説明
次のようなdfを使用してデータ加工を行いたいと考えています。
こちらはid,数値,分類というカラムで構成されています。
複数のidが重複しており、三つの分類これらのidは必ず三つの分類(type1,type2,type3)に分かれています。
columnの分類に書かれているのですが、...
0
票
1
回答
81
閲覧数
matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'
VSCodeで以下のプログラムを実行するとエラーメッセージが表示されグラフが表示されません。解決法がありましたら教えて下さい
エラー
例外が発生しました: TypeError unhashable type: 'numpy.ndarray'
コード:
import pandas as pd
df =pd.read_csv("csvファイルのパス")
df.head()
x = ...
0
票
3
回答
171
閲覧数
python pandasによるデータ処理について
色々と調べてみたはいいものの、書き方がつかめずどうしても固まってしまいます。お力添えをよろしくお願いいたします。
各染色体について父由来か母由来どちらの染色体を子孫に渡すかによってどんな能力のパターンがある得るかのシミュレーションです。
chr_effect.txtのようなデータファイルがあります。
animal、pnt、chr1...chr29の31列あり、...
1
票
1
回答
587
閲覧数
pandas-highcharts でグラフが描画されない
実現したいこと
取得した株価データを pandas-highcharts を使って jupyter notebook でグラフを描画したいです。実行したところ何も表示されないどころかエラーも表示されず困っています。
該当のソースコード
from pandas_highcharts.display import display_charts
df = ... # ...
0
票
3
回答
158
閲覧数
pandasでuniqueを使用したいのですが、Dataframeでしか取り出せないためどうすればいいのか分かりません。
pandasでuniqueを使用したいのですが、Dataframeでしか取り出せないためどうすればいいのか分かりません。
pandasで読み込んでいるデータ(df)
a b
-0.2 -0.200
-0.2 -0.195
-0.2 -0.190
-0.2 -0.185
-0.2 -0.180
...
1
票
1
回答
177
閲覧数
pandasをpdと略す意味とは?
pandas以外も同様ですが、短く省略することにどのような意味があるんでしょう?
何行もコードを書いているうちに正式名称を毎回入力するのが面倒になったとかそういう理由なんでしょうか?
0
票
1
回答
972
閲覧数
Pandas でのデータ結合時にエラーが発生する
seriesに対し、日付をkeyにしてmerge_df1を左外部結合の下記のプログラムを実行するとエラーが発生するのですがなぜなのでしょうか?
import numpy as np
import pandas as pd
series = pd.Series(['1/1', '1/2', '1/3', '1/4', '1/5', '1/6','1/7',
'1/8'...
1
票
1
回答
619
閲覧数
pandasで特定の列の値に基づき,その行を複製する方法
pandas.DataFrameで特定の列の値の回数分,行を複製する方法を探しています.
下に示すソースコードは,num列の値と同じ個数になるように,行を複製しています.
しかしこれは恐らく最も効率が悪い方法です.効率的な方法が御座いましたらご教示下さい.
なお、操作前のデータフレームに同一の行は含まれないことが保証されています.
現状のコード:
# Python 3.10.5
import ...
1
票
3
回答
133
閲覧数
CSVファイル内の時系列データを1秒区切りで平均化するコードを書いているのですがエラーの解消方法を知りたいです
前提
各列にTIME(データ取得日時)、測定値が格納されたCSVファイルを読み込んで、1秒毎に平均化してCSVファイルに出力したいです。
コードを書いてみたのですがエラーが出てしまい対処方法が分からないので教えて頂けるとありがたいです。
下記は使用するCSVデータで名称は「test.csv」です。
[LOGGING],RD81DL96_1,2,3,4
DATETIME[YYYY/MM/DD hh:...
0
票
1
回答
350
閲覧数
for文を使用して連続的にファイルを読み込みたい
pandasの read_text_file = pd.read_csv() を使用してテキストファイルを読み取っているのですが、ファイルが数百あるので連続的にfor文を使用して文中でテキストファイル名を変更して自動化できないかと考えています。
そこで、下記のコードのように試作として for i in range(1, 4): で i という変数を1~3まで連続的に変化させて、その次の行にある ...
2
票
2
回答
128
閲覧数
Seleniumで同じcsvが重複して追加されてしまうのはなぜ?
pythonやプログラミングの初心者です。
色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。
基本的な内容かもしれませんが、ご協力いただけますと幸いです。
やりたいこと
Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして
csvとして出力して、データ解析をしたいです。
http://regalkes....
1
票
1
回答
1,361
閲覧数
クリップボードにコピーしたweb上の表をエクセルファイルに張り付けるコードをPythonで書きたい
対象のwebサイトは鍵付きのためスクレイピングが使えないので、クリップボードにコピーしてからエクセルにペーストするコードを書きたいと考えています。
クリップボードにコピー→データフレームとして読み込み→CSV変換→エクセルに張り付けとしたいのですが、最初の段階で pandas.read_clipboard() を使おうとすると以下のエラーが出てうまくいきません。
エラーメッセージ
...
1
票
1
回答
76
閲覧数
PandasのDataFrameで歯抜けになってるデータの整合性を合わせたい
いつもお世話になっております。
Pandas.DataFrameで display(df) などでデータを見た時に
次のようになっているデータがあります。
id
before
after
date
1
A
10
20
2000/01
2
B
30
NaN
2001/01
3
B
NaN
40
2001/01
4
C
NaN
NaN
2002/01
これを下記のようにしたいのですが、...
1
票
1
回答
41
閲覧数
PandasのDataFrameから、整数・浮動小数に変換可能な行を抽出するには
PandasのDataFrameで、文字列型の列から、整数や浮動小数に変換可能な値をもつ行を抽出する方法を教えていただけないでしょうか?
Seriesの str.isidigit() などを利用することで、次のように整数に変換可能な行は抽出できました。
さらに小数に型変換可能かどうか判定するには、どのようにしたらよいでしょうか。
import pandas as pd
df = pd....
0
票
1
回答
62
閲覧数
DataFrame型データのexcelファイルへの出力
pandasにより取得したDataFrame型データをexcelファイルに移す作業を行いました。
9行ごとに5つの表が貼り付けられている状態を予想していましたが,結果は5つ目の表のみ想定通りの位置に貼り付けられている状態でした。(下図のような感じ)
また表データは6行6列のデータです。
DataFrame型データをexcelファイルに出力するたびにすべてのセル情報が上書きされると考え,...
1
票
3
回答
1,312
閲覧数
一つのカラムの中にリストでデータが入っている場合、リストの各要素を分割して新たに列を増やし、各要素をダミー変数化方法はありますか?
データ分析初心者です。
初めて簡単なコンペのようなものに挑戦しています。
何からやればよいのかわからず手探りでググって一つ一つ進めてきたのですが、これについてはどのようにググれば答えが見つかるのかもわからずの状態です。
そのため、タイトルもなかなかうまく言語化できておらず、わかりにくくなってしまっていると思います。すみません。
コンペの内容としては民泊サービスの価格予測です。...
1
票
1
回答
2,496
閲覧数
特定の文字列を含む行にフラグを立てる関数を作成したい
下記のデータフレームに対し、
> df = pd.DataFrame({'pref': ['東京都', '神奈川県', '北海道', '埼玉県', '千葉県', '静岡県',
> '長野県'],
> 'city' : ['渋谷区', '横浜市', '函館市', '浦和市', '浦安市' , '浜松市', '岡谷市']})
"...
0
票
2
回答
1,079
閲覧数
dataframe内の数値から文字列に変換する方法
file_name expression
0 test_0000.jpg 1
1 test_0001.jpg 0
2 test_0002.jpg 0
3 test_0003.jpg 0
4 test_0004.jpg 2
... ... ...
307 test_0307.jpg 1
308 test_0308.jpg 0
309 ...
0
票
2
回答
101
閲覧数
relativedelta使用時のilocについて
ilocについて教えてください。
for i in range(len(predict_data)): とした場合、i に入るのは整数なので、.iloc[i] とすべきだと思ったのですが、解答では iloc を使わず、下記のようになっておりました。
なぜ、iloc 省略なのでしょうか。
できれば初学者用に分かりやすく教えていただけると幸いです。
よろしくお願いいたします。
for i in ...
1
票
1
回答
110
閲覧数
python pandas データの参照、検索、取得およびファイル書き出し
ほぼ初心者のため、ご教授のほどよろしくお願いいたします。
とあるファイル(length.txt、約40万行×2列、画像左参照)を1行ずつ参照してデータ取得し、そのデータをもとに別のファイル(effect.txt、約4万行×2列、画像右参照)のデータを検索、照合し、データをテキストファイルに書き出すということを行いたいです。
具体的には、以下の流れです。
length.txt内のlocus列、...
0
票
1
回答
175
閲覧数
python pandas データフレームにおける各要素をリストではなくしたい
ほぼ初心者なので、見当違いのこと言ってるかもしれませんがご教授よろしくお願いします。
添付した画像上部のように、約4万行×1列に約100~200個(各行によって個数はまちまち)の0、1、2のいずれかが並んだデータがあります。
これを、約100~200個の0、1、2の並びを分割して約4万行×100~200列(欠測の要素は#N/Aや-などで表現したいです)のデータに変換したいです。
...
0
票
1
回答
170
閲覧数
PandasのDataFrameのデータの抽出について(Seriesが返されるケースと値が取得できるケースの違い)
import pandas as pd
import numpy as np
df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧'],
'HP':[2,50,100,600,60,72,1000,np.nan]})
df1
上記のようなdf1から「うさぎ」の「HP」...
0
票
2
回答
134
閲覧数
データフレームである列の値に特定の文字列を含む場合、追加した列に指定した文字列を表示したい
どのようにコードを書き換えれば「期待する結果」のような出力がだせるのかわかりません。
お知恵をいただければ幸いです。
データセット
import pandas as pd
import numpy as np
df = pd.DataFrame([["tanaka", 81], ["naka", 63], ["ka", 89], [&...