[pandas] タグが付いた質問

Pythonにおいて、Rにおけるデータフレームに似た型を持たせることができるライブラリ。 データ構造を変更したりデータ分析したりするときにも便利である。BSDライセンスのもとで提供されている。

絞り込み
並べ替え
タグ付けされた
0
1 回答
73 閲覧数

データの結合と合算

2つのデータを結合して、重複するデータがあれば合算したい。 # データ1 df1 = pd.DataFrame({"送信元IP": [1.1.1.1, 3.3.3.3, 5.5.5.5], "宛先IP": [2.2.2.2, 4.4.4.4, 6.6.6.6], "...
  • 5
-2
1 回答
89 閲覧数

時系列のフォーマットを変更と描画

1.時間のフォーマットを変更したいですが、 df['datetime'] = pd.to_datetime(df['datetime'],format='%Y年%m月%d日 %H時%M分') うまくいかないんです。 正しい書き方は何ですか。 2.散布図の作り方、 plt.plot_date(datetime, temp) うまくいかないんです。 正しい書き方は何ですか。 よろしくお願いします。
0
1 回答
56 閲覧数

時系列のデータフレームの作成

1点目 時系列のデータフレームについて、一日単位の時系列がわかりますが: pd.date_range(start='2022-01-01', end='2022-01-31', freq='D') output: DatetimeIndex(['2022-01-01', '2022-01-02', '2022-01-03', '2022-01-04', '2022-...
0
1 回答
40 閲覧数

列名無い、同じ構造のdataframeの値を足し算

列名無い、同じ構造のデータフレームの足し算、 私はこう書きましたが、 names=['time','交通量'] df1= pd.read_csv(r'file1.csv', index_col= 0 ,names=cols_name) df2= pd.read_csv(r'file2.csv', index_col= 0 ,names=cols_name) df_sum = (df1....
1
1 回答
100 閲覧数

複数条件の抽出方法

1月1日を抽出したい場合 df = df.query('日付+エリア.str.contains("1月1日")') 1月1日の東京を抽出したい場合 df = df.query('日付+エリア.str.contains("1月1日.+東京")') もし1月1日の東京と神奈川を抽出したい場合、どのようなコードを書けば良いでしょうか?
0
1 回答
50 閲覧数

時系列の横結合(merge)の質問について

2つCSVファイルがあります:area1.csv area2.csv 時間列の項目名はないので、 時間を基準に横結合したいなら、どうやって修正したら良いでしょうか? ご教示いただけましたら幸いですので、どうぞよろしくお願いします! df1 = pd.read_csv(area1.csv,index_col=0) df2 = pd.read_csv(area2.csv,index_col=0) ...
0
1 回答
46 閲覧数

時系列の横結合の質問について

2つCSVファイルがあります:area1.csv area2.csv 時間列の項目名はないので、 時間を基準に横結合したいなら、どうやって修正したら良いでしょうか? ご教示いただけましたら幸いですので、どうぞよろしくお願いします! df1 = pd.read_csv(area1.csv) df2 = pd.read_csv(area2.csv) df3 = pd.concat([df1, df2]...
1
2 回答
64 閲覧数

それぞれの列の値が、文面に含まれているかを判定する

それぞれの列の値が、文面に含まれているかを判定するには、どうすればよいでしょうか? import pandas as pd df = pd.DataFrame( data={ 'コンテキスト': ['東京は晴れ', '曇りの神奈川', '熱い沖縄の気候'], 'キーワード': ['福岡', '神奈川', '沖縄']}, index=['xx', '...
0
1 回答
42 閲覧数

Excelデータで条件に合致しないデータを除外して取り込む方法

やりたいこと エクセルファイルの特定シート(シート名前が決まっている)を読み込み、取り込むべきデータかを判断したいです。 例えば以下のような条件で不適合なデータを除く(適合するデータを抽出する)こと。 必須項目で空白はNG Noは1以上 Modelは既定の文字列以外はNG TypeがCのときにはoption文字列必須でなければNG Excelファイルを取り込むのにpandasを利用しましたが、...
0
2 回答
71 閲覧数

データフレームで1つの列の要素の一部に2をかけたい

以下のようなデータフレームあります 2列目の値を2倍にしたいですが、 インデックスと項目名はないので、 どのようなコードを書けば良いでしょうか? ご教示いただけましたら幸いですので、どうぞよろしくお願いします!
0
1 回答
81 閲覧数

無相関検定をしたいのですがやりかたを教えてください

import numpy as np import pandas as pd df_maize = pd.read_csv("PSD online data maize.csv", thousands=',')] df_maize.corr() 相関係数の計算まではできましたが以下の検定でエラーが起きました import pandas as pd import ...
  • 29
0
2 回答
79 閲覧数

dtypeをobjectからint64に変更する方法を教えてください

import numpy as np import pandas as pd df_maize = pd.read_csv("PSD online data maize.csv") print(df_maize["Name"]) print(df_maize["Production"]) print(df_maize["...
  • 29
0
1 回答
89 閲覧数

CSVの特定の列に特定の桁の値を抽出するには?

CSVのファイル、学籍番号の右からの2つ目の数字1の行を抽出したいなら、どうしたらよいですか df = pd.read_excel(r"C:成績表.csv", index_col= 0 , header = [0],names=cols_name) df01 = df.drop(['クラス'],axis=1) df01[["学籍番号"] ==
0
2 回答
135 閲覧数

最大値、最小値の時のidを求めたい。

〇実行環境 Windows 10 Python 3.X pandas こちらのリンクでの質問内容の続きになります。 pandasでの特定の条件下でのデータ取得ができない。 〇リンク先の質問 上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。 〇質問内容 ...
  • 113
0
1 回答
144 閲覧数

時系列の凡例のフォーマット (日時表示) を変更したい

以下を実行して、折れ線グラフを生成しました。 凡例の中の時間 YYYY-MM-DD のフォーマット(日付のみ、時間なし)にしたいなら、どこを直せばいですか? for i in range(0,10) : df04.plot(figsize=(8, 6)) plt.legend(loc='upper left', bbox_to_anchor=(1, 1)) plt....
1
1 回答
60 閲覧数

dataframeのcolumnsを変更するとindexの上に0が入る

タイトルにあるようにあるCSVデータをpd.csv_readで読み込み、 dataframeのcolumnsを変更するとindexの行の上に「0」が入ります。 そのままデータフレームのplot()を実行すると凡例に「0」が入ってしまいます。 この0の削除方法をご教示お願いします。 CSVデータは以下です。 import pandas as pd #pandasのインポート df = pd....
0
1 回答
65 閲覧数

pandas グルーピング化を使用してデータ取得ができるかが知りたい。

〇実行環境 Windows 10 Python 3.X pandas こちらのリンクでの質問内容の続きになります。 pandasでの特定の条件下でのデータ取得ができない。 〇リンク先の質問 上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。 〇質問内容 ...
  • 113
0
1 回答
115 閲覧数

pandas .agg(['mean'])で正確な値を求めることができない。

〇実行環境 Windows 10 Python 3.X pandas こちらのリンクでの質問内容の続きになります。 pandasでの特定の条件下でのデータ取得ができない。 〇リンク先の質問 上記のリンクではpandasを使用して各idがカラムのどの「分類」に属しているかの質問をし、groupbyを使用して、各idごとの分類と数値を取得することができました。 〇質問内容 ...
  • 113
0
2 回答
87 閲覧数

pandasで同一idはまとめて出力し、そのうえでtimestamp順に出力したい。

実行環境 Windows 10 Python 3.X pandas データの説明 下記の元データはログをcsv化したものの一部の例になります。 こちらはid,timestampというカラムで構成されています。 timestampは昇順で並べられており、それに沿ってidが並べられています。 idは基本的にはまとまっておりますが、遅延などにより、別のidが先に割り込む形で出力されることがあり、...
  • 113
0
1 回答
125 閲覧数

Pythonで特定の文字列を含むかをcontains()を使って判断する関数

Pythonでtrain['name']という文字列項目に対して、特定の文字列(例えば、"aaa")を含む場合は"1"、含まない場合は"0"となる項目(train['test'])を別で作りたいと思っています。その際、以下のような関数(kansu1やkansu2)を作り、apply関数でセットしようとしたのですが、...
  • 3
1
2 回答
108 閲覧数

pandasでの特定の条件下でのデータ取得ができない。

実行環境 Windows 10 Python 3.X pandas データの説明 次のようなdfを使用してデータ加工を行いたいと考えています。 こちらはid,数値,分類というカラムで構成されています。 複数のidが重複しており、三つの分類これらのidは必ず三つの分類(type1,type2,type3)に分かれています。 columnの分類に書かれているのですが、...
  • 113
0
1 回答
81 閲覧数

matplotlibを使った作図でエラー unhashable type: 'numpy.ndarray'

VSCodeで以下のプログラムを実行するとエラーメッセージが表示されグラフが表示されません。解決法がありましたら教えて下さい エラー 例外が発生しました: TypeError unhashable type: 'numpy.ndarray' コード: import pandas as pd df =pd.read_csv("csvファイルのパス") df.head() x = ...
  • 9
3
3 回答
232 閲覧数

pandas, numpyでの積分・線形保管の処理を高速化したい

Pythonで数値解析のソフトウェアを作成しているのですが、処理に時間が掛かっており高速化したいと考えています。 cProfileで解析したところ、以下のintegrate()とscipyのinterp1dという2つの関数で全体の約47%の処理時間を占めていることが分かりました(total: 54.4 s, integrate: 14.7 s, interp1d: 11.2 s)。 ...
0
3 回答
171 閲覧数

python pandasによるデータ処理について

色々と調べてみたはいいものの、書き方がつかめずどうしても固まってしまいます。お力添えをよろしくお願いいたします。 各染色体について父由来か母由来どちらの染色体を子孫に渡すかによってどんな能力のパターンがある得るかのシミュレーションです。 chr_effect.txtのようなデータファイルがあります。 animal、pnt、chr1...chr29の31列あり、...
  • 15
1
1 回答
179 閲覧数

pandasをpdと略す意味とは?

pandas以外も同様ですが、短く省略することにどのような意味があるんでしょう? 何行もコードを書いているうちに正式名称を毎回入力するのが面倒になったとかそういう理由なんでしょうか?
0
3 回答
161 閲覧数

pandasでuniqueを使用したいのですが、Dataframeでしか取り出せないためどうすればいいのか分かりません。

pandasでuniqueを使用したいのですが、Dataframeでしか取り出せないためどうすればいいのか分かりません。 pandasで読み込んでいるデータ(df) a b -0.2 -0.200 -0.2 -0.195 -0.2 -0.190 -0.2 -0.185 -0.2 -0.180 ...
  • 1
1
1 回答
642 閲覧数

pandasで特定の列の値に基づき,その行を複製する方法

pandas.DataFrameで特定の列の値の回数分,行を複製する方法を探しています. 下に示すソースコードは,num列の値と同じ個数になるように,行を複製しています. しかしこれは恐らく最も効率が悪い方法です.効率的な方法が御座いましたらご教示下さい. なお、操作前のデータフレームに同一の行は含まれないことが保証されています. 現状のコード: # Python 3.10.5 import ...
  • 469
1
3 回答
133 閲覧数

CSVファイル内の時系列データを1秒区切りで平均化するコードを書いているのですがエラーの解消方法を知りたいです

前提 各列にTIME(データ取得日時)、測定値が格納されたCSVファイルを読み込んで、1秒毎に平均化してCSVファイルに出力したいです。 コードを書いてみたのですがエラーが出てしまい対処方法が分からないので教えて頂けるとありがたいです。 下記は使用するCSVデータで名称は「test.csv」です。 [LOGGING],RD81DL96_1,2,3,4 DATETIME[YYYY/MM/DD hh:...
0
1 回答
356 閲覧数

for文を使用して連続的にファイルを読み込みたい

pandasの read_text_file = pd.read_csv() を使用してテキストファイルを読み取っているのですが、ファイルが数百あるので連続的にfor文を使用して文中でテキストファイル名を変更して自動化できないかと考えています。 そこで、下記のコードのように試作として for i in range(1, 4): で i という変数を1~3まで連続的に変化させて、その次の行にある ...
  • 1
1
1 回答
77 閲覧数

PandasのDataFrameで歯抜けになってるデータの整合性を合わせたい

いつもお世話になっております。 Pandas.DataFrameで display(df) などでデータを見た時に 次のようになっているデータがあります。 id before after date 1 A 10 20 2000/01 2 B 30 NaN 2001/01 3 B NaN 40 2001/01 4 C NaN NaN 2002/01 これを下記のようにしたいのですが、...
1
1 回答
41 閲覧数

PandasのDataFrameから、整数・浮動小数に変換可能な行を抽出するには

PandasのDataFrameで、文字列型の列から、整数や浮動小数に変換可能な値をもつ行を抽出する方法を教えていただけないでしょうか? Seriesの str.isidigit() などを利用することで、次のように整数に変換可能な行は抽出できました。 さらに小数に型変換可能かどうか判定するには、どのようにしたらよいでしょうか。 import pandas as pd df = pd....
  • 336
0
1 回答
63 閲覧数

DataFrame型データのexcelファイルへの出力

pandasにより取得したDataFrame型データをexcelファイルに移す作業を行いました。 9行ごとに5つの表が貼り付けられている状態を予想していましたが,結果は5つ目の表のみ想定通りの位置に貼り付けられている状態でした。(下図のような感じ) また表データは6行6列のデータです。 DataFrame型データをexcelファイルに出力するたびにすべてのセル情報が上書きされると考え,...
  • 39
2
2 回答
129 閲覧数

Seleniumで同じcsvが重複して追加されてしまうのはなぜ?

pythonやプログラミングの初心者です。 色々なサイトを調べましたが、問題が解決されなかったため、こちらに投稿させていただいています。 基本的な内容かもしれませんが、ご協力いただけますと幸いです。 やりたいこと Google Colaboratoryを使って下記のサイトに載っているリストをスクレイピングして csvとして出力して、データ解析をしたいです。 http://regalkes....
0
1 回答
640 閲覧数

pandas groupby で集計を行った列の列名

import pandas as pd import numpy as np df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧金','鎧銀'], 'カテゴリ':['戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','戦闘員','外部有識者','管理者','...
0
2 回答
101 閲覧数

relativedelta使用時のilocについて

ilocについて教えてください。 for i in range(len(predict_data)): とした場合、i に入るのは整数なので、.iloc[i] とすべきだと思ったのですが、解答では iloc を使わず、下記のようになっておりました。 なぜ、iloc 省略なのでしょうか。 できれば初学者用に分かりやすく教えていただけると幸いです。 よろしくお願いいたします。 for i in ...
  • 1
1
1 回答
110 閲覧数

python pandas データの参照、検索、取得およびファイル書き出し

ほぼ初心者のため、ご教授のほどよろしくお願いいたします。 とあるファイル(length.txt、約40万行×2列、画像左参照)を1行ずつ参照してデータ取得し、そのデータをもとに別のファイル(effect.txt、約4万行×2列、画像右参照)のデータを検索、照合し、データをテキストファイルに書き出すということを行いたいです。 具体的には、以下の流れです。 length.txt内のlocus列、...
  • 15
0
1 回答
177 閲覧数

python pandas データフレームにおける各要素をリストではなくしたい

ほぼ初心者なので、見当違いのこと言ってるかもしれませんがご教授よろしくお願いします。 添付した画像上部のように、約4万行×1列に約100~200個(各行によって個数はまちまち)の0、1、2のいずれかが並んだデータがあります。 これを、約100~200個の0、1、2の並びを分割して約4万行×100~200列(欠測の要素は#N/Aや-などで表現したいです)のデータに変換したいです。 ...
  • 15
0
1 回答
170 閲覧数

PandasのDataFrameのデータの抽出について(Seriesが返されるケースと値が取得できるケースの違い)

import pandas as pd import numpy as np df1 = pd.DataFrame({'生物':['しろくま','ねこ','うさぎ','ラッコ','モモンガ','シーサー','オデ','鎧'], 'HP':[2,50,100,600,60,72,1000,np.nan]}) df1 上記のようなdf1から「うさぎ」の「HP」...
0
2 回答
138 閲覧数

データフレームである列の値に特定の文字列を含む場合、追加した列に指定した文字列を表示したい

どのようにコードを書き換えれば「期待する結果」のような出力がだせるのかわかりません。 お知恵をいただければ幸いです。 データセット import pandas as pd import numpy as np df = pd.DataFrame([["tanaka", 81], ["naka", 63], ["ka", 89], [&...
  • 5
0
2 回答
201 閲覧数

エクセルから読み込んだ数値データが形が変わって出力される

エクセルから読み込んだ数値データをvscode上で表示すると、小数点まで表示される。 例えば2という値だと、2.0と表示される。こちらを小数点を抜きにしたいと考えています。0001が1.0と表示されるのを0001のまま出力したい。 ・エクセルデータの値をそのまま出力したい ・vscode上の出力[.0]を表示されないようにしたい。 どちらもExcelの設定の問題であれば、...
0
5 回答
303 閲覧数

エクセルのデータを数字か数字以外かでチェックしたい

エクセルの特定のカラム「column」のデータを数字か数字以外なのかをチェックしたいと考えています。行った内容として、isdigitを使ってチェックしようとしてのですが、以下だとdfが文字列と判断されません。pandasで読み込んだExcelデータを格納した変数dfを文字列として判断するにはどのようにすればよろしいでしょうか。 条件としまして、一個一個データを取りだして、数字なのかを確認したく、...
0
0 回答
120 閲覧数

ハイパーパラメータのチューニングでエラーが発生する

開発環境: Anaconda Windows 10 Jupiter labで作業をしています。 ハイパーパラメータチューニングを実行するとエラーが出て、Kernel errorで赤ランプがつき落ちてしまいます。 lgb_train = lgb_o.Dataset(X_train.values, y_train.values) lgb_valid = lgb_o.Dataset(X_valid....
  • 1
0
0 回答
131 閲覧数

x軸のラベルがdatetimeの日付形式のまま出力されてしまう

概要 csvデータからmatplotlibを使用し、棒グラフを作成しているのですが 日付形式がdatetimeの型のまま出力されてしまいます。(yyyy-mm-dd hh:ss:mm) 出力されているデータ自体は問題ないのですが、x軸のラベルだけ修正したいと考えてます。(yyyy/mm/ddに変えたい。) 試してみたこと csvデータを読み込んで、、とありますが元データはExcel形式となります。 ...
  • 11
-1
1 回答
49 閲覧数

Pandas で条件付けした列の抽出をしたい

3つの変数(A,B,C)から成るdfから C=True(Cはbool)に限定した、変数をAとBのみに限定した新たなdf1を作成する際のコードについてですが、下記を考えましたがエラーになります。どこがおかしいのでしょうか?どなたかご教示ねがえないでしょうか? それとも1行で記載するのは難しいのでしょうか? df1 = df[['A', 'B']].query('C == True') df1
  • 3
-1
1 回答
364 閲覧数

正規表現で電話番号の文字列を正規化したい

前提 pandas の電話番号の列を正規表現にしたいです。 現在下記の読み込みcsvのように先頭の0が抜けたりハイフンなしがあります。 国際番号も含まれています。 読み込みcsv ※テスト電話番号です。 電話番号 8012345678 9012345678 90-1234-5678 080-1234-5678 110000000 06-1234-5678 (0)0 812345678 ...
  • 435
0
0 回答
83 閲覧数

Big queryの2つのテーブルにあるテキストを比較→最も近いテキストをCSV形式で出力したい

Big queryのテーブルにあるテキストを比較し最も近いもの同士をマッチさせて CSVで出力したいと考えています。 Big queryの知識とdifflibに関する知識が浅いため、Pythonに詳しい方がいましたら 教えていただけますと幸いです。以下が試したことになります。 1.Big queryにテーブルstringsA, strinsBを2つ作成 stringsA id name ...
  • 7
0
1 回答
89 閲覧数

find_element(By)にURLによって変わる要素を入れたい

以下のような2つのデータフレームから各URLのIDと一致するtxtを抜き出してfind_element(By.LINK_TEXT)に入れ込むようなことは可能でしょうか?df2のtxt部分は重複する場合もあります。よろしくお願い致します。 df1: URL ID aaa 1 bbb 2 ccc 3 ddd 4 ... ... df2: ID txt 1 xxx 2 yyy 3 zzz 4 ...
  • 3
0
1 回答
257 閲覧数

pandas.DataFrame.to_numpy()をすると使用メモリが増大する問題への対処

KaggleのNotebook上で以下のようなpandas.DataFrameをnumpy.ndarrayに変換したいです。 >>> train.info() <class 'pandas.core.frame.DataFrame'> Index: 458913 entries, ...
0
2 回答
190 閲覧数

Pandasを使った行の比較方法について

やりたいこと PythonでBook1とBook2のエクセルを比較します。 Book1には無い行を、Book2のヘッダーFlagとしてどの行がないかを記載したいです。 両方のエクセルのキーとなるものはtitleにしています。 Book1のエクセル created_at,title,messageId,content 2022-06-16T06:43:17.488Z,日本,2332528852,雨 ...
  • 435
1
1 回答
116 閲覧数

Pandas の DataFrame にビットを振りたい

以下に示すようなDataFrameとlistがあります。 DataFrameのうち、listに含まれる要素と一致する行に対してビットを振りたいです。 例えば以下のようにするとビットを振ることができますが、for文を使うのでは処理が遅すぎます。 同様の処理をより高速に実装するにはどうすればよいでしょうか。 試したコード: for i, j in lst: df.loc[(df["...
user avatar

1
2 3 4 5
9