Skip to main content

すべての質問

でタグ付けされた
125 件の質問
絞り込み
並べ替え
タグ付けされた
0
0 回答
314 閲覧数

lightgbmでランキング学習をしていますが、いつまでたってもモデル学習が終わりません。パラメータの設定等に問題があるのでしょうか?

競馬予想でlightgbmのランキング学習をしています。特徴量の処理などを全部やった後で、モデル学習に移るんですが、モデル学習が何時間かかっても終わりません。パラメータの設定の問題でしょうか? ご指導のほどよろしくお願いいたします。 windows11 メモリ128kb ストレージ3Tb ハード的には十分だと思うのですが。 # データとラベルを訓練データと検証データに分割 X_train, ...
satoru's user avatar
  • 13
0
0 回答
101 閲覧数

Self-Attentionのヒートマップが上手く出力されない

実現したいこととして、Self-Attentionから得られた重みであるAttention Weightの可視化結果を正しく出力したい。 入力は動画データをI3Dに適用した特徴マップの0次元目にバッチサイズ30を設定したもの(30, 64, 1024)で、1次元目はフレーム数、2次元目は次元の大きさです。 正常映像と異常映像を同時入力するため、フレーム数の次元はtorch.catで結合しています。 ...
487's user avatar
  • 1
1
0 回答
176 閲覧数

HuggingFaceからLLMモデルを取得して追加学習ようとしたときにエラー

Windows11 Pro + Python 3.11 + VSCodeの環境で、LLMモデルに追加学習をさせるプログラムを作成しようと試みているのですが、エラーが発生しています。 原因をご教示いただきたく、よろしくお願いいたします。 やりたいこと HuggingFaceからLLMモデルを取得して、CSVファイルを追加学習させたい。 やったこと VSCodeのターミナルから ...
松下明浩's user avatar
0
0 回答
92 閲覧数

Vowpal Wabbitを使ったContextual Banditでの予測確立の出力の制御方法

Vowpal Wabbitを使って、以下のような仕様でContextual Banditの実装を試しました。 アクションは5種類:Lv1, Lv2, Lv3, Lv4 ,Lv5 学習データは600行程度 実行環境はPython3.10 学習データとして以下のサンプル"learn_example"を用意したとします。 learn_example = ( "Lv2:7....
Takuto Ishio's user avatar
0
0 回答
680 閲覧数

Python 3.12.1でのTPOT 0.12.1の読み込みエラーについて

Python3.12.1でAutoMLのTPOTを利用しようと考えています。 ターミナルでtpotをインストール後、 from tpot import TPOTClassifier でtpotをインポートしたところ以下のエラーが発生しました。 ModuleNotFoundError: No module named 'imp' 調べた限り、impはPython3....
Tom's user avatar
  • 1
0
1 回答
366 閲覧数

機械学習の学習過程をグラフ化したい

現在機械学習のプログラムを作成しております。 その際に過学習をしているかの判定のために、epochごとのtrainとvalidationの関係をグラフ化したいのですが、お恥ずかしいことにプログラムの書き方がわかりません。 基本的なグラフ化のサイトには目は通しましたが、自身のプログラムへ適応させたものへの変更、また環境の都合上一度ファイルとして出力する必要がある都合上、...
shinru's user avatar
  • 21
0
1 回答
176 閲覧数

時系列分析のstatsmodels でエラー TypeError: arma_generate_sample() got an unexpected keyword argument 'sigma'

時系列データ分析のstatsmodelsに関する質問です。 以下のコードを実行したところ、エラーが出てしまいました。 sigma引数が使用できるようなstatsmodelsのバージョンを教えていただけないでしょうか。 使用しているPythonのバージョンは3.10.11、statsmodelsのバージョンは0.13.5になります。 よろしくお願いいたします。 エラーメッセージ: TypeError ...
yuyu's user avatar
  • 1
1
1 回答
314 閲覧数

手書き数字のMNISTデータから1と2のデータだけを学習させたい。

手書き数字の画像データセットはデフォルトでは1から10まであります。 その中から1と2だけを取り出し、1と2の分類だけを行えるようにしたいです。 次のような手順で進めました。 ・1と2の画像データ、画像ラベルを取り出す ・取り出した画像データをリストに置き換え、画像データと画像ラベルをそれぞれ一つにまとめてからnumpy配列に戻す ・適当な学習モデルを作り、出力を(2)にして学習を実行する ...
maruko's user avatar
  • 11
0
1 回答
82 閲覧数

SciPyを使ったCSRNetのコードを実行するとgaussian_filterでエラーが出る

やりたいこと Crowd countingのモデル CSRNet用にBeijing BRTデータセットの人物頭部位置のアノテーションからdensity mapのアノテーションを作成したい。 エラー Traceback (most recent call last): File "/path/to/directory/make_dataset.py", line 67, in ...
ryohassay's user avatar
1
0 回答
76 閲覧数

拡散確率モデル画像合成手法の数学記号を教えてください。

ディープラーニングの画像生成で使われる拡散確率モデルは、次のサイトで解説されています。 [論文]Denoising Diffusion Probabilistic Models https://qiita.com/ground0state/items/565de257807b12dba52a そのサイトのしょっぱなの次の式が説明できる方教えてください。 特に、いきなり出てくる x0:T や ...
Good_Morning's user avatar
0
1 回答
415 閲覧数

pytorchでTensorで一番値が大きいインデックスの場所以外の値を0にしたい

Pytorchで3次元のtensorがあり、tensor中のdim=1の中で値が一番大きい場所を1に、一番大きい値以外を0にしたいのですがどうすればいいでしょうか? ご教授よろしくお願いします。 torch.argmaxやtorch.max、スライス処理など色々考えてみたんですがわからなかったです。 該当のソースコード import torch x = torch.randn(4, 3, 1) ...
hiroxile's user avatar
0
0 回答
395 閲覧数

scikit-learn でエラー:'Series' object has no attribute 'reshape'

Pythonで X_train = X_train.reshape(1, -1) を実行したところエラーが起きてしまいまして。初心者で質問も多いですが、指摘よろしくお願いいたします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import csv ...
keyri's user avatar
  • 39
0
1 回答
1,904 閲覧数

index 0 is out of bounds for axis 0 with size 0

映画のデータセットであるMovielensについて、KNN法を用いて解析をしていたところエラーが出てしまいました。エラーメッセージの意味がよくわからず、解説と解決策のご教授をお願いしたいです。このエラーが出ない映画タイトルもあります。 ソースコード def get_movie_recommendation(movie_name): n_movies_to_reccomend = 2 ...
taro0224's user avatar
0
2 回答
971 閲覧数

scikit-learn でエラー: ValueError: Expected 2D array, got 1D array instead:

sklearnでトレーニングテータとテストデータを分けて決定木アルゴリズムにフィットさせようとしたところエラーが起きました。 解決方法がわからないため、もしよかったら指摘よろしくお願いします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import csv ...
keyri's user avatar
  • 39
0
1 回答
458 閲覧数

scikit-learn の train_test_split でエラー: ValueError: not enough values to unpack (expected 5, got 4)

Python初心者で機械学習を使用した疫学研究をしていますが進め方が合っているかどうかもわからないです。現在、ハイパーパラメータ調整で躓いています。もしよければアドバイス、指摘をお願いします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import csv ...
keyri's user avatar
  • 39
0
0 回答
371 閲覧数

darknet,Yolov7によるBBOXのデータをcsvで出力したい

前提 darknetでYolov7を用いて物体検出AIの作成を行っています。 使用している環境は以下のとおりです。 Ubuntu 22.0.4 LTS CUDA 11.07 cuDNN 8.5.0 GPU RTX 3600 Ti Python 3.10.6 AIの作成、検出はうまくいったのですが、検出結果にあるBBOXの座標を取得したく考えています。 お役に立つかわかりませんが、...
Yuki's user avatar
  • 1
0
1 回答
178 閲覧数

sagemaker環境にてデプロイに失敗する

前提 awsのsagemakerにて音響モデルを用いたTTSシステムを作っています。 実現したいこと sagemakerで音響モデルをデプロイしたいと考えています。 発生している問題・エラーメッセージ デプロイ時に下記のエラーが繰り返し発生します。 Please specify --force/-f option to overwrite the model archive output file....
masahiroview's user avatar
0
0 回答
108 閲覧数

Pycaret, ROC曲線作成時のPlot_modelの時に、ROC_AUCが下がることについて

よろしくお願い申し上げます。 Pycaretを使用し、機械学習を行い、ROC曲線を記載すると、その前の図とAUCが大きく異なります。 何か問題があるのでしょうか? 何卒よろしくお願い申し上げます。 環境:Googlecolab
うろーろ's user avatar
0
1 回答
222 閲覧数

Expected input batch_size (67) to match target batch_size (16)のエラーを直したい

環境はcolabを使っています。 pytorch自然言語処理プログラミングという本で勉強しているのですがエラーが出て解決できません。outputとyのバッチサイズが違うということだと思うのですがどちらも97で揃っていると思います。またどうして1183回目までは問題なかったのに1184回目でエラーが起きるのでしょうか。丸一日考えましたが訳がわかりません。どうかご回答よろしくお願いいたします。 ...
sakana's user avatar
  • 1
1
0 回答
95 閲覧数

aws sagemakerにて、学習済みの音響モデルをデプロイする方法について

●実現したいこと aws sagemakerにて、学習済みの音響モデルをデプロイしたいと考えています。 以下の、比較的近い事例を参考に構築をすすめています。 https://dev.classmethod.jp/articles/realtime-inference-on-sagemaker-using-by-pose-estimation-model-pytorch-own-algorhythm/...
masahiroview's user avatar
1
2 回答
948 閲覧数

二値分類問題をディープラーニングで解く際にうまく学習されない

入力されたxとyの値から0か1かを分類できるようにニューラルネットワークを学習させようとしているのですが、何度回してもうまく学習できません。 どうすればよいのか教えていただけると幸いです。 import numpy as np def sigmoid(x): return 1 / (1 + np.exp(-x)) def sigmoid_grad(x): return (1....
mark's user avatar
  • 13
0
1 回答
161 閲覧数

ElasticNetCVの引数n_alphasについて

scikit-learn公式ドキュメントには「Number of alphas along the regularization path, used for each l1_ratio.」とありますが、Elasticnetの「n_alpha」という引数はどのようなものかご教授いただけますでしょうか。
hrms's user avatar
  • 1
0
1 回答
2,029 閲覧数

TypeError: linear(): argument 'input' (position 1) must be Tensor, not tupleをうまく解消できない

pytorchで学習したモデルの推論を行いたいです。 モデルは、入力は2つ、出力は1つです。 そのため、入力を2つ入れて推論を行おうとしましたが、うまく動きません。 どうすればうまく動かせるのですか? x_1 = np.arange(0.49, 1+2*10**-3, 2*10**-3) x_2 = [0.8 for i in range(len(x_1))] ...
18aaa's user avatar
  • 101
0
0 回答
1,106 閲覧数

Attempting to deserialize object on a CUDA device but torch.cuda.is_available() is Falseが解消できない。

pytorchで推論をしようと保存したモデルを読み込もうとするとエラーが出てきます。 Google colabの環境下で、gpuで学習を行い、CPUしかない環境下で以下のプログラムを実行するとエラーが出てきます。 model = Model model.load_state_dict(torch.load("185.pth")) model.load_state_dict(...
18aaa's user avatar
  • 101
6
1 回答
2,230 閲覧数

CNNにおいて奇数サイズのカーネルが推奨されるのはなぜですか

なぜCNNにおいて奇数サイズのカーネルが推奨されているかわかりません。 CNNにおいて、多くのページに「畳み込みのカーネルは3×3や7×7のような奇数サイズが好ましい」と書かれており、理由について「中心に画素が存在するため」などと書かれていますが、それ以上の説明がなく、納得できないままでいます。 入力画像サイズが(2n, 2n)の場合、奇数サイズのカーネルでストライドを2にして(n, n)...
takubonn's user avatar
0
2 回答
855 閲覧数

Windows 10 + AnacondaでCUDAを利用可能にするには?

Teratailで回答を得られなかったので、こちらに投稿しています。 BigSleepというAI画像生成のパッケージが動かしたいと思っています。 Windows 10 (RTX2060Super搭載)にAnaconda3.9最新版をインストールし、コマンドプロンプトから以下のようにインストールを試みましたが失敗しました。 $ conda create -n painter $ conda ...
spica's user avatar
  • 11
0
1 回答
682 閲覧数

torch.autograd.gradが0またはNoneTypeになってしまう

以下のコード中のtorch.autograd.gradの偏微分の計算で,Noneになってしまいます. torch.autograd.gradの中身を見ることが出来ませんので,偏微分の計算中に何かしら問題が起こっている?と思いますが,どうなっているかがいまだに不明です. なお,torch.autograd.gradで用いられるlossとparams.values()はきちんと値が出力されます. ...
citrus1998's user avatar
3
0 回答
104 閲覧数

初期条件を入力したときに値ではなく可視化された図を出力するモデルを作りたい

プログラミング初心者で使用言語はPythonです。 やりたいことは以下の通りです。 ランダムに障害物が配置されてる仮想水路を設定 色んな流量を流して平面2次元の計算をさせて流速ベクトルを可視化する(カルマン渦とかをみたい) 結果を畳み込みニューラルネットワークで学習 学習結果から次のようなことをしたい 任意の場所に障害物を配置し、...
manatsu's user avatar
  • 197
1
1 回答
641 閲覧数

時系列データのパターンマッチングについて

時系列データのパターンマッチングについて ある時系列データ(a)に、あらかじめ指定したパターンデータ(b)と似た形が、 どの時期にどの程度含まれているか、相関関係を求めたいのですが、 どのようなアプローチがよいでしょうか?(以下の方法は適切でしょうか?) ◇想定しているデータ (a)時系列データ 時系列データは、音声データ、株価データなどを想定しています。 インデックスはpd....
Sasaki's user avatar
  • 139
3
0 回答
151 閲覧数

入れ子の交差検証をホールドアウト検証形式で書いてみたけど、出力結果が合わない

入れ子の交差検証(性能評価用の外側ループ、チューニング用の内側ループともに5分割)を、ホールドアウト形式で書いてみたんですが、出力結果が合いません。 読み込んでいるcsvの内容は、3列目がラベル情報で、上から5個ずつ1と0が交互に50行分格納されています。特徴量は4~17列に格納されています。 入れ子構造の交差検証のコードが間違っているのでしょうか? それとも、...
renren's user avatar
  • 41
2
1 回答
946 閲覧数

Jupyter NotebookでWord Cloudを作成したいのですが、画質が粗いです。

Jupyter NotebookでWord Cloudを作成したいのですが、添付画像のように画質が粗いです。 画質をよくする方法を教えて下さい。コードはPythonで書いています。 コードは以下です。 import pandas as pd from janome.tokenizer import Tokenizer import matplotlib.pyplot as plt from ...
yuka's user avatar
  • 25
1
1 回答
347 閲覧数

Pythonで、層化k分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコード

Pythonで、層化5分割交差検証の各分割ごとにランダムフォレストの重要度評価を行うコードを書きたいです。 5種類の分割データでランダムフォレストの重要度を求め、特徴重要度を降順で示した図を5つ出したいのですが、1つの図しか出ません。 そもそもデータを正しく層化5分割し、そのデータでランダムフォレストの学習を行うコードとなっていますでしょうか? どなたかご教授くださいますよう、お願いします。 K =...
renren's user avatar
  • 41
0
1 回答
493 閲覧数

Google Colaboratoryを使ったkerasでmodel.saveができない

画像認識プログラミングレシピという本で画像認識を学習中です。 kerasでモデルを保存しようとするとエラーが出て保存できません。 以下のサイトが参考になるかなと思ったのですが、読んでもよく理解できませんでした。 Kerasでmodel.saveしようとしてmust override get_configエラーが出たときの対処 文字数の関係上モデルの一部を抜粋させていただきました。 ...
user47513's user avatar
1
2 回答
687 閲覧数

なぜ重みの初期値にnp.random.randnを用いるのか?

質問1 「ゼロから作るディープラーニング」を勉強していて、182pのところを読んでいたら、そもそもなんで、重みWの初期値を今までnp.random.randnというものにしていたのかがわからなくなりました。なのでなぜnp.random.randnを重みの初期値にするのかを教えていただきたいです。 質問2 np.random.randnは「平均0、分散1(標準偏差1)の正規分布(標準正規分布)...
けむけむ's user avatar
0
1 回答
278 閲覧数

機械学習でsin波を学習させた際のずれについて

機械学習初心者です。 sin波を機械学習で予想させようと思い、下記サイトを参考にプログラムを組んでみました。 https://www.ai-lab.app/169/ 発展として、周期を連続的に予測させようと思いました。 方法としては次の値を予想させるために前5個分のデータを読み込ませて予想している感じです。そのようにプログラムしているつもりです。 まずは2周期目だけ予想させようと思ったのですが、...
user45645's user avatar
0
1 回答
958 閲覧数

transformersからTFGPT2LMHeadModelをインポートできない (cannot import name 'TFGPT2LMHeadModel' from 'transformers')

Huggingface Transformers 入門 (6) - テキスト生成 こちらの記事を真似てコードを動かしていますが、最初の import tensorflow as tf from transformers import TFGPT2LMHeadModel, GPT2Tokenizer で以下のエラーが出ます -------------------------------------...
Jin Watanabe's user avatar
0
0 回答
89 閲覧数

Face++APIの処理をフォルダ内の画像すべてに行えるようにしたい

Face++のdetectAPIを使ってフォルダ内の画像すべてに処理を行い、その結果を1つのcsvファイルに保存するプログラムを完成させたいです。 公式ドキュメントでは画像一枚だけに処理を行うコードが書かれているのですがそれを改変して書こうとしています。 機械学習用の画像データセットを作ろうと思い、 ①画像をスクレイピングにて一括取得。 ②取得した画像をカスケードファイルにて顔部分だけにリサイズ ...
kokku's user avatar
  • 1
0
1 回答
1,335 閲覧数

KerasでLSTMをしようとしているが、エラーが出てしまう。

3次元のデータと1次元の正解データをLSTMで学習させようとしているが、エラーが出てしまします。 どうすればよいでしょうか? コードに問題があったため少し変更しました。 参考にしたものはこちらです。 http://sweng.web.fc2.com/ja/program/python/time-series-forecast-lstm.html import numpy as np from ...
zunda's user avatar
  • 1,214
0
1 回答
105 閲覧数

Logistic Regressionで実装しましたが,accuracyが20パーセント台と低いです.

Logistic Regressionによるニューラルネットを実装したのですが,その正解率が低すぎるので,直したいです. 入力xはshape(1,64)でyはラベルでshape(1,6)の配列です.バッチサイズやニューロンの数を変えたりと,ハイパラメータを変えてみたのですが,正答率が上がりませんでした.どなたか,正答率を上げるために,どのような方法がいいでしょうか,ご教示の程,...
tazawa's user avatar
  • 1
1
1 回答
274 閲覧数

pytorchのoutputについて

以下のプログラムは手書き数字データセットMNISTを10クラスに識別するものです。 正解数と識別率をevaluate関数で求めているのですが、どのデータがどのクラスに分類されたかを調べるために混同行列を用いてみました。しかし、このプログラムを実行すると、ncorrectの値と混同行列の体格成分の和が一致しません。どうすれば一致するでしょうか。 学習用プログラム import os import ...
Takuya's user avatar
  • 11
0
0 回答
4,399 閲覧数

Pythonでエラーが出てしまう: IndexError: index 100 is out of bounds for dimension 0 with size 100

下記のプログラムを実行すると、エラーメッセージが出てしまいます。 実装したいこととしては、Aを混同行列としてA[pred[i]][y[i]]に1を足しこみたいです。 エラーメッセージ: File "cnnTm.py", line 61, in <module> lossT, accT, ncorrectT = cnnL.evaluate(model, XT,...
Takuya's user avatar
  • 11
0
1 回答
2,027 閲覧数

kerasで2入力1出力のCNN設計をしたい

2枚の画像を入力して1つの出力を得る(分類される)CNNの設計を行っています。 具体的には,VGG16の特徴抽出層(重みは初期化しないでImagenetで学習済みのものを使用)を用いて2枚の画像から特徴を抽出し,それを全結合層で推論するネットワークです。 python3.6.4,keras2.3.1を使用しています。 ソースコードは以下の通りです。 from keras.models import ...
naoki's user avatar
  • 3
0
1 回答
518 閲覧数

分類モデルの作成

分類モデルの作成をしてまして、モデルの選択 ロジスティック回帰と決定木、ランダムフォレスト、SVMの4つのモデルを作成して比較で # for文でリストからモデルを取り出し、学習と予測、F1値の出力を行う。為のコードがどうしてもわからなく悩んでいます。ご教示お願い致します。 コード import numpy as np import matplotlib.pyplot as plt import ...
hideto.tsuzuki 's user avatar
0
1 回答
105 閲覧数

scikit-learnで偽陽性だったもの(データの配列番号)を出力して確認するにはどうすればよいでしょうか?

実装は以下のサイトのものをそのまま使用しました. https://www.haya-programming.com/entry/2018/02/22/234011 混同行列(confusion_matrix)が以下のようになったため,どのデータが分類に失敗したのかが気になります. [[1699 1] [ 0 1936]] ...
kita4b's user avatar
  • 5
0
0 回答
224 閲覧数

pytorchで作ったCNNが学習しません

以下のようなCNNをpythonで作成したのですが、計算を回したところlossの値が変化しませんでした。 原因がわからないのですが、教えていただけないでしょうか? from torch.nn import MSELoss device = 'cuda' model = Model().to(device) criterion = MSELoss() optimizer = Adam(model....
guch's user avatar
  • 1
0
1 回答
878 閲覧数

pythonで[Errno 2] No such file or directory: 'python': 'python'と表示されることの解決策を教えてください。

以下のpython scriptを回そうとした時に表題のエラー「[Errno 2] No such file or directory: 'python'」が出力されます。 解決法がわからないので教えてください。 実行しているものとしては、wikipediaで学習したBERTを作成しようとしており、その事前学習段階を行おうとしています。 ターミナルから実行するのでは、入力内容が多いため、...
user41827's user avatar
1
1 回答
2万 閲覧数

'numpy.ndarray' object has no attribute 'append'のエラーについて

現在、Python機械学習プログラミング 達人データサイエンティストによる理論と実装の本で勉強してまして、 コードを実装すると、下記のエラーが発生してしまいます。ネットで調べたところ、numpyでarrayを追加することで解決とのことですが、どのようなコードを追加すればよいのか分かりません。 コードの追加及び他の方法で解決することについて、ご教示よろしくお願いいたします。 weights, ...
hideto.tsuzuki 's user avatar
1
0 回答
368 閲覧数

tiny-yolov3の学習済みモデルをcoremlモデルに変換

前提・実現したいこと tiny-yolov3の学習済みモデルをkerasモデルに変換しそのモデルをcoremlモデル(mlmodel)に変換をしようとしています。 iosアプリでtiny-yolov3の学習モデルを用いて物体の座標を検出させるアプリを作っています。ですがiosでtiny-yolov3の学習済みモデルを直接使用することはできないのでcoremlモデルに変換する必要があります。...
marakasu's user avatar
0
1 回答
3,380 閲覧数

windows環境でcondaにpytorchが入りません

anaconda環境にpytorchをインストールしようとしているのですが、何度試してもimportエラーが出てしまいます。 anacondaで仮想環境を作り、焼ているのですが、下記のような結果になってしまいます (nn) C:\Users\USER>conda install pytorch torchvision -c pytorch Collecting package ...
kokku's user avatar
  • 1
0
0 回答
312 閲覧数

dlibをインストールしようとするとcv2が見つからないというエラーが出てしまう

https://www.kkaneko.jp/dblab/dlib/trydlib.html 上のサイトを参考にしてdlibのインストールを進めていたのですが py -m pip install --upgrade pip py -m pip install -U numpy scikit-image scikit-learn ...
kokku's user avatar
  • 1