概要
学習済みのyolov8ネットワークにblobFromImageで作成した画像を入力すると、例外が発生してしまい結果を取得できません。
正しく推論結果を得るにはどうすればよいでしょうか?
背景
pythonで学習したyolov8モデルをC++で使用するため、公式リポジトリにあるサンプルコードを一部修正してビルドしました。
ビルドには成功しましたが、forwardメソッドで例外が発生してしまいます。
デバッガで確認した例外発生時のメッセージは以下の通りです。
0x00007FF9DA3C2D88 (opencv_world470d.dll) で例外がスローされました (Yolov8CPPInference.exe 内): 0xC0000005: 場所 0x000002B185680640 への書き込み中にアクセス違反が発生しました
また、デバッガ無しで実行したときにコンソールに表示されたメッセージは以下の通りです。
Running on CPU
[ INFO:[email protected]] global registry_parallel.impl.hpp:96 cv::parallel::ParallelBackendRegistry::ParallelBackendRegistry core(parallel): Enabled backends(3, sorted by priority): ONETBB(1000); TBB(990); OPENMP(980)
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load ultralytics\examples\YOLOv8-CPP-Inference\build\Debug\opencv_core_parallel_onetbb470_64d.dll => FAILED
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load opencv_core_parallel_onetbb470_64d.dll => FAILED
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load ultralytics\examples\YOLOv8-CPP-Inference\build\Debug\opencv_core_parallel_tbb470_64d.dll => FAILED
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load opencv_core_parallel_tbb470_64d.dll => FAILED
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load ultralytics\examples\YOLOv8-CPP-Inference\build\Debug\opencv_core_parallel_openmp470_64d.dll => FAILED
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load opencv_core_parallel_openmp470_64d.dll => FAILED
ultralytics\examples\YOLOv8-CPP-Inference\build\Debug\Yolov8CPPInference.exe (プロセス 42024) は、コード -1073741819 で終了しました。
環境
OS: Windows10
Python: 3.9.13
Visual Studio: 2019
OpenCV: 4.7.0+contrib
学習済みモデルはptファイルをonnxに変換したものです。
変換にはyolov8が提供するコマンドラインツールを使用しました。
> yolo export model=my_model.pt opset=12 format=onnx imgsz=1280,640
画像はbmpファイルでサイズは1280x640です。
学習もこの画像で実行しており、Pythonからmy_model.ptを読み込んだ推論は正しく実行できております。
from ultralytics import YOLO
model = YOLO("my_model.pt")
model("./images", save=True, conf=0.2, save_txt=True)
コード
C++コードを記載します。
サンプルコードのmain.cppから変更した箇所は、モデル指定部分、画像サイズ部分、getoptをincludeする処理を除外した、3点となっております。
#include <iostream>
#include <vector>
#include <opencv2/opencv.hpp>
#include "inference.h"
using namespace std;
using namespace cv;
int main(int argc, char **argv)
{
std::string projectBasePath = "myfolder\\sample_code"; // Set your ultralytics base path
bool runOnGPU = false;
Inference inf(projectBasePath + "/my_model.onnx", cv::Size(1280, 640), "", runOnGPU);
std::vector<std::string> imageNames;
imageNames.push_back(projectBasePath + "/images/sample.bmp");
for (int i = 0; i < imageNames.size(); ++i)
{
cv::Mat frame = cv::imread(imageNames[i]);
// Inference starts here...
//この行でアクセス違反の例外発生
std::vector<Detection> output = inf.runInference(frame);
int detections = output.size();
std::cout << "Number of detections:" << detections << std::endl;
for (int i = 0; i < detections; ++i)
{
Detection detection = output[i];
cv::Rect box = detection.box;
cv::Scalar color = detection.color;
// Detection box
cv::rectangle(frame, box, color, 2);
// Detection box text
std::string classString = detection.className + ' ' + std::to_string(detection.confidence).substr(0, 4);
cv::Size textSize = cv::getTextSize(classString, cv::FONT_HERSHEY_DUPLEX, 1, 2, 0);
cv::Rect textBox(box.x, box.y - 40, textSize.width + 10, textSize.height + 20);
cv::rectangle(frame, textBox, color, cv::FILLED);
cv::putText(frame, classString, cv::Point(box.x + 5, box.y - 10), cv::FONT_HERSHEY_DUPLEX, 1, cv::Scalar(0, 0, 0), 2, 0);
}
// Inference ends here...
// This is only for preview purposes
float scale = 0.8;
cv::resize(frame, frame, cv::Size(frame.cols*scale, frame.rows*scale));
cv::imshow("Inference", frame);
cv::waitKey(-1);
}
}
調べたこと
Visual Studioのデバッガーを使ってみたところ、例外が発生したinf.runInferenceメソッドの内部で実行しているblobFromImageの出力画像のサイズが(-1, -1)になっていることを確認しました。
また、出力画像のdims()の結果は4、size()の結果は{p=0x0000018db4398ce4 {1} }でした。
メソッドの内部でcv::imshowを実行し、目的の画像が読み込めていることは確認できております。
該当箇所は以下の内容です。
cv::Mat blob;
//Visual Studioのデバッガーでblobを確認すると、サイズが-1x-1になっている
cv::dnn::blobFromImage(modelInput, blob, 1.0/255.0, modelShape, cv::Scalar(), true, false);
net.setInput(blob);
std::vector<cv::Mat> outputs;
//ここで例外発生
net.forward(outputs, net.getUnconnectedOutLayersNames());
cv::Mat::rows
とcv::Mat::cols
は無効値-1
になります。詳しくはcv::Matのリファレンスを参照してください。なお、次元数はcv::Mat::dims
を、各次元の長さはcv::Mat::size
を使うことで取得できます。cv::Mat::dims
とcv::Mat::size
はメンバー変数(Public Attributes)であり、関数ではありません。そのため、名前に()
を付けるべきではありません。また、cv::Mat::size
の型はcv::MatSize
です。これは配列先頭要素へのポインタをメンバー変数p
に保持しているだけで、デバッガーではアドレス値が表示されます。実行するたびに変わるアドレス値を単独で質問文に記載しても意味はありません。配列の各要素すなわちcv::Mat
の各次元の長さを取得するにはoperator[]
を使います。インデックスは0
からcv::Mat::dims - 1
が有効値です。cv::MatSize::dims()
も使えます。cv::Mat
はOpenCVの基本中の基本であり、まず提示したリファレンスを熟読してください。説明書を読まずにいきなり道具を使おうとすれば、動作原理を理解できるはずもなく、自力でトラブルシューティングができないのは当然です。