0

概要

学習済みのyolov8ネットワークにblobFromImageで作成した画像を入力すると、例外が発生してしまい結果を取得できません。
正しく推論結果を得るにはどうすればよいでしょうか?

背景

pythonで学習したyolov8モデルをC++で使用するため、公式リポジトリにあるサンプルコードを一部修正してビルドしました。
ビルドには成功しましたが、forwardメソッドで例外が発生してしまいます。

デバッガで確認した例外発生時のメッセージは以下の通りです。

0x00007FF9DA3C2D88 (opencv_world470d.dll) で例外がスローされました (Yolov8CPPInference.exe 内): 0xC0000005: 場所 0x000002B185680640 への書き込み中にアクセス違反が発生しました

また、デバッガ無しで実行したときにコンソールに表示されたメッセージは以下の通りです。

Running on CPU
[ INFO:[email protected]] global registry_parallel.impl.hpp:96 cv::parallel::ParallelBackendRegistry::ParallelBackendRegistry core(parallel): Enabled backends(3, sorted by priority): ONETBB(1000); TBB(990); OPENMP(980)
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load ultralytics\examples\YOLOv8-CPP-Inference\build\Debug\opencv_core_parallel_onetbb470_64d.dll => FAILED
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load opencv_core_parallel_onetbb470_64d.dll => FAILED
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load ultralytics\examples\YOLOv8-CPP-Inference\build\Debug\opencv_core_parallel_tbb470_64d.dll => FAILED
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load opencv_core_parallel_tbb470_64d.dll => FAILED
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load ultralytics\examples\YOLOv8-CPP-Inference\build\Debug\opencv_core_parallel_openmp470_64d.dll => FAILED
[ INFO:[email protected]] global plugin_loader.impl.hpp:67 cv::plugin::impl::DynamicLib::libraryLoad load opencv_core_parallel_openmp470_64d.dll => FAILED

ultralytics\examples\YOLOv8-CPP-Inference\build\Debug\Yolov8CPPInference.exe (プロセス 42024) は、コード -1073741819 で終了しました。

環境

OS: Windows10
Python: 3.9.13
Visual Studio: 2019
OpenCV: 4.7.0+contrib

学習済みモデルはptファイルをonnxに変換したものです。
変換にはyolov8が提供するコマンドラインツールを使用しました。

> yolo export model=my_model.pt opset=12 format=onnx imgsz=1280,640

画像はbmpファイルでサイズは1280x640です。
学習もこの画像で実行しており、Pythonからmy_model.ptを読み込んだ推論は正しく実行できております。

from ultralytics import YOLO

model = YOLO("my_model.pt")
model("./images", save=True, conf=0.2, save_txt=True)

コード

C++コードを記載します。
サンプルコードのmain.cppから変更した箇所は、モデル指定部分、画像サイズ部分、getoptをincludeする処理を除外した、3点となっております。

#include <iostream>
#include <vector>
#include <opencv2/opencv.hpp>
#include "inference.h"

using namespace std;
using namespace cv;

int main(int argc, char **argv)
{
    std::string projectBasePath = "myfolder\\sample_code"; // Set your ultralytics base path

    bool runOnGPU = false;

    Inference inf(projectBasePath + "/my_model.onnx", cv::Size(1280, 640), "", runOnGPU);

    std::vector<std::string> imageNames;
    imageNames.push_back(projectBasePath + "/images/sample.bmp");


    for (int i = 0; i < imageNames.size(); ++i)
    {
        cv::Mat frame = cv::imread(imageNames[i]);

        // Inference starts here...
        //この行でアクセス違反の例外発生
        std::vector<Detection> output = inf.runInference(frame);

        int detections = output.size();
        std::cout << "Number of detections:" << detections << std::endl;

        for (int i = 0; i < detections; ++i)
        {
            Detection detection = output[i];

            cv::Rect box = detection.box;
            cv::Scalar color = detection.color;

            // Detection box
            cv::rectangle(frame, box, color, 2);

            // Detection box text
            std::string classString = detection.className + ' ' + std::to_string(detection.confidence).substr(0, 4);
            cv::Size textSize = cv::getTextSize(classString, cv::FONT_HERSHEY_DUPLEX, 1, 2, 0);
            cv::Rect textBox(box.x, box.y - 40, textSize.width + 10, textSize.height + 20);

            cv::rectangle(frame, textBox, color, cv::FILLED);
            cv::putText(frame, classString, cv::Point(box.x + 5, box.y - 10), cv::FONT_HERSHEY_DUPLEX, 1, cv::Scalar(0, 0, 0), 2, 0);
        }
        // Inference ends here...

        // This is only for preview purposes
        float scale = 0.8;
        cv::resize(frame, frame, cv::Size(frame.cols*scale, frame.rows*scale));
        cv::imshow("Inference", frame);

        cv::waitKey(-1);
    }
}

調べたこと

Visual Studioのデバッガーを使ってみたところ、例外が発生したinf.runInferenceメソッドの内部で実行しているblobFromImageの出力画像のサイズが(-1, -1)になっていることを確認しました。
また、出力画像のdims()の結果は4、size()の結果は{p=0x0000018db4398ce4 {1} }でした。
メソッドの内部でcv::imshowを実行し、目的の画像が読み込めていることは確認できております。
該当箇所は以下の内容です。

cv::Mat blob;
    //Visual Studioのデバッガーでblobを確認すると、サイズが-1x-1になっている
    cv::dnn::blobFromImage(modelInput, blob, 1.0/255.0, modelShape, cv::Scalar(), true, false);
    net.setInput(blob);

    std::vector<cv::Mat> outputs;
    //ここで例外発生
    net.forward(outputs, net.getUnconnectedOutLayersNames());
5
  • 「公式リポジトリにあるサンプルコード」とは何のことを指していますか? 「Ultralytics YOLOv8」のサンプルコード YOLOv8-CPP-Inference のことですか? 第三者が質問の内容を理解できるように、質問文の中に必要十分な情報を明記してください。再現可能な短いサンプルコードの書き方 - ヘルプセンター - スタック・オーバーフロー
    – sygh
    Commented 1月28日 15:52
  • cv::dnn::blobFromImage()の出力は「4-dimensional Mat with NCHW dimensions order.」であり、このときcv::Mat::rowscv::Mat::colsは無効値-1になります。詳しくはcv::Matのリファレンスを参照してください。なお、次元数はcv::Mat::dimsを、各次元の長さはcv::Mat::sizeを使うことで取得できます。
    – sygh
    Commented 1月28日 16:58
  • 今回の問題とは関係ないと思いますが、Windowsではパスの区切り文字にバックスラッシュを使います。一部のAPIはスラッシュも受け付けるようになっていますが、意図しない動作をするAPIもあります。少なくとも混在させるのはよくないです。
    – sygh
    Commented 1月28日 19:42
  • @sygh サンプルコードがあるgithubへのリンクと、dims及びsizeの結果を追記しました
    – codeZ
    Commented 1月29日 0:58
  • 1
    cv::Mat::dimscv::Mat::sizeはメンバー変数(Public Attributes)であり、関数ではありません。そのため、名前に()を付けるべきではありません。また、cv::Mat::sizeの型はcv::MatSizeです。これは配列先頭要素へのポインタをメンバー変数pに保持しているだけで、デバッガーではアドレス値が表示されます。実行するたびに変わるアドレス値を単独で質問文に記載しても意味はありません。配列の各要素すなわちcv::Matの各次元の長さを取得するにはoperator[]を使います。インデックスは0からcv::Mat::dims - 1が有効値です。cv::MatSize::dims()も使えます。cv::MatはOpenCVの基本中の基本であり、まず提示したリファレンスを熟読してください。説明書を読まずにいきなり道具を使おうとすれば、動作原理を理解できるはずもなく、自力でトラブルシューティングができないのは当然です。
    – sygh
    Commented 1月29日 18:58

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。