0

実現したいこと

Yolov7でトレーニングした.ptファイルをexport.pyでONNXRUNTIMEで使えるように変換して、推論したい

前提

Yolov7でトレーニングした.ptファイルを

python export.py --weights runs/train/yolov7-tiny-fruits/weights/best.pt --end2end --topk-all 100 --iou-thres 0.65 --conf-thres 0.6 --img-size 480 640 --max-wh 480 --grid  

でONNXファイルに変換して

python
import cv2
import numpy as np
import onnxruntime

def preprocess_image(img):
    img = img.astype(np.float32) / 255
    img = np.transpose(img, (2, 0, 1))
    img = np.expand_dims(img, 0)
    print(img)
    return img



# ONNXモデルをロード
onnx_file = "C:/Users/user/Desktop/yolov7/yolov7/runs/train/yolov7-tiny-fruits/weights/best1_iou65_conf30.onnx"
session = onnxruntime.InferenceSession(onnx_file)

# Webカメラの初期化
cap = cv2.VideoCapture(0)  # 0はデフォルトのカメラを示す。別のカメラを使用する場合は、この数字を変更。

while True:
    # カメラからフレームをキャプチャ
    ret, frame = cap.read()
    if not ret:
        break

    preprocessed_img = preprocess_image(frame)

    # 推論
    outputs = session.run(["output"], {"images": preprocessed_img})
    print(outputs)
    # 結果を描画
    if range(len(outputs[0])) != 0:
        for i in range(len(outputs[0])):
            xmin,ymin,xmax,ymax = outputs[0][i][1],outputs[0][i][2],outputs[0][i][3], outputs[0][i][4]
            xmin,ymin,xmax,ymax = xmin.astype(np.int8),ymin.astype(np.int8),xmax.astype(np.int8),ymax.astype(np.int8)
            cv2.rectangle(frame, (xmin, ymin), (xmax, ymax), (0, 255, 0), 2)
            label = "aaaaaaaaa"
            cv2.putText(frame, label, (xmin, ymin - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)

    cv2.imshow('Live Object Detection', frame)

    # 'q' キーを押すとループを終了
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

このコードを実行したところ

9行目の結果 print(img)
[[[[0.69803923 0.7137255  0.7058824  ... 0.41568628 0.41568628
    0.41960785]
   [0.6862745  0.69803923 0.69803923 ... 0.41960785 0.41960785
    0.41960785]
   [0.6862745  0.7019608  0.7058824  ... 0.4117647  0.41960785
    0.41960785]
   ...
   [0.25882354 0.26666668 0.27058825 ... 0.36078432 0.3764706
    0.3882353 ]
   [0.25882354 0.27058825 0.27450982 ... 0.34901962 0.37254903
    0.3882353 ]
   [0.25882354 0.2627451  0.26666668 ... 0.32156864 0.34117648
    0.3764706 ]]

  [[0.6392157  0.64705884 0.6392157  ... 0.3882353  0.38431373
    0.39215687]
   [0.6509804  0.6509804  0.6509804  ... 0.39215687 0.39215687
    0.39215687]
   [0.6509804  0.654902   0.654902   ... 0.39215687 0.39215687
    0.39215687]
   ...
   [0.25882354 0.2627451  0.2627451  ... 0.41960785 0.43529412
    0.44705883]
   [0.25882354 0.25882354 0.25490198 ... 0.40784314 0.43137255
    0.44705883]
   [0.25882354 0.25882354 0.25882354 ... 0.3882353  0.40784314
    0.4392157 ]]

  [[0.69803923 0.7137255  0.7058824  ... 0.5058824  0.5137255
    0.52156866]
   [0.69803923 0.7058824  0.70980394 ... 0.5137255  0.50980395
    0.50980395]
   [0.69803923 0.70980394 0.7137255  ... 0.5019608  0.50980395
    0.5137255 ]
   ...
   [0.3764706  0.38039216 0.38039216 ... 0.5568628  0.57254905
    0.58431375]
   [0.3764706  0.3764706  0.3764706  ... 0.54901963 0.5686275
    0.58431375]
   [0.3764706  0.3764706  0.3764706  ... 0.53333336 0.5529412
    0.58431375]]]]

プラス
dtype('float32')
shape: (1, 3, 480, 640)


31行目の結果 print(outputs)
[array([[0.0000000e+00, 2.7053705e+02, 2.7021649e+02, 4.8089246e+02, 4.5904602e+02, 0.0000000e+00, 3.8479486e-01]], dtype=float32)]
.
.
.
.

やっていただきたいこと

31行目のoutputsの中身の意味とこのコードに対するアドバイスをいただきたいです

試したこと

参考になるサイトが少なくて困っていました。
yolov7のdetect.pyでは普通にうまくいきましたが、高速化したいのでONNXランタイムにしました。
ONNX以外のやり方があるのならそっちでもいいかなと思っています。
ちなみにほかの質問サイトのほうでも同じ質問をしているのでそっちの回答も参考にするといいかもしれません。

補足情報(FW/ツールのバージョンなど)###

python: 3.10
onnxruntime==1.15.1
numpy==1.23.5
opencv-python==4.8.0.74

2

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。