2

前提

SwiftUIとOpenCVを使って、スマホのカメラ映像(プレビュー画像)から特定色の輪郭を検出するプログラムを作成しました。

輪郭を検出してプレビューとして表示するところまではできたのですが、検出した輪郭の「面積」を求めるところで詰まってしまっています。

下図はアプリの実行画面で、持ち手が青色のハサミを映している様子です。
画像の説明をここに入力
アプリの「run」ボタンを押すとレンダリングを開始し、「stop」ボタンを押すとレンダリングを停止します。

実現したいこと

OpenCVで検出した輪郭の面積を求めたい

分からないこと

輪郭の面積を求めるために使う「Imgproc.contourArea()」関数にMat型のデータを渡す必要があるのですが、取得した輪郭のデータからMat型のデータを作成する方法が分かりません。

試したこと

輪郭の情報を取得するために「Imgproc.findContours()」関数を使用しています。
各輪郭は「contours」に格納されます。printで中身(一部抜粋)を確認すると下図のようになっています。
画像の説明をここに入力

輪郭の面積を計算するために「Imgproc.contourArea()」関数を使用しています。
輪郭の面積を求めるcontourAreaにはMat型(○×○の行列型)のデータを渡す必要があるので、「findContours」で得られた輪郭のデータをMat型に変換する必要があると考えています。

OpenCVをSwiftで使用するためのドキュメントを参考に、Matに変換する関数をいくつか試してみたのですが、うまくいっていない状態です。

該当のソースコード

【ContentView.swift】

import SwiftUI
import AVFoundation
import opencv2

struct ContentView: View {
   let videoCapture = VideoCapture()
   @State var image: UIImage? = nil
   var body: some View {
       VStack {
           if let image = image {
               Image(uiImage: image)
                   .resizable()
                   .scaledToFit()
           }
           else {
               Spacer()
           }
           HStack {
               Button("run") {
                   videoCapture.run { sampleBuffer in
                       if let convertImage = UIImageFromSampleBuffer(sampleBuffer) {
                           let src = Mat(uiImage: convertImage) // UIImageをMatに変換
                           Imgproc.cvtColor(src: src, dst: src, code: ColorConversionCodes.COLOR_RGB2BGR) // BGRに変換
                           Imgproc.cvtColor(src: src, dst: src, code: ColorConversionCodes.COLOR_BGR2HSV) // HSVに変換
                           Core.inRange(src: src, lowerb: Scalar(50, 50, 50), upperb: Scalar(255, 255, 255), dst: src) // HSVの検出範囲を指定
                           Imgproc.blur(src: src, dst: src, ksize: Size2i(width: 5, height: 5)) // フィルタでMatをぼかす
                           Imgproc.Canny(image: src, edges: src, threshold1: 360.0, threshold2: 360.0) // Canny法で輪郭を検出する
                           // 輪郭の情報を取得する
                           let contours: NSMutableArray = []
                           let hierarchy = Mat.zeros(Size(width: 5, height: 5), type: CvType.CV_8UC1)
                           Imgproc.findContours(image: src, contours: contours, hierarchy: hierarchy, mode: RetrievalModes.RETR_EXTERNAL, method: ContourApproximationModes.CHAIN_APPROX_SIMPLE)
                           // 輪郭の面積を求める
                           for contour in contours {
                               print(contour)
                               Imgproc.contourArea(contour: contour) // Matに変換する必要がある
                           }
                           let img = src.toUIImage() // MatをUIImageに変換
                           DispatchQueue.main.async {
                               self.image = img
                           }
                       }
                   }
               }
               Button("stop") {
                   videoCapture.stop()
               }
           }
           .font(.largeTitle)
       }
   }

   func UIImageFromSampleBuffer(_ sampleBuffer: CMSampleBuffer) -> UIImage? {
       guard let pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else { return nil }
       let ciImage = CIImage(cvPixelBuffer: pixelBuffer)
       let imageRect = CGRect(x: 0, y: 0, width: CVPixelBufferGetWidth(pixelBuffer), height: CVPixelBufferGetHeight(pixelBuffer))
       guard let image = CIContext().createCGImage(ciImage, from: imageRect) else { return nil }
       
       return UIImage(cgImage: image)
   }

}

struct ContentView_Previews: PreviewProvider {
   static var previews: some View {
       ContentView()
   }
}

【VideoCapture.swift】

import Foundation
import AVFoundation

class VideoCapture: NSObject {
   let captureSession = AVCaptureSession()
   var handler: ((CMSampleBuffer) -> Void)?

   override init() {
       super.init()
       setup()
   }

   func setup() {
       captureSession.beginConfiguration()
       let device = AVCaptureDevice.default(.builtInWideAngleCamera, for: .video, position: .back)
       guard
           let deviceInput = try? AVCaptureDeviceInput(device: device!),
           captureSession.canAddInput(deviceInput)
           else { return }
       captureSession.addInput(deviceInput)

       let videoDataOutput = AVCaptureVideoDataOutput()
       videoDataOutput.setSampleBufferDelegate(self, queue: DispatchQueue(label: "mydispatchqueue"))
       videoDataOutput.alwaysDiscardsLateVideoFrames = true

       guard captureSession.canAddOutput(videoDataOutput) else { return }
       captureSession.addOutput(videoDataOutput)
       
       // アウトプットの画像を縦向きに変更(標準は横)
       for connection in videoDataOutput.connections {
           if connection.isVideoOrientationSupported {
               connection.videoOrientation = .portrait
           }
       }

       captureSession.commitConfiguration()
   }

   func run(_ handler: @escaping (CMSampleBuffer) -> Void)  {
       if !captureSession.isRunning {
           self.handler = handler
           captureSession.startRunning()
       }
   }

   func stop() {
       if captureSession.isRunning {
           captureSession.stopRunning()
       }
   }
}

extension VideoCapture: AVCaptureVideoDataOutputSampleBufferDelegate {
   func captureOutput(_ output: AVCaptureOutput, didOutput sampleBuffer: CMSampleBuffer, from connection: AVCaptureConnection) {
       if let handler = handler {
           handler(sampleBuffer)
       }
   }
}

【swiftui_avfoundationApp.swift】

import SwiftUI

@main
struct swiftui_avfoundationApp: App {
   var body: some Scene {
       WindowGroup {
           ContentView()
       }
   }
}

補足情報①(FW/ツールのバージョンなど)

iOS:15.7
Xcode:13.1
OpenCV:opencv-4.6.0-ios-framework
OpenCV4.6.0ダウンロードサイト

補足情報②(Android版について)

以前に、Androidでも同様の機能を持ったアプリを作成しました。
その際は、下記のプログラムで輪郭の面積を出すことができていました。

// 認識した色に応じた処理を実行
...
   private fun detectColor(img:Mat):Boolean {
       Core.inRange(img, Scalar(0.0, 0.0, 0.0)
           , Scalar(255.0, 255.0, 255.0)
           , img)
       // 色の輪郭の面積に応じた処理を実行
       return compareContourColor(detectContour(img))
   }

   private fun detectContour(img:Mat): Int {
       // ガウシアンフィルタで画像をぼかす
       Imgproc.GaussianBlur(img, img, Size(5.0, 5.0), 5.0)
       // 輪郭を取得
       Imgproc.Canny(img, img, 10.0, 360.0)
       // 輪郭の情報を取得
       val contours: List<MatOfPoint> = ArrayList()
       val hierarchy = Mat.zeros(Size(5.0, 5.0), CvType.CV_8UC1)
       Imgproc.findContours(img,
           contours,  // 輪郭情報を格納
           hierarchy, // 階層構造を格納
           Imgproc.RETR_EXTERNAL, // 輪郭抽出モードを指定
           Imgproc.CHAIN_APPROX_SIMPLE // 輪郭の表示方法を指定
       )
       return contours.size
   }

   private fun compareContourColor(size:Int):Boolean {
       ... // 取得した輪郭面積に応じた処理を実行
   }

   // カメラ映像の各フレームに対する処理
   override fun onCameraFrame(inputFrame: CameraBridgeViewBase.CvCameraViewFrame): Mat? {
       // カメラプレビューの各フレームをフルカラーで取得
       mMat = inputFrame.rgba()
       Imgproc.cvtColor(mMat, mMatChange, Imgproc.COLOR_RGBA2BGR) // MatをRGBAからBGRに変換
       Imgproc.cvtColor(mMatChange, mMatChange, Imgproc.COLOR_BGR2HSV) // MatをBGRからHSVに変換
       detectColor(mMatChange!!) // 輪郭面積に応じた処理を実行
       return mMat // プレビュー画像を返す
   }
...

参考サイト

OpenCVのSwift用ドキュメント
SwiftUIでAVFoundationを使ってフレームバッファを取得する
OpenCVのサンプルをSwiftUIだけで作成する

2
  • teratail.com/questions/4ukrk721sew5tr
    – fana
    Commented 2022年10月21日 8:24
  • 補足情報に「Android版では面積計算できている」とありますが、contours.sizeは単に「検出した輪郭の個数」ではありませんか?
    – yohjp
    Commented 2022年12月14日 16:06

0

この質問に回答するには、ログインする必要があります。

のタグが付いた他の質問を参照する。