4

OpenCV のリファレンスとソースコードを探してみたのですが、インカメラ+縦向きで実行したいのですが、カメラのプレビューが意図したとおりに、することができません。
スマートフォンが横向きでは、プレビューは正常です。縦向きにすると、プレビューの上下が逆さまになります。
上下逆さまをsetDisplayOrientationsetRotationを使って、正しい向きにしたいのですが、私のプログラムでは、意図したとおりに動作しませんでした。
お分かりになる方、教えてください。

  • Eclipse 4.4 + ADT
  • API 19
  • Nexus 5

やってみたこと。
メンバ変数mOpenCvCameraViewCameraBridgeViewBase型をJavaCameraView型にして動作するか確認。-> 意図したとおりに動作することを確認。

JavaCameraViewクラスに、画面の向きを変更するメソッドが見つからなかったので、JavaCameraViewを継承したJavaCameraView2クラスを作成して、向きを変えるメソッドを追加

FdActivityクラスのonCreateメソッド内で、作成したメソッドを呼ぶ
-> ここで、つまづいています。

public class JavaCameraView2 extends JavaCameraView {
    // snip..
    public void setCameraRotation(int angle) {
        Log.i(TAG, "called setCameraRotation");

        try {
            this.mCamera.setDisplayOrientation(angle);

        } catch (Exception e) {
            Log.e(TAG, "failed camera setting");
            e.printStackTrace();
        }
    }
}


public class FdActivity extends Activity implements CvCameraViewListener2 {
    private JavaCameraView2        mOpenCvCameraView;
// snip..
    /** Called when the activity is first created. */
    @Override
    public void onCreate(Bundle savedInstanceState) {
        Log.i(TAG, "called onCreate");
        super.onCreate(savedInstanceState);
        getWindow().addFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);

        setContentView(R.layout.face_detect_surface_view);

        mOpenCvCameraView = (JavaCameraView2) findViewById(R.id.fd_activity_surface_view);
        mOpenCvCameraView.setCvCameraViewListener(this);
        mOpenCvCameraView.setCameraRotation(90);
    }
// snip..
}

mOpenCvCameraView.setCameraRotation(90);Java.lang.NullPointerException が発生します。

どうぞ、よろしくお願いします。

追記
アドバイスを元に「onResume」メソッドにコードを追加しました。

public void onResume() {
  super.onResume();

  OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_2_4_3, this, mLoaderCallback);
  // 以下追加
  mOpenCvCameraView.setVisibility(SurfaceView.VISIBLE);
  mOpenCvCameraView.setCameraRotation(90);
  mOpenCvCameraView.enableView();
}

結果は、NullPointerExceptionが発生し、意図したとおりにはなりませんでした。
何か参考になる情報があれば、教えてください。

1/27 追記
プレビューを意図した向きにすることができました。以下のサイトを参考にしています。
OpenCV4Android - Displaying Preview in Portrait Mode

カメラをOpenした直後に、setDisplayOrientationメソッドを実行しても、向きが変化しないのは、
OpenCVの中で、向きを変更できないようなコーディングがされていると思い、参考サイトで向きを調整
しました。
ただ、このままだと比率が正しくないので、潰れた状態でプレビューされます。
この方法が正しいのかどうかは、自信がありません。

今は、潰れないように、比率が正しくなるように調整しています。

public class FdActivity extends Activity implements CvCameraViewListener2 {
    private Mat mRgbaF;
    private Mat mRgbaT;

    public void onCameraViewStarted(int width, int height) {
        mGray = new Mat();
        mRgba = new Mat();

        mRgbaF = new Mat(height, width, CvType.CV_8UC4);
        mRgbaT = new Mat(width, width, CvType.CV_8UC4);
    }

    public Mat onCameraFrame(CvCameraViewFrame inputFrame) {
        // 省略

        // Rotate mRgba 90 degrees
        Core.transpose(mRgba, mRgbaT);
        Imgproc.resize(mRgbaT, mRgbaF, mRgbaF.size(), 0, 0, 0);
        Core.flip(mRgbaF, mRgba, 0 );

        return mRgba;
    }

}

この方法以外の情報がございましたら、教えてください。
よろしくお願いします。

追記 2/9
上記方法ですと、プレビュー画面が潰れてしまい(縦と横の比率がおかしい)、意図したとおりにならないため、参考になるサイトを探しておりました。
以下のサイトを参考にしましたが、バックカメラ+portrait は意図したとおりになることを確認しましたが、インカメラ+portrait では、プレビュー画面の上下が逆さまになってしまいます。

参考サイト:
http://answers.opencv.org/question/7313/rotating-android-camera-to-portrait/
http://littlecheesecake.me/blog/13804736/opencv-android-orientation

結論として、OpenCVは「インカメラ+portrait」の条件では、意図したとおりに動作できない。と判断しました。
ありがとうござました。

2
  • あとから読んだ人のために、「カメラのプレビューが正しい位置にならない」の詳細がわかるようにしていただけますか? Commented 2015年1月22日 12:01
  • 1
    ご指摘、ありがとうございます。 スマートフォンの横向きではプレビューが正常ですが、縦向きにすると、上下逆さまになります。 縦向きに使うことが前提なので、 Camera.setDisplayOrientation Camera.Parameters.setRotation で向きを変えようとしています。
    – beru222
    Commented 2015年1月23日 10:13

1 件の回答 1

1

mOpenCvCameraView.setVisibility(SurfaceView.VISIBLE);
VISIBLEに設定してないこと、そしてそれをenableViewなどで状態を通知していないため、mCameraがnullになっていることが落ちる原因です。

opencvのサンプルソースコードに従っているのでしたらonResuneenableViewを呼んだ後、上記処理を実施して下さい。
該当箇所:https://github.com/Itseez/opencv/blob/79f593a42923a411fb0c421cd3b766acee004387/samples/android/face-detection/src/org/opencv/samples/facedetect/FdActivity.java#L100

以下、根拠と蛇足。
mCameraにインスタンスが入るために、initializeCameraconnectCamera
呼ばれなくてはいけませんが、このconnectCameraは明示的に呼ばれない限り、
CameraBridgeViewBaseの355行目
実施されます。ここにたどり着くために同じクラスのcheckCurrentState()からprocessEnterState()が呼ばれなくてはいけませんが、この条件式が次の通りでした。
mEnabled && mSurfaceExist && getVisibility() == VISIBLE
従って上記条件式を当てはめるように状況を設定し、
processEnterState()(実際はsurfaceChanged())が叩かれて状態変更が通知されるように
しなれければいけません。

6
  • @ento 貴重なコメントありがとうございます。両方必要である旨、追記致しました。編集回数への言及など、必要ではない情報を書かないよう今後注意致します。 Commented 2015年1月22日 22:37
  • アドバイスいただき、ありがとうございます。 Androidの開発は初めてで、内容の理解とプログラムをどう変更したらよいか、まだ、試行錯誤中です。 「根拠と蛇足」を拝見する限り、関係ないと思いますが、私の文章が途中で途切れていますので、補足します。 OpenCVのサンプルコードでは、mOpenCvCameraViewの型はCameraBridgeViewBaseになっていますが、この型は、メンバ変数にカメラを持っていなかったので、レイアウトファイルで宣言されているJavaCameraViewにしました。 JavaCameraViewにプレビューを回転させるようなメソッドが見当たりませんでしたので、JavaCameraViewを継承して、JavaCameraView2を作成し、プレビューを回転させるメソッドを追加しています。
    – beru222
    Commented 2015年1月23日 10:23
  • アドバイスをもとに、コードを変更してみたのですが、意図したとおりに向きを変更することができませんでした。 メンバ変数mOpenCvCameraView サンプルコード: CameraBridgeViewBase 変更したコード: JavaCameraViewを継承したJavaCameraView2 メンバ変数の型を変えています。 アドバイスを元に「onResume」メソッドにコードを追加しました。 ` public void onResume() { super.onResume(); OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_2_4_3, this, mLoaderCallback); // 以下追加 mOpenCvCameraView.setVisibility(SurfaceView.VISIBLE); mOpenCvCameraView.setCameraRotation(90); mOpenCvCameraView.enableView(); } ` NullPointerExceptionが発生し、意図したとおりにはなりませんでした。何か参考になる情報があれば、教えてください。
    – beru222
    Commented 2015年1月26日 3:50
  • 少なくともすぐ解決出来るような情報をお伝え出来ず、大変申し訳ありません。もしも、まだお聞きいただける余地があるなら、お願い致します。 今検証できる環境にいないので全て当て推量になります。initAsyncは名前から、非同期で初期化など準備を行うメソッドと思われます。従ってinit〜を呼んだ後にすぐenableViewなどしても準備が整っていません。これは非同期系メソッドの特徴で逐次処理と違ってメソッドが呼ばれた=処理が完了したことを保証するものではありません。そのような非同期系の場合、必ず、終わったことをリッスンするコールバックメソッドがありますので、そのなかの処理の一番最後で、visibility→enableView→ローテーションの変更を実施して下さい。以上、よろしくお願い致します。 Commented 2015年1月26日 4:59
  • ありがとうございます。 教えていただいた内容で、なんとなくですが、分かってきました。CameraBridgeViewBaseクラスのCvCameraViewListener2インターフェースのonCameraViewStartedメソッドを書き換えれば、よいのかなと考えています。 話は変わりますが、 メンバ変数にカメラを持っているJavaCameraViewクラスで、Camera.open()の直後に、setDisplayOrientationメソッドを実行したのですが、向きが変わりませんでした。 これらから、OpenCVのサンプルもしくはAPIは、縦向きでカメラが使われないように強制しているのではと思い始めています。
    – beru222
    Commented 2015年1月27日 6:55

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。