0

SPRESENSEのカメラで現在映しているプレビューを、PCの画面に表示させることは可能でしょうか。

接続方法は、できれば、USB(メインボード側のSerial)が良いです。

1 件の回答 1

1

ご質問に触発されて Processing で作ってみました。

SPRESENSE のスケッチ

#include <Camera.h>

#define BAUDRATE       2000000

void CamCB(CamImage img) {

  if (img.isAvailable() == false) return;

  while (Serial.available() <= 0); 
  // taking a picture is started by receiving 'S'
  if (Serial.read() != 'S') return;
  delay(1); // wait for stable connection

  digitalWrite(LED0, HIGH);
  img.convertPixFormat(CAM_IMAGE_PIX_FMT_RGB565);
  char *buf = img.getImgBuff();
  for (int i = 0; i < img.getImgSize(); ++i, ++buf) {
    Serial.write(*buf);
  }
  digitalWrite(LED0, LOW);
}

void setup() {

  Serial.begin(BAUDRATE);
  while (!Serial) {};

  theCamera.begin();
  theCamera.startStreaming(true, CamCB);
  theCamera.setAutoWhiteBalanceMode(CAM_WHITE_BALANCE_DAYLIGHT);
}

void loop() {
  /* do nothing here */
}

Processing のスケッチ

import processing.serial.*;
import java.io.*;
Serial myPort;

PImage img;
final static int WIDTH = 320;
final static int HEIGHT = 240;
boolean started = false;
int serialTimer = 0;
int total = 0;
int x = 0;
int y = 0;

void setup() {
  size(320, 240); 
  background(0);
  img = createImage(WIDTH, HEIGHT, RGB); 
  myPort = new Serial(this, Serial.list()[0], 2000000);  
  myPort.clear();
  println("setup finished");
  delay(2000); // wait for stable connection
}

void draw() {

  if (started == false) {
    started = true;  
    println("start");
    myPort.write('S');
    myPort.clear();
    total = 0;      
    delay(10);
    return;
  }

  // To get stable connection, please adjsut this interval
  final int interval = 1;
  if (millis() - serialTimer > interval) {
    serialTimer = millis();   
    if (myPort.available() <= 0) return;

    while (myPort.available() > 0) {       
      char lbyte = (char)myPort.read();
      char ubyte = (char)myPort.read();
      x = total % WIDTH;
      y = total / WIDTH;
      int value = (ubyte << 8) | (lbyte); // RGB565 format
      char r = (char)(((value & 0xf800) >> 11) << 3);
      char g = (char)(((value & 0x07E0) >> 5)  << 2);
      char b = (char)((value & 0x001f) << 3);
      color c = color(r, g, b);
      img.set(x, y, c);
      ++total;

      if (total >= WIDTH*HEIGHT) {
        println("end");
        myPort.clear();
        started = false;
        total = 0;
        image(img, 0, 0);
        break;
      }
    }
  }
}

このサンプルは、シリアルケーブル一本で PC にプレビュー画面を転送し、PC側は Processing で受けて表示するというものです。

次のサイトに動作の様子を記録した動画がありますので、ご興味があれば。

https://makers-with-myson.blog.so-net.ne.jp/2019-09-08

2Mbps なので転送能力としては、毎秒250kB。一方で、SPRESENSE のプレビュー画像は RGB565 の 320 x 240 ですので、153.6kB。フレームレートは理論的に 1.6 fps。なので 1.5 -1.4 fps くらいを期待していたのですが、実能力としては 0.9 -0.8 fps。Processing にオーバーヘッドがあるようで、思ったよりも性能が出ませんでした。

以上、ご参考になれば。

7
  • もし可能であれば、実装の肝となる部分のソースコードだけでも回答に含めてあるとより親切かなと思いました。リンク先に回答があるだけだと、将来的にURLが変わるなどしてリンク切れした後こちらの回答の価値が減ってしまうからです。
    – nekketsuuu
    Commented 2019年9月8日 18:52
  • おっしゃる通りですね。少し長くなってしまうので気が引けましたが、追記しておきます。 Commented 2019年9月9日 1:44
  • ありがとうございます、とても参考になりました。 Processingは使ったことがないのですが、ご回答を参考に勉強してみます。
    – Katsuyuki
    Commented 2019年9月11日 9:17
  • プレビュー画像をJPEGに出来ればファイルサイズ(転送サイズ)が小さくなると考え、img.convertPixFormat(CAM_IMAGE_PIX_FMT_JPG) にしてみましたが、サイズはRGB565の時と同じ(153600bytes)になりました。プレビュー画像は、JPEGで取得することは不可能でしょうか?
    – Katsuyuki
    Commented 2019年9月19日 14:49
  • プレビューは残念ながらJPGで取得することはできないようです。Take picture でJPGデータを取得して送ってみたほうがよいと思います。次のサイトの勉強会の資料にTake pictureの速度の改善方法が載っていましたので、参考にされるとよいかと。connpass.com/event/127539 Commented 2019年9月19日 20:03

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。