1

こんばんは、現在、Qtでプログラミング中の学生です。
今、パソコンのWebカメラで撮影した映像をサーバー側プログラムとクライアント側プログラムで
やり取りするコードを書いているのですが、まったくうまくいきません。
クライアントに送信はできるのですが、クライアント側で映像を再構築するとなぜか映像が切れ切れ(テレビの調子が悪い時のあの感じです。)になります。
そこで、UDP送信でカメラ映像をサーバ・クライアント側でやり取りするプログラムのヒントをいただけないでしょうか?

私の方法を簡単に書いておきます。問題点を指摘していただくだけでも構いません。
「サーバ側」
Webカメラで動画撮影→OpenCVの関数でキャプチャー→QByteArrayに変換→QByteArrayのメンバ関数appendで画像の縦、横情報をつける→UDPのwriteDatagramでクライアントに送信
「クライアント側」
UDPのreadDatagramで情報取得→QByteArrayのメンバ関数indexOfで画像の縦、横の情報を探して取得(送る前にタグつけてるので、それを探させます)→QByteArrayのdata()関数でデータ型をcharに変更→ネットから拾ってきた関数(1)を使ってcharをQImageのデータ型に→QImageをQPixmapに→QPixmapをラベルに張り付ける

関数(1)

 QImage* MainWindow::char2QImage(char *cdata)
 {
 int channels = 3;
 QImage *qimg = new QImage(width_data, height_data, QImage::Format_ARGB32);
 char *data = cdata;
for (int y = 0; y < height_data; y++, data += width_data * channels)
{
    for (int x = 0; x < width_data; x++)
    {
        char r, g, b, a = 0;
        if (channels == 1)
        {
            r = data[x * channels];
            g = data[x * channels];
            b = data[x * channels];
        }
        else if (channels == 3 || channels == 4)
        {
            b = data[x * channels];
            g = data[x * channels + 1];
            r = data[x * channels + 2];
        }
     if (channels == 4)
        {
            a = data[x * channels + 3];
            qimg->setPixel(x, y, qRgba(r, g, b, a));
        }
        else
        {
            qimg->setPixel(x, y, qRgb(r, g, b));
        }
    }
}
return qimg;


}
6
  • 映像はデータ量が多いので無圧縮だとパケットロスが多くなり、リアルタイムで再生するのは厳しいと思います。この手のソフトウェアは大抵の場合、映像を圧縮して送信しています。
    – h2so5
    Commented 2015年6月10日 22:28
  • 縦横のサイズはどれぐらいですか
    – suzukis
    Commented 2015年6月11日 0:28
  • h2so5さん OpenCVに圧縮用の関数が用意されていて、それを用いて 圧縮した後にQByteArrayに変換して送るということでしょうか?
    – mina
    Commented 2015年6月11日 5:15
  • suzukisさん 幅640、高さ480です。
    – mina
    Commented 2015年6月11日 5:16
  • @mina OpenCVには圧縮機能は無いと思います。ビデオコーデックのライブラリを別途用意する必要があります。
    – h2so5
    Commented 2015年6月11日 10:49

2 件の回答 2

1

「サーバ側送信用の関数」
//カメラ映像を送信する処理を表す関数
void MainWindow::sendDatagram()
{
int i;
//画像データ→QByteArray
ba = new QByteArray(img->imageData, img->imageSize);
qDebug() << "w =" << img->width;
qDebug() << "h =" << img->height;
qDebug() << "ws =" << img->widthStep;

//プロトコルの決定 画像データ(可変長)<W>画像横方向</W><H>画像縦方向</H>
//QByteArrayにwidthを追加
    ba->append("<WSTART>");
    sqwidth.setNum(img->width);
    ba->append(sqwidth);
    ba->append("</WEND>");

    //QByteArrayにheightを追加
    ba->append("<HSTART>");
    sqheight.setNum(img->height);
    ba->append(sqheight);
    ba->append("</HEND>");

    //動画データの圧縮
    QByteArray comp = qCompress(*ba, 5);

//動画データを送信
for(i=0;i<comp.size();i=i+100){
    if(i<comp.size())
        //100こずつデータを送信
        udpserver.writeDatagram(comp.mid(i, 100), QHostAddress::LocalHost, 10000);
    else if(i>=comp.size()){
        i=i-100;
        //1つずつデータを送信
        for(;i==comp.size();i++)
        udpserver.writeDatagram(comp.mid(i, 1), QHostAddress::LocalHost, 10000);
    }

}

//送信完了した旨の表示
ui->label_2->setText("transfer finished");

//QByteArrayの破棄
delete ba;

}

0

640*480*24bitカラーだと1フレーム7Mbpt超になりますので。目標のフレームレートが書かれていませんが、動画として成立するには最低15fpsぐらいでしょう。それだと100Mbpsを超えることになります。

スループットが十分にないのであればデータ量を減らすしかありません。どうやって減らすかは回線速度との見合いです。100Mbpsはでないけど10Mbpsなら、というぐらいなら1フレームごとにJPEG圧縮でもいけるかもしれません。もっと細い回線では動画としてエンコードする必要があります。

スループットが十分にあるはずなのに問題が起きるのであれば、送信側の送出間隔が短すぎて送信側のバッファがあふれているか受信側の処理が追いつかずにやはりバッファがあふれているということもあります。

2
  • 回答ありがとうございます。 送るデータのまとまりが大きすぎるというのは確かに感じます。 サーバー側で撮影した映像から静止画を抜き出して、クライアント側に 送るだけでも少し処理に時間がかかっている感があるからです。 現在は上の方のアドバイスから圧縮を試していて、qCompress()で画像を圧縮して、一フレームだけクライアントに送り、それを再生することを行っていますが、うまく送れていない状況です。また、writeDatagramでデータを送信する際は、QByteArray.mid()という関数で送るデータを細切れにしてもいるのですが苦戦しています。 送出間隔についてですが、sleep()という関数で数ミリsec待つようなコードも試しているのですが、苦戦しています。
    – mina
    Commented 2015年6月18日 5:53
  • 動画としてエンコードですか?? そのような専用の関数があるのでしょうか?
    – mina
    Commented 2015年6月18日 5:57

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。