Microsoft Visual Studio Community 2019
Version 16.6.2
TargetFramework .NET Core 3.1
上記環境に於いて、C++, C++/CLI, C#連携の画像処理プログラムのサンプルを作成しています。
githubにソースをアップしています。
https://github.com/Nao05215/CamTest/tree/Development
問題の現象は、カメラの読み込みが開始された直後から
急激にメモリの使用量が増加し、時には2GB付近まで上がってしまいます。
GCが働くと一旦は下がりますが、しばらく動作しつづけると徐々に上がっていくような感じです。
(手動でGC.Collect()を呼び出し続けると350MB付近で落ち着きます)
あまりに急激に増加するので、プログラムの書き方が悪いのではと感じていますが
原因がどのあたりにあるのかわかっていません。
ご指摘を頂ければと思い、投稿させていただきました。
プロジェクトの内容を下記で説明します。
C++プロジェクト(StaticLiblary)でOpenCVを使用し、画像の読み込み、処理を行います。
m_ImageにMat形式の画像を設定し、onPropertyChangedを呼び出すことでC++/CLIに変更通知を行っています。
void Camera::setImage(const cv::Mat& value)
{
m_Image = value;
onPropertyChanged("Image", &value);
}
C++/CLIプロジェクト(DynamicLiblary)でC++プロジェクトをラップします。
ここでC++プロジェクトの変更通知から受け取ったMat形式の画像を
Mat -> Bitmap -> BitmapSourceに変換してImageプロパティに設定しています。
void OnObservePropertyChanged(std::string propertyName, void* value) {
if (propertyName == "Image") {
auto mat = (cv::Mat*)value;
UpdateImage(mat);
}
else if (propertyName == "FrameRate") {
FrameRate = *(double*)value;
}
}
void UpdateImage(cv::Mat *mat) {
auto source = gcnew Bitmap(mat->cols, mat->rows, mat->step, Imaging::PixelFormat::Format24bppRgb, (IntPtr)mat->data);
auto hbmp = source->GetHbitmap();
try {
Image = System::Windows::Interop::Imaging::CreateBitmapSourceFromHBitmap(
hbmp,
IntPtr::Zero,
Int32Rect::Empty,
BitmapSizeOptions::FromEmptyOptions());
}
finally {
delete(source);
DeleteObject(hbmp);
}
}
このクラスはINotifyPropertyChangedを継承しているので
Imageプロパティ内でOnPropertyChangedを呼び出し、C#プロジェクトへ変更通知を送っています。
virtual property BitmapSource^ Image {
BitmapSource^ get() {
return _Image;
}
void set(BitmapSource^ value) {
_Image = value;
OnPropertyChanged("Image");
}
}
C#プロジェクト(実行アプリケーション)はWPF + Prismで作成されています。
C++/CLIプロジェクトのクラスを監視し、変更通知を受け取ると自身のプロパティを書き換えます。
(Image以外のプロパティを省略しています)
public class Camera : BindableBase, ICamera
{
private CameraWrapper wrapper = new CameraWrapper();
private BitmapSource _Image;
public BitmapSource Image
{
get { return _Image; }
set { SetProperty(ref _Image, value); }
}
public Camera()
{
wrapper
.ObserveProperty(x => x.Image)
.Subscribe(x =>
Image = x);
}
}
C#プロジェクトのViewModelクラスでは上記のモデルクラスを監視し
変更通知を受け取ると、Viewに適した形に変換しプロパティを書き換えます。
(Imageプロパティでは特に変換は必要ありませんが、他のプロパティで必要と想定しています)
(ここでもImageプロパティ以外を省略しています)
public class CameraViewModel : ViewModelBase
{
IRegionManager _regionManager;
ICameraService _cameraService;
ICamera Camera { get; }
public ReactiveProperty<BitmapSource> Image { get; private set; }
public CameraViewModel()
{
}
public CameraViewModel(IRegionManager regionManager, ICameraService cameraService)
{
_regionManager = regionManager;
_cameraService = cameraService;
Camera = _cameraService.GetCamera();
if (Camera == null) return;
Image = new ReactiveProperty<BitmapSource>();
Camera
.ObserveProperty(x => x.Image)
.Subscribe(UpdateImage)
.AddTo(Disposables);
}
private void UpdateImage(BitmapSource img)
{
if (img == null) return;
img.Freeze();
Application.Current?.Dispatcher?.Invoke(() =>
{
Image.Value = img;
});
}
}
現在は画像を表示させるだけなので、ViewはUserControlにImageを貼り付けただけの
簡単なものになっています。
<UserControl x:Class="CamTest.Modules.Camera.Views.Camera"
xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
xmlns:mc="http://schemas.openxmlformats.org/markup-compatibility/2006"
xmlns:d="http://schemas.microsoft.com/expression/blend/2008"
xmlns:local="clr-namespace:CamTest.Modules.Camera.Views"
xmlns:vm="clr-namespace:CamTest.Modules.Camera.ViewModels"
xmlns:prism="http://www.codeplex.com/prism"
prism:ViewModelLocator.AutoWireViewModel="True"
mc:Ignorable="d"
d:DesignHeight="450" d:DesignWidth="800"
d:DataContext="{d:DesignInstance Type=vm:CameraViewModel}">
<Grid>
<Image Source="{Binding Image.Value}"/>
</Grid>
</UserControl>
GC.Collect()
を自分で呼ぶと GC されにくくなるオブジェクトが増えるという弊害がありますが、その辺理解して使っていますか? いろいろ拝見するに仕様通りの動きをしているとしか思えないんですけど。