用 MATLAB 读取网络摄影机，真的是件超级麻烦的事情。

表面上是有一个好用的 ipcam 函数，但是限制太多。

※ 本文于 2019/06/19 更新程序及部分内文 ※

若您想要使用 MATLAB 读取网络摄影机的话，

那么最容易找到的方法应该是使用 ipcam 这个函数。

首先要到 Add-on 下载相关套件：MATLAB Support Package for IP Camera

(警告：若您使用非正版的 MATLAB ，从 Add-On 下载套件的任何后果请自行负责。)

该套件的用法如下：cam = ipcam('URL')

cam = ipcam('URL', 'Username', 'Password')

cam = ipcam('URL', 'Username', 'Password', 'Timeout', Timeout)

但是坦白说，这个函数很难用，除了要先去下载安装包就算了，

重点是这个函数不能吃 “h.264” 的影像串流，只能够接受“mjpeg”的格式。

夏恩从维基百科撷取一段文字过来：

H.264，又称为MPEG-4第10部分，是一种面向块的基于运动补偿的影片编码标准。

到 2014年，它已经成为高精度影片录制、压缩和发布的最常用格式之一。

H.264这么好，然后MATLAB说不能吃！开什么玩笑！

好吧，夏恩的版本是R2016b，说不定之后的版本已经解决了这个问题。

※ 2019.06.19 更新资讯：R2019a 仍然没有解决这个问题。※

所以，为了解决这个问题，只好自己设计一个撷取 ipcam 的程序了！

以下使用 C# 和 EmguCV 写一个撷取程序，再把数据送给 MATLAB 用。

环境介绍：

编译器：Visual Studio 2015 community (注册电子信箱就可以用)

项目类型：类库 (请不要忽略这句话)

目标Framework：.NET Framework 4.5.2

EmguCV版本：emgucv-windesktop 4.0.1.3373

目标CPU：x64 (有些编译器默认Any CPU，从组态管理员进去改)

( 注：EmguCV的载点在这里：https://sourceforge.net/projects/emgucv/ )

Step 1：安装 EmguCV

EmguCV 的安装很简单，一直按“下一步”就好。

安装完毕后，请新增两个环境变量：

C:Emguemgucv-windesktop 4.0.1.3373bin

C:Emguemgucv-windesktop 4.0.1.3373libsx64

Step 2：建立 C# 类库

夏恩先创建一个类库，名称叫做 lib_test：

创建类后，加入两个参考：

1. Emgu.CV.World.dll

该文件的位置在：C:Emguemgucv-windesktop 4.0.1.3373binEmgu.CV.World.dll

2. System.ServiceModel.dll

这个就比较难找了，以夏恩为例，路径如下：

C:Program Files (x86)Reference AssembliesMicrosoftFramework.NETFrameworkv4.5.2

再来是撰写程序：// C# code

// 说明：撷取 ipcam 影像供 MATLAB 使用

//

// 2019.06.19 Shayne

using System;

using Emgu.CV;

using Emgu.CV.Structure;

namespace ipcamPKG

{

public class ipcam

{

private Mat _frame = new Mat();

private VideoCapture _ipcam = null;

public Imageframe = null;

public int Height, Width;

public bool status = false;

public string ErrorMessage = "";

public ipcam(string URL)

{

try

{

_ipcam = new VideoCapture(URL);

if (_ipcam.IsOpened)

{

Height = _ipcam.Height;

Width = _ipcam.Width;

frame = new Image(Height, Width);

status = true;

_ipcam.ImageGrabbed += ProcessFrame;

// 若没有加入 System.ServiceModel.dll 的话，则无法成功启动摄影机

_ipcam.Start();

}

}

catch (Exception e)

{

ErrorMessage = e.Message;

status = false;

}

}

public void snapshot()

{

using (Imagetemp = _frame.ToImage())

{

try

{

frame = temp.Clone();

}

catch (Exception e)

{

ErrorMessage = e.Message;

status = false;

}

}

}

public void cvRelease()

{

_ipcam.Stop();

GC.Collect();

}

private void ProcessFrame(object sender, EventArgs arg)

{

_ipcam.Retrieve(_frame, 0);

}

}

}

写完之后，按下建置项目，就能把程序编译成类库，也就是 “.dll” 文件类型。

得到类库文件后，就可以在 MATLAB 内使用了！

在本范例中，建置完毕后您可以在 “.ipcamPKGbinx64Debug”中找到ipcamPKG.dll文件。

Step 3：撰写 MATLAB 程序

把刚才编译好的文件 ipcamPKG.dll，连同 Emgu.CV.World.dll，一起放到同一个地方。

MATLAB​ 所需相关工具箱：

MATLAB Compiler™ Toolbox

MATLAB Compiler SDK™ Toolbox% MATLAB code

% 说明：撷取 ipcam 示范程序

%

% 2019.06.19 Shayne

% Import .NET assembly

% 自定义类要使用绝对路径。

if exist([pwd, 'ipcamPKG.dll'], 'file')

NET.addAssembly( [pwd, 'ipcamPKG.dll'] );

else

uiwait(msgbox('ipcamPKG loading error!', 'ERROR', 'error'))

return

end

% 每间摄影机厂商的 URL 会不一样，请直接询问厂商正确的 URL。

URL = 'rtsp://admin:[email protected]/video.h264';

% 声明自定义类

% ipcamPKG 就是刚才自定义的 namespace

% ipcam 就是自定义的类名称

camera = ipcamPKG.ipcam(URL);

pause(1);

for i=1:10 % 撷取 10 次影像

% calling snapshot method

camera.snapshot();

% get image

I = flip(uint8(camera.frame.Data), 3);

% show image

imshow(I)

% 请注意：

% 若间隔时间若设定太短，容易会造成内存无法回收，导致电脑故障

pause(0.1)

end

% close the ipcam

camera.cvRelease();

搞定！如此一来，我们就能透过 C# 使得 MATLAB 可以撷取 H264 串流格式了！

感觉不赖吧！

小结

最后来讨论几个夏恩自己遇到的问题。

Q1：摄影机可以不要在建立对象时启动吗？我想手动开关！

Ans：

建议不要，常会有问题。

若直接在 MATLAB 中使用 VideoCapture 对象的方法 start()，只能抓到一帧影像且不会更新。

Q2：为什么要用 ImageGrabbed 事件？用 Grab 或是 QueryFrame 方法可以吗？

Ans：

可以，但是会有影像延迟的问题。

摄影机一旦启动，就会一直把数据送过来。

若让影像在 buffer 内堆的话，会导致影像产生延迟，类似的问题与讨论请看以下：

1. EmguCV/OpenCV QueryFrame slow/buffers

2. 【Python】改善 VideoCapture 的影像延迟

Q3：为什么要定义 frame 变量？让函数直接回传影像就好啦！

Ans：

就夏恩的经验来看，直接读取变量数据的程序写法比较简单。

有关 C# 与 MATLAB 影像交换的讨论，请看夏恩的另外一篇文章：

【Mixing】在 C# 与 MATLAB 间交换影像数据

当然了，若您想使用回传影像的方式也是可以，请自行尝试看看！OK的。