低延迟视频传输 UDP JPEG图像压缩 opencv

有幸参加了创新工场DeeCamp2019的冬令营活动。在为期七天的时间里，我们五人小组需要完成一个低延迟视频传输系统。

这个项目由Momenta公司负责指导，应用场景是未来无人驾驶汽车上的低延迟视频传输。课题要求视频传输延迟在300ms以内，720p.

在了解了这个项目的具体要求后，我搜集了相关的资料。在github上找到了一个SRT协议，这个协议是最近提出的，主打低延迟、网络波动的环境下的视频传输。于是，在前三天，我把工作重心放在了研究SRT协议上。

关于这个SRT协议的具体内容，记录在我的另外一篇博客中。

由于SRT协议自身的局限性，满足不了本课题的要求，故暂时放弃，选择了第二个方案。

第二个方案的思路比较简单，使用OpenCV捕获摄像头视频数据，将每一帧图像进行JPEG压缩，然后使用UDP协议发送到指定的IP和端口。接收端监听端口，JPEG解压缩，然后显示图像。发送和接收之间没有交互，发送端不停地发送，接收端不停地接收。（JPEG压缩一方面是为了减少数据量，减少延迟；另一方面，UDP协议每次只能发送65536个字节，对于720p的数据，必须进行压缩后才能一次性完成传输）

在业界，低延迟视频传输目前做到了在60ms以内。上述方案在局域网内的延迟为100ms。

测量延迟的方法

测量延迟时间可以采用多种方法，比如最简单直接的端到端测量法：秒表测量法，如下图所示。

通过计算秒表的时间差，即可以得到传输延迟。

第二种方法是站在巨人的肩膀上，借鉴了伽利略测量光速的物理思想。伽利略进行了史上第一个测定光速的实验。他找来两个人和两盏灯笼，让他们分别站在两座相距一英里的山顶上。第一个人举起灯笼时便开始计时，第二个人看到第一个人的灯笼便也立即举起自己的灯笼，当第一个人看到第二个人的灯笼时便停止计时，这样一来二去就可以得到光行进两英里所需要的时间，从而求出光的速度。

受此启发，第二种方法是：发送端发送一张图像给接收端，从发送的那一刻发送端开始计时。当接收端接收到这张图像时，立即再将这个图像重新发送给发送端。当发送端接收到这张图像时，停止计时。这个测量得到的时间就是2倍传输延迟。

实验环境

实验环境对本课题的影响很大，需要良好的局域网条件。首先，需要关闭发送端和接收端电脑上的防火墙。其次，在进行视频传输实验时，先互相ping一下对方的IP地址，看一下能否ping通，并观察一下网络延迟。还需要特别注意的一点是，有些WIFI为了保证安全性，默认设置了防火墙，虽然电脑连在同一个WIFI下但也是ping不通的。如果是这个情况，可以用手机开热点，连到手机的WiFi下，或者重新买一个无线路由器。越好的无线路由器越能提供更低的网络自身传输延迟，并且拥有更大的传输带宽。

增加的功能

1.本课题在满足基本要求的基础上，额外增加了多路视频低延迟传输的功能。技术上实现很简单，开多个线程就可以了。

2.此外，还增加了视频画面显示壁纸的功能。当接收端未接收到信号时，显示默认的壁纸图像；恢复视频接收时，显示实时的视频画面。由于调用的UDP函数是默认阻塞的，需要将阻塞模式改为非阻塞模式。并且，代码中的显示函数VideoFrame是重载函数，需要注意这个细节。

3.添加了时间戳水印。在发送端，获取当前时间，在压缩前将时间戳水印添加到待发送的帧图像上；在接收端将图像解压缩后，获取本地时间，并将时间戳水印添加到将要显示的图像上。由于两台电脑的时间同步问题不好解决，总是会有毫秒级的误差。因此，我设置了时间调整功能，可以手动将两台电脑时间戳的时间差调整到0

代码

实验代码为C++，在VS 2017下编译通过，已上传至GitHub

https://github.com/blgpb/streaming-udp-video