对视频马赛克的调研学习报告

1.对视频马赛克的认识

百度百科上的解释是，马赛克（Mosaic）指现行广为使用的一种图像（视频）处理手段，此手段将影像特定区域的色阶细节劣化并造成色块打乱的效果，因为这种模糊看上去有一个个的小格子组成，便形象的称这种画面为马赛克。其目的通常是使之无法辨认。

就用RGB来举例子，R（red红色），G（green绿色），B（blue蓝色）。这三种颜色每种都有0~255范围内的强度值，数字越高越亮，例如，亮红色使用 R 值 255、G值 0 和 B 值 0，有色光可被无色光冲淡并变亮。如蓝色光与白光相遇，结果是产生更加明亮的浅蓝色光。所以R、G、B的值的不同来混合颜色。例如一张图片，他们当中是有很多不同颜色的小色块的，由于这些色块的像素非常非常的小而且密密麻麻的，而打马赛克就是圈出一个范围（小色块为整数的范围，所以一般都用长方形或正方形去圈）。

1.1出现马赛克的情况

1. CPU占用高，马赛克在编码时就已经损失了部分信号。(mpeg采用有损压缩）

2. 网络链接不好肯定要出现掉包，这时就要看底层协议这么处理掉包了，对于TCP一般是重新再发，这样就可能造成包错序，也可能仍然不能获取，这对实时播放来说，如果刚好缓冲数据用完了，还是会出现马赛克，甚至不能继续播放了。如果不是实时播放，而是完全缓冲的播放形式，如果包错序，但数据完整，还是能正常播放的，播放的是本地数据，当然没有马赛克了，但如果数据不能缓冲完，有些播放器就根本不能播放了；对于一些实时传输协议则一般是很少的重试就直接掉包处理了，如果后续数据继续来，还能播放下去。所以在网络链接不好的情况下，要完全解决网络视频播放马赛克的问题是不可能的，如果特别不好，不要说马赛克了，就是能不能持续播放都会成问题的。要解决这样的问题还是要成保障良好的链接来实现才是根本之途。

3. 网络传输有可能造成马赛克。当TCP出现马赛克的时候，有可能是因为没有数据，压缩后的视频数据因为大多是分块压缩的，很多时候要连续的看才是正常的，如果有停顿，老是显示一个静止的画面其实也是马赛克。IP传输机制不能保证所有包都按时到达，而播放时的显示时间的限制使得迟到的包无法播放。此外只要网络不稳定，存在丢包，马赛克就不可避免，只是多少的问题，一般这样的判断是很主观的。rtp/rtcp由于是实时传输，数据连接更不稳定，但适合传输大数据量的实时数据，tcp由于存在多次的链路确认和数据重新获取机制，所以连接更稳定，适合要求数据完整性高，实时性相对不高的。

1.2尽量避免马赛克的问题

1. 用QOS保证信道避免马赛克。

2. 如果是网络传输过程中的误码(UDP)产生的马赛克，还是自己加入一层纠错，对码流作效验。(TCP可以做到遇错重传)

3. 如果遇到的带宽低于码率的情况实时直播系统在服务器端可能造成发送缓冲无限增大，对于文件播放，可能会造成慢动作现象。需要在服务器端，根据一定的策略，主动扔帧，使服务器发送当前时效的帧。

4. 接收端如果遇到丢包，就从下一个I帧开始解压，这会造成比较大的停顿（但如果为了较小停顿，把I帧间隔设小，又会增加码率）。所以最好要分析丢包所在帧的类型，如果是B帧，则不用等I帧，直接抛弃去解下一帧，当然如果是I或者P帧，也就只有等待I帧了。也可以通过调节解码速度，使解码速度控制在一定的范围之中，并在开始播放的时候从I帧开始播放。

5. 通过降低码率，减轻网络负担。（譬如：通过隔行扫描，实现码率降低。减小I帧间隔。采用多级缓冲、发送速率自适应调整机制等等）

2.如何获取视频的马赛克情况

经过资料的查找，如果在视频通话的过程中能够录制视频或者可以创建定时器，那么就可以抓取视频图像帧数据，对特征区域进行监测，并进行图像预处理，将预处理的图像和所述训练数据库中的图像进行匹配（先通过训练图集创建特征训练数据库），从而对特征区域进行识别，获取马赛克程度。简单的说，就是如果可以录屏就可以通过图像处理进行马赛克程度的分析。

实现动态视频马赛克的装置，主要包括（1）视频捕获模块：用于获取视频信息；（2）音频捕获模块：用于获取音频信息；（3）数据显示模块：用于对手机终端的视频进行预览显示；（4）数据捕获处理模块：用于从所述视频捕获模块和音频捕获模块分别获取视频或音频信息，并对所述信息的特征区域进行识别，获取特征区域的位置和尺寸，通过图形处理器渲染，对特征区域进行马赛克分析处理；等；

| 参考：一种实现动态视频马赛克的方法及装置

图像的马赛克检测一般是通过提取边缘特征来实现，经资料查找可以参考采用下图1的检测算法流程。检测模块对输入的图像帧首先进行X方向和Y方向的Sobel边缘检测，在得到图像的边缘的基本信息后，在这两个方向上进行自适应阈值的边缘增强，避免色块之间可能因为颜色接近生成的边缘信息较弱而被后续步骤当作噪音给处理掉。接下来的边缘腐蚀、膨胀、再腐蚀是图像处理中一种常见的用于消除边缘噪声、增强边缘连续性的常见方法。再对两个方向上的边缘信息进行比对，通过模版匹配是疑似马赛克区域，最后对该区域的边缘的宽度进行判断，如果超过设定的阈值，即判断为马赛克，进行“报警”。

图1 马赛克检测算法的流程图

| 参考：视频质量并行化分析系统.pdf

未完待续…