1.H263 
　　H.263历史 
　　H.263是国际电联ITU-T的一个标准草案，是为低码流通信而设计的。但实际上这个标准可 用在很宽的码流范围，而非只用于低码流应用，它在许多应用中可以认为被用于取代H.261。H.263的编码算法与H.261一样，但做了一些改善和改 变，以提高性能和纠错能力。.263标准在低码率下能够提供比H.261更好的图像效果，两者的区别有：(1)H.263的运动补偿使用半象素精度，而 H.261则用全象素精度和循环滤波；(2)数据流层次结构的某些部分在H.263中是可选的，使得编解码可以配置成更低的数据率或更好的纠错能力； (3)H.263包含四个可协商的选项以改善性能；(4)H.263采用无限制的运动向量以及基于语法的算术编码；(5)采用事先预测和与MPEG中的 P-B帧一样的帧预测方法；(6)H.263支持5种分辨率，即除了支持H.261中所支持的QCIF和CIF外，还支持SQCIF、4CIF和 16CIF，SQCIF相当于QCIF一半的分辨率，而4CIF和16CIF分别为CIF的4倍和16倍。 
　　1998年IUT-T推出的H.263＋是H.263建议的第2版，它提供了12个新的可协商 模式和其他特征，进一步提高了压缩编码性能。如H.263只有5种视频源格式，H.263＋允许使用更多的源格式，图像时钟频率也有多种选择，拓宽应用范 围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增强了视频信息在易误码、易丢包异构网络环境下的传输。另外，H.263＋对 H.263中的不受限运动矢量模式进行了改进，加上12个新增的可选模式，不仅提高了编码性能，而且增强了应用的灵活性。H.263已经基本上取代了 H.261。

H.263的内容和特点

　　H.263 视频编码标准是专为中高质量运动图像压缩所设计的低码率图像压缩标准。与H.261 的p×64K 的传输码率相比，H.263的码率更低，单位码率可以小于 64K，且支持的原始图像格式更多，包括了在视频和电视信号中常见的QCIF，CIF，EDTV，ITU－R 601，ITU－R 709 等等。
　　H.263 采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和帧间编码两个部分。埃帧内用改进的DCT 变换并量化，在帧间采用1/2 象素运动矢量预测补偿技术，使运动补偿更加精确，量化后适用改进的变长编码表（VLC）地量化数据进行熵编码，得到最终的编码系数。
　　H.263的编码速度快，其设计编码延时不超过150ms；码率低，在512 K 乃至 384K 带宽下仍可得到相当满意的图像效果，十分适用于需要双向编解码并传输的场合（如:可视电话）和网络条件不是很好的场合（如:远程监控）。

H.263采用的方法：

　　
　　1)信源编码器基于通用中间格式（CIF），使其可以同时应用于625线和525线两种电视标 准。视频编码器对图象的取样次数为视频信号场线的整数倍，取样时钟和数字网之间的关系是异步关系，提供可以和其它各种设备信号相结合的独立的数字比特流。
　　2)采用可减少时间冗余的帧间预测和可减少空间冗余的残留信号编码方法。解码器具有运动补偿的 能力，并允许可选择地在编码器中增加这种技术。H263运动补偿采用的是半象素精度，而不是H.261建议中的全象素精度和循环滤波器。而对待传送的符号 采用了游程编码。
　　3)允许采用无限制运动矢量模式，在该模式中，运动矢量被允许指到图片的外部，可使用更大的运 动矢量。允许采用基于句法的算术编码模式代替游程编码，可将最终的比特数显著降低。允许采用高级预测模式，对P帧的亮度部分采用了块重叠运动补偿。对图片 中的某些宏块采用4个8x8矢量来代替原来的1个16x16矢量。编码器必须决定使用哪一种矢量。允许采用PB帧模式，一个PB帧包含一个由前面的解得的 P帧图象预测得出的P帧和一个由前一个P帧和当前解码的P帧共同预测得出的B帧。使用这种模式可以在比特率增加幅度很小的情况下大幅度增加帧频。
　　4)信源编码器的主要原理是预测，块变换和量化。信源格式信源编码器对每秒发生 30000/1001(大约29.97)次的图象进行操作。对图象频率的允许误差为±50 ppm。采用五种图象格式，图象被编码为一个亮度信号和两个色差成分（Y，CB和CR）。五种标准图象格式为： sub-QCIF, QCIF, CIF, 4CIF和16CIF。

H.263各种图象格式的象素个数

　 　图象格式 亮度取样的象素个数(dx) 亮度取样的行数 (dy) 色度取样的象素个数(dx/2) 色度取样的行数(dy/2)
　　sub-QCIF 128 96 64 48
　　QCIF 176 144 88 72
　　CIF 352 288 176 144
　　4CIF 704 576 352 288
　　16CIF 1408 1152 704 576
　　对每种图象格式，色差取样被定位在和亮度块边界一致的块上。取样象素的纵横比和图象格式的纵横 比一致，也和H.261建议中定义的QCIF和CIF一致：(4/3)*(288/352)。除了sub-QCIF格式的 纵横比为4:3。

H264

H264的优势

　　一、H.264 与 其他标准的比较 
　　1.1 在画质上
　　H.264概述随着市场的需求，在尽可能低的存储情况下获得好的图像质量和低带宽图像快速传输 已成为视频压缩的两大难题。为此IEO/IEC/和ITU-T两大国际标准化组织联手制定了新一代视频压缩标准H.264。

MPEG4 H.264 标准LOGO

1.2 在编码上
　　H.264和以前的标准一样，也是DPCM加变换编码的混合编码模式。但它采用“回归基本”的 简洁设计，不用众多的选项，获得比MEPG-4好得多的压缩性能；H.264加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误友和 丢包的处理；H.264应用目标范围较宽，可以满足不同速率、不同解析度以及不同传输（存储）场合的需求。 
　　1.3 在技术上
　　H.264标准中有多个闪光之处，如统一的VLC符号编码，高精度、多模式的位移估计，基于4 块的整数变换、分层的编码语法等。这些措施使得H.264得算法具有很高的编码效率，在相同的重建图像质量下，能够比H.263节约50%左右的码率。 H.264的码流结构网络适应性强，增加了差错恢复能力，能够很好地适应IP和无线网络的应用。
　　1.4 在传输上
　　H.264能以较低的数据速率传送基于联网协议（IP）的视频流，在视频质量、压缩效率和数据 包恢复丢失等方面，超越了现有的MPEG-2、MPEG-4 和H.26x视频通讯标准，更适合窄带 传输。 
　　1.5 在算法上
　　MPEG-1标准视频编码部分的基本得法与H.261/ H.263相似，也采用运动补偿的帧间预测、二维DCT、VLC游程编码等措施。此外还引入了帧内帧（I）、预测帧（P）、双向预测帧（B）和直流帧 （D）等概念，进一步提高了编码效率。在MPEG-1的基础上，MPEG-2标准在提高图像分辨率、兼容数字电视等方面做了一些改进，例如它的运动适量的 精度为半像素；在编码运算中（如运动估计和DCT）区分“帧”和“场”；引入了编码的可分级性技术，如空间可分级性、时间可分级性和信噪比可分级性等。近 年推出的MPEG-4标准引入了基于视听对象（AVO：Audio-Visual Object）的编码，大大提高了视频通信的交互能力和编码效率。MPEG-4中还采用了一些新的技术，如形状编码、自适应DCT、任意开头视频对象编码 等。但是MPEG-4的基本视频编码器还属于和3相似的一类混合编码器。
　　1.6 总体上讲
　　MPEG毓标准从针对存储媒体的应用发展到适应传输媒体的应用，其核心视频编码的基本框架是和 H.261一致的，其中引人注目的MPEG-4的 “基于对象的编码”部分由于尚有技术障碍，目前还难以普遍应用。因此，在此基础上发展起来的新的视频编码建议H.264克服了前者的弱点，在混合编码的框 架下引入了新的编码方式，提高了编码效率，在低码流下可达到优质图像质量。

H.264的技术特点

　　2.1 分层设计 
　　视频编码层具有高效的视频内容表示功能：
　　网络提取层将网络中所需要的数据进行打包和传送；
　　2.2 高精度、多模式运动设计 
　　支持1/4或1/8像素精度的运动矢量； 
　　多模式的灵活和细致的划分，大提高了运动估计的精确程度； 
　　多帧参考技术；
　　2.3 帧内预测功能 
　　在空间域进行预测编码算法，以便取得更有效的压缩： 
　　2.4 4×4块的整数变换 
　　由于用二变换块的尺寸缩小，运动物体的划分更精确，这样，不但变换计算量比较小，而且在运动物 体边缘处的衔接误疾差也大为减小： 
　　为了提高码率控制的能力，量化步长的变化的幅度控制在125%左右，而不是以不变的增幅变化。 为了强调彩色的逼真性，对色度系数采用了较小量化长； 
　　2.5 统一的VLC 
　　为快速再同步而经过优化的，可以有效防止误码。

H.264在监控的应用

　　3.1 TOYA SDVR 7IV 系统简介 
　　TOYA SDVR 7IV 是采用止前最为先进H.264视频压缩算法的专业数字监控产品，具有强大的视频/音频压缩引擎，与MPEG-4压缩方式的硬盘录像机相比，压缩比可提高近 30%，大大提高了存储和网络传输带宽，同理采用新的算法极大地抑制了由于摄像机噪声导致的图像失真，背景流动现象，便图像质量更加清晰。H.264产品 的推出无疑又使我国的数字监控技术上了一个新的台阶。 
　　系统采用最先进的H264视频压缩技术 和G。729的音频压缩技术，实现 超大无损压缩。具备本地实时监视、音视频同步压缩存储、组合报警、有线或无线网络传输、管理权限设置等多种功能，单个本地系统可完成显示16路监控画面、 每路可单独放大和切换，查询录象记录及进行回放。每个本地系统均可通过不同的网络方式组成有线或无线数字监控系统。 
　　3.2 TOYA SDVR 7IV 系统主要特点
　　采用时间最先进的H.264视频编码技术，具有高清晰度的画质； 
　　在压缩处理过程中使用多种专用技术，保证以最低码流达到最佳画质，采用帧内压缩，绝无马赛克出 现； 
　　提供多种图像处理方法，加强噪音信号的过滤，画面更平滑。 
　　可同时支持H.264、MPEG-4压缩格式； 
　　实时压缩、实时预览、实时回放； 
　　支持I\B\P帧多种组合/量化模式，图像压缩比更大； 
　　在压缩过程中，可动态抽帧，可随时恢复，进一步减少存储空间； 
　　预览、压缩不占用CPU时间，互不干扰； 
　　可动态精确设置多种视音频压缩参数，达到最佳视听效果； 
　　码流可调，占用硬盘空间最少可达40兆每小时； 
　　工艺精良，结构稳定；低功耗，发热少，系统可靠性、稳定性高； 
　　3.3 主要技术规格 
　　压缩画面以及分辨，支持CIF/QCIF，图像分辨率352X288，图像压缩 
　　压缩格式：支持H.264、MPEG-4压缩格式； 
　　压缩帧率：1-25帧可调 
　　压缩码率：64K~2Mbit/秒，支持CBR\VBR\Hybrid 
　　三种码率控制方式：变码流、动码流、混合码流 
　　网络传输 
　　支持PSTN/DDN/LAN/WAN等网络远程传输与控制 
　　每个服务器支持32路TCP/UDP传输，组播无限制 
　　3.4 系统功能 
　　多画面分割：单路、四路、九路、十六路、全屏显示等多种画面分割； 
　　采用录象方式；常规录象，动态录象，视频移动报警录象，定时录象； 
　　字符/时间叠加功能：可以在每一路视频上叠加地点信息，便于查询； 
　　多用户管理：可设置多级管理员权限； 
　　工作日志：详细记录系统工作状态，方便用户管理； 
　　报警：具有报警输入/输出功能，单独设置报警区域和灵敏度 
　　图像亮度/对比度/色度/饱和度随时可调 
　　支持G.729标准音频压缩，线性音频输入，音质好，占硬盘空间少 
　　回放检索：根据时间、日期、摄像机编号分别回放检索
　　3.5 TOYA SDVR 7IV系统应用 
　　技术的成熟和不断人性化的设计，使得本系统得以全方位进入金融、保险等特殊领域，而且在全能楼 宇、文化教育、医学研究、交通指挥管制、在建工程管理、恶劣工况管理、海关及公、检、法商业贸易等诸多领域得到了广泛的应用。
　　关于DVD和H264视频格式
　　问题1：在电脑上，看到低码率的H264格式影片在清晰度上丝毫不比DVD差，但容量却只有 DVD的2/5左右，这是为什么？既然如此，何不用H264取代DVD？这样一来，一张D5的碟岂不是能装更多清晰度高的电影？ 
　　问题2：按说DVD的清晰度应该比H264高才对（毕竟很多H264是从DVD转换来的），但 我在电脑上直接看DVD时，发现其分辨率仅为720X480，而一般的H264的分辨率都在960X540（高于DVD），难道网上那些960X540的 H264格式影片压制源都是来自蓝光DVD格式或HDV但据说蓝光和HD-DVD由于采用了新技术，可以以更高码率（高于普通DVD的最大9点几 Mbps/s)来重放数字视频，其实这些都不是问题的关键，我想问的是，为何那么高码率的DVD在电脑显示器上看（没有把H264格式的影片接在大屏幕彩 电上比较），清晰度就是不如码率比它低那么多的H264（视频码率才1411Kbps,不过1.4Mbps而已）和1080P的高清（下了一个，视频码率 和普通DVD相当，5Mbps左右）？难道DVD的MPEG-2压缩技术真落伍了，导致用很大的数据量来压制，反而效果上还比不上数据量比它小很多的 H264？
　　问题1:低码率的H264对硬件要求高,一般的电脑配置根本看不了,看DVD则是P3就够了 
　　问题2:真正的H264分辨率是720P、1080I、1080P三种，没有960X540 的，转压后的H264质量和原版的没法比，原版的H264是胶片转压的，不是蓝光或DVD转的，网上的哪些950X540的格式部分来自HD和蓝光，部分 则是来是TV高清转压的

MPEG-4

MPEG-4简介

　　MPEG4于1998 年11 月公布，原预计1999 年1月投入使用的国际标准MPEG4不仅是针对一定比特率下的视频、音频 编码，更加注重多媒体系统的交互性和灵活性。 MPEG专家组的专家们正在为MPEG-4的制定努力工作。MPEG-4标准 主要应用于视像电话 (Video Phone)，视像电子邮件(Video Email)和电子新闻(Electronic News)等，其传输速率要求较低，在4800-64000bits/sec之间，分辨率为176X144。MPEG-4利用很窄的带宽，通过帧重建技 术，压缩和传输数据，以求以最少的数据获得最佳的图像质量。
　　与MPEG-1 和MPEG-2 相 比，MPEG-4 的特点是其更适于交互AV服务以及远程监控 。MPEG-4是第一个使你由被动变为 主动(不再只是观看，允许你加入其中，即有交互性)的动态图像标准，它的另一个特点是其综合性。从根源上说，MPEG-4试图将自然物体与人造物体相溶合 (视觉效果意义上的)。MPEG-4的设计目标还有更广的适应性和更灵活的可扩展性。

MPEG-4目标

　　一、 低比特率下的多媒体通信； 
　　二、 是多工业的多媒体通信的综合。 
　　据此目标，MPEG4 引入AV 对象（Audio/Visaul Objects）， 使得更多的交互操作成为可能。
　　MPEG-4是为在国际互联网络上或移动通信设备（例如移动电话）上实时传输音/视频讯号而制 定的最新MPEG标准，MPEG4采用Object Based方式解压缩，压缩比指标远远优于以上几种，压缩倍数为450倍(静态图像可达800倍)，分辨率输入可从320 ×240到1280 ×1024，这是同质量的MPEG1和MJEPG的十倍多。
　　MPEG4使用「图层」(layer)方式，能够智能化选择影像的不同之处，是可根据图像内 容，将其中的对象（人物、物体、背景）分离出来分别进行压缩，使图文件容量大幅缩减，而加速音/视频的传输，这不仅仅大大提高了压缩比，也使图像探测的功 能和准确性更充分的体现出来。
　　在网络传输中可以设定MPEG4的码流速率，清晰度也可在一定的范围内作相应的变化，这样便于 用户根据自己对录像时间、传输路数和清晰度的不同要求进行不同的设置，大大提高了系统使用时的适应性和灵活性。也可采用动态帧测技术，动态时快录，静态时 慢录，从而减少平均数据量，节省存储空间。而且当在传输有误码或丢包现象时，MPEG4受到的影响很小，并且能迅速恢复。 
　　MPEG4的应用前景将是非常广阔的。 它的出现将对以下各方面产生较大的推动作用：数字电视、动态图像、万维网（WWW）、实时多媒体监控、低比特率下的移动多媒体通信、于内容存储和检索多媒 系统、Internet/Intranet上的视频流与可视游戏、基于面部表情模拟的虚拟会议、DVD 上的交互多媒体应用、基于计算机网络的可视化 合作实验室场景应用、演播电视等。 
　　当然，除了MPEG 4外，还有更先进的下一个版本MPEG 7 ，准确来说， MPEG-7并不是一种压缩编码方法，而是一个多媒体内容描述接口。继MPEG4之后，要解决的矛盾就是对日渐庞大的图像、声音信息的管理和迅速搜索。 MPEG 7就是针对这个矛盾的解决方案。MPEG7力求能够快速且有效地搜索出用户所需的不同类型的多媒体材料。预计这个方案于2001年初最终完成并公布。按照 以往 MPEG-4的经验，MPEG-7起码要再过两年才能进入实际应用阶段。

多媒体视频编码

　　运动图像专家组MPEG 于1999年2月正式公布了MPEG-4(ISO/IEC14496)标准第一版本。同年年底MPEG-4第二版亦告底定，

MPEG4 多媒体编码卫星电视数字机顶盒

且 于2000年年初正式成为国际标准。
　　MPEG-4与MPEG-1和MPEG-2有很大的不同。MPEG-4不只是具体压缩算法，它 是针对数字电视、交互式绘图应用(影音合成内容)、交互式多媒体(WWW、资料撷取与分散)等整合及压缩技术的需求而制定的国际标准。MPEG -4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用 领域普遍采用的统一数据格式。
　　MPEG-4的编码理念是：MPEG-4标准同以前标准的最显著的差别在于它是采用基于对象的 编码理念，即在编码时将一幅景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而 组合成所需要的视频和音频。这样既方便我们对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的融合，并且这样也可以方便的实现对于各种 对象的操作及编辑。例如，我们可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的演播室里，还可以在互联网上方便的实现交互，根据自己的需要 有选择的组合各种视频音频以及图形文本对象。
　　MPEG-4系统的一般框架是：对自然或合成的视听内容的表示；对视听内容数据流的管理，如多 点、同步、缓冲管理等；对灵活性的支持和对系统不同部分的配置。

MPEG-4的优点

　　(1) 基于内容的交互性 
　　MPEG-4提供了基于内容的多媒体数据访问工具，如索引 、超级链接、上传、下载、删除等。利用这些 工具，用户可以方便地从多媒体数据库中有选择地获取自己所需的与对象有关的内容，并提供了内容的操作和位流编辑功能 ，可应用于交互式家庭购 物，淡入淡出的数字化效果等。MPEG-4提供了高效的自然或合成的多媒体数据编码方法。它可以把自然场景或对象组合起来成为合成的多媒体数据。
　　
　　（2)高效的压缩性 
　　MPEG-4基于更高的编码效率。同已有的或即将形成的其它标准相比，在相同的比特率下，它基 于更高的视觉听觉质量，这就使得在低带宽的信道上传送视频、音频成为可能。同时MPEG-4还能对同时发生的数据流进行编码。一个场景的多视角或多声道数 据流可以高效、同步地合成为最终数据流。这可用于虚拟三维游戏、三维电影、飞行仿真练习 等。
　　（3)通用的访问性 
　　MPEG-4提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络以及存储介质中的应用， 此外，MPEG-4还支持基于内容的的可分级性，即把内容、质量、复杂性分成许多小块来满足不同用户的不同需求，支持具有不同带宽，不同存储容量的传输信 道和接收端。
　　这些特点无疑会加速多媒体应用的发展，从中受益的应用领域有：因特网多媒体应用；广播电视；交 互式视频游戏；实时可视通信；交互式存储媒体应用；演播室技术及电视后期制作；采用面部动画技术的虚拟会议；多媒体邮件；移动通信条件下的多媒体应用；远 程视频监控；通过ATM网络 等进行的远程数据库业务等。

MPEG-4视频编码核心思想及关键技术

　　MPEG-4视频编码核心思想及技术研究"
　　摘要
　　MPEG-4是新一代基于内容的多媒体数据压缩编码国际标准，它与传统视频编码标准 的 最大不同在于第一次提出了基于对象的视频编码新概念。基于内容的交互性是MPEG-4标准的核心思想，这对于视频编码技术的发展方向及广泛应用都具有特别 重要的意义。
　　刘达　毛加轩 文章来源：中国数据通信　
　　关键词 MPEG-4 数据压缩 视频编码 视听对象 基于内容编码 视频对象提取 运动估计与补偿 
　　 1 引言 
　　当今时代，信息技术和计算机互联网飞速发展，在此背景下，多媒体信息已成为人类获取信息的最主 要载体，同时也成为电子信息领域技术开发和研究的热点。多媒体信息经数字化处理后具有易于加密、抗干扰能力强、可再生中继等优点，但同时也伴随海量数据的 产生，这对信息存储设备及通信网络均提出了很高要求，从而成为阻碍人们有效获取和使用信息的重大瓶颈。 
　　因此研究高效的多媒体数据压缩编码方法，以压缩形式存储和传输数字化的多媒体信息具有重要意 义。作为多媒体技术 的 核心及关键，多媒体数据压缩编码近年来在技术及应用方面都取得了长足进展，它的进步和完善正深刻影响着现代社会的方方面面。
　　 2 视频编码研究与MPEG标准演进 
　　人类获取的信息中70%来自于视觉，视频信息在多媒体信息中占有重要地位；同时视频数据冗余度 最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领域的热门 话题。 
　　视频编码的研究课题主要有数据压缩比、压缩/解压速度及快速实现算法三方面内容。以压缩/解压 后数据与压缩前原始数据是否完全一致作为衡量标准，可将数据压缩划分为无失真压缩（即可逆压缩）和有失真压缩（即不可逆压缩）两类。 
　　传统压缩编码建立在仙农信息论基础之上的，以经典集合论为工具，用概率统计模型来描述信源，其 压缩思想基于数据统计，因此只能去除数据冗余，属于低层压缩编码的范畴。 
　　伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术 不断诞生并日益成熟，其编码思想 由基于像素和像素块转变为基于内容 （content-based）。它突破了仙农信息论框架的束缚，充分考虑了人眼视觉特性及信源特性，通过去除内容冗余来实现数据压缩，可分为基于对象 （object-based）和基于语义（semantics-based）两种，前者属于中层压缩编码，后者属于高层压缩编码。 
　　与此同时，视频编码相关标准的制定也日臻完善。视频编码标准主要由ITU-T和ISO/IEC 开发。ITU-T发布的视频标准有H.261、 H.262、 H.263、 H.263+、H.263++，ISO/IEC公布的MPEG系列标准有MPEG-1、MPEG-2 、MPEG-4 和MPEG-7，并且计划公布MPEG-21。 
　　MPEG即Moving Picture Expert Group（运动图像专家组），它是专门从事制定多媒体视音频压缩编码标准的国际组织。MPEG系列标准已成为国际上影响最大的多媒体技术标准，其中 MPEG-1和MPEG-2是采用以仙农信息论为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术；MPEG-4（ISO/IEC 14496）则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，以实现数字视音频、图形合成应用及交互式 多媒体的集成。MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视（DTV&&HDTV）、多媒体通信等信息产业 的发展产生了巨大而深远的影响。
　　 3 MPEG-4视频编码核心思想及关键技术 
　　3.1 核心思想 
　　在MPEG-4制定之前，MPEG-1、MPEG-2、H.261、H.263都是采用第一代 压缩编码技术，着眼于图像信号的统计特性来设计编码器，属于波形编码的范畴。第一代压缩编码方案把视频序列按时间先后分为一系列帧，每一帧图像又分成宏块 以进行运动补偿和编码，这种编码方案存在以下缺陷： 
　　· 将图像固定地分成相同大小的块，在高压缩比的情况下会出现严重的块效应，即马赛克效应； 
　　· 不能对图像内容进行访问、编辑和回放等操作； 
　　· 未充分利用人类视觉系统（HVS，Human Visual System）的特性。 
　　MPEG-4则代表了基于模型/对象的第二代压缩编码技术，它充分利用了人眼视觉特性，抓住了 图像信息传输的本质，从轮廓、纹理思路出发，支持基于视觉内容的交互功能，这适应了多媒体信息的应用由播放型转向基于内容的访问、检索及操作的发展趋势。 
　　AV对象（AVO，Audio Visual Object）是MPEG-4为支持基于内容编码而提出的重要概念。对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹理、运动、形 状、模型和高层语义为依据。在MPEG-4中所见的视音频已不再是过去MPEG-1、MPEG-2中图像帧的概念，而是一个个视听场景（AV场景），这些 不同的AV场景由不同的AV对象组成。AV对象是听觉、视觉、或者视听内容的表示单元，其基本单位是原始AV对象，它可以是自然的或合成的声音、图像。原 始AV对象具有高效编码、高效存储与传输以及可交互操作的特性，它又可进一步组成复合AV对象。因此MPEG-4标准的基本内容就是对AV对象进行高效编 码、组织、存储与传输。AV对象的提出，使多媒体通信具有高度交互及高效编码的能力，AV对象编码就是MPEG-4的核心编码技术。 
　　MPEG-4不仅可提供高压缩率，同时也可实现更好的多媒体内容互动性及全方位的存取性，它采 用开放的编码系统，可随时加入新的编码算法模块，同时也可根据不同应用需求现场配置解码器，以支持多种多媒体应用。 
　　MPEG-4 采用了新一代视频编码技术，它在视频编码发展史上第一次把编码对象从图像帧拓展到具有实际意义的任意形状视频对象，从而实现了从基于像素的传统编码向基于 对象和内容的现代编码的转变，因而引领着新一代智能图像编码的发展潮流。
　　3.2 关键技术 
　　MPEG-4除采用第一代视频编码的核心技术，如变换编码、运动估计与运动补偿、量化、熵编码 外，还提出了一些新的有创见性的关键技术，并在第一代视频编码技术基础上进行了卓有成效的完善和改进。下面重点介绍其中的一些关键技术。 
　　1. 视频对象提取技术 
　　MPEG-4实现基于内容交互的首要任务就是把视频/图像分割成不同对象或者把运动对象从背景 中分离出来，然后针对不同对象采用相应编码方法，以实现高效压缩。因此视频对象提取即视频对象分割，是MPEG-4视频编码的关键技术，也是新一代视频编 码的研究热点和难点。
　　视频对象分割涉及对视频内容的分析和理解，这与人工智能、图像理解、模式识别和神经网络等学科 有密切联系。目前人工智能的发展还不够完善，计算机还不具有观察、识别、理解图像的能力；同时关于计算机视觉的研究也表明要实现正确的图像分割需要在更高 层次上对视频内容进行理解。因此，尽管MPEG-4 框架已经制定，但至今仍没有通用的有效方法去根本解决视频对象分割问题，视频对象分割被认为是一个具有挑战性的难题，基于语义的分割则更加困难。 
　　目前进行视频对象分割的一般步骤是：先对原始视频/图像数据进行简化以利于分割，这可通过低通 滤波、中值滤波、形态滤波来完成；然后对视频/图像数据进行特征提取，可以是颜色、纹理、运动、帧差、位移帧差乃至语义等特征；再基于某种均匀性标准来确 定分割决策，根据所提取特征将视频数据归类；最后是进行相关后处理，以实现滤除噪声及准确提取边界。 
　　在视频分割中基于数学形态理论的分水岭（watershed）算法被广泛使用，它又称水线算 法，其基本过程是连续腐蚀二值图像，由图像简化、标记提取、决策、后处理四个阶段构成。分水岭算法具有运算简单、性能优良，能够较好提取运动对象轮廓、准 确得到运动物体边缘的优点。但分割时需要梯度信息，对噪声较敏感，且未利用帧间信息，通常会产生图像过度分割。 
　　2. VOP视频编码技术 
　　视频对象平面（VOP，Video Object Plane）是视频对象（VO）在某一时刻的采样，VOP是MPEG-4视频编码的核心概念。MPEG-4在编码过程中针对不同VO采用不同的编码策略， 即对前景VO的压缩编码尽可能保留细节和平滑；对背景VO则采用高压缩率的编码策略，甚至不予传输而在解码端由其他背景拼接而成。这种基于对象的视频编码 不仅克服了第一代视频编码中高压缩率编码所产生的方块效应，而且使用户可与场景交互，从而既提高了压缩比，又实现了基于内容的交互，为视频编码提供了广阔 的发展空间。 
　　MPEG-4支持任意形状图像与视频的编解码。对于任意形状视频对象。对于极低比特率实时应 用，如可视电话、会议电视，MPEG-4则采用VLBV（Very Low Bit-rate Video，极低比特率视频）核进行编码。 
　　传统的矩形图在MPEG-4中被看作是VO的一种特例，这正体现了传统编码与基于内容编码在 MPEG-4中的统一。VO概念的引入，更加符合人脑对视觉信息的处理方式，并使视频信号的处理方式从数字化进展到智能化，从而提高了视频信号的交互性和 灵活性，使得更广泛的视频应用及更多的内容交互成为可能。因此VOP视频编码技术被誉为视频信号处理技术从数字化进入智能化的初步探索。 
　　3. 视频编码可分级性技术 
　　随着因特网业务的巨大增长，在速率起伏很大的IP（Internet Protocol）网络及具有不同传输特性的异构网络上进行视频传输的要求和应用越来越多。在这种背景下，视频分级编码的重要性日益突出，其应用非常广 泛，且具有很高的理论研究及实际应用价值，因此受到人们的极大关注。 
　　视频编码的可分级性（scalability）是指码率的可调整性，即视频数据只压缩一次，却 能以多个帧率、空间分辨率或视频质量进行解码，从而可支持多种类型用户的各种不同应用要求。 
　　MPEG-4通过视频对象层（VOL，Video Object Layer）数据结构来实现分级编码。MPEG-4提供了两种基本分级工具，即时域分级（Temporal Scalability）和空域分级（Spatial Scalability），此外还支持时域和空域的混合分级。每一种分级编码都至少有两层VOL，低层称为基本层，高层称为增强层。基本层提供了视频序列 的基本信息，增强层提供了视频序列更高的分辨率和细节。 
　　在随后增补的视频流应用框架中，MPEG-4提出了FGS（Fine Granularity Scalable，精细可伸缩性）视频编码算法以及PFGS（Progressive Fine Granularity Scalable，渐进精细可伸缩性）视频编码算法。 
　　FGS编码实现简单，可在编码速率、显示分辨率、内容、解码复杂度等方面提供灵活的自适应和可 扩展性，且具有很强的带宽自适应能力和抗误码性能。但还存在编码效率低于非可扩展编码及接收端视频质量非最优两个不足。 
　　PFGS则是为改善FGS编码效率而提出的视频编码算法，其基本思想是在增强层图像编码时使用 前一帧重建的某个增强层图像为参考进行运动补偿，以使运动补偿更加有效，从而提高编码效率。 
　　4. 运动估计与运动补偿技术 
　　MPEG-4采用I-VOP、P-VOP、B-VOP三种帧格式来表征不同的运动补偿类型。它 采用了H.263中的半像素搜索（half pixel searching）技术和重叠运动补偿（overlapped motion compensation)技术，同时又引入重复填充（repetitive padding）技术和修改的块（多边形）匹配（modified block （polygon）matching）技术以支持任意形状的VOP区域。 
　　此外，为提高运动估计算法精度，MPEG-4采用了MVFAST（Motion Vector Field Adaptive Search Technique）和改进的PMVFAST（Predictive MVFAST）方法用于运动估计。对于全局运动估计，则采用了基于特征的快速顽健的FFRGMET（Feature-based Fast and Robust Global Motion Estimation Technique）方法。 
　　在MPEG-4视频编码中，运动估计相当耗时，对编码的实时性影响很大。因此这里特别强调快速 算法。运动估计方法主要有像素递归法和块匹配法两大类，前者复杂度很高，实际中应用较少，后者则在H.263和MPEG中广泛采用。在块匹配法中，重点研 究块匹配准则及搜索方法。目前有三种常用的匹配准则： 
　　（1）绝对误差和（SAD, Sum of Absolute Difference）准则； 
　　（2）均方误差（MSE, Mean Square Error）准则； 
　　（3）归一化互相关函数（NCCF, Normalized Cross Correlation Function）准则。 
　　在上述三种准则中，SAD准则具有不需乘法运算、实现简单方便的优点而使用最多，但应清楚匹配 准则的选用对匹配结果影响不大。 
　　在选取匹配准则后就应进行寻找最优匹配点的搜索工作。最简单、最可靠的方法是全搜索法（FS, Full Search），但计算量太大，不便于实时实现。因此快速搜索法应运而生，主要有交叉搜索法、二维对数法和钻石搜索法，其中钻石搜索法被MPEG-4校验 模型（VM, Verification Model）所采纳，下面详细介绍。 
　　钻石搜索（DS, Diamond Search）法以搜索模板形状而得名，具有简单、鲁棒、高效的特点，是现有性能最优的快速搜索算法之一。其基本思想是利用搜索模板的形状和大小对运动估 计算法速度及精度产生重要影响的特性。在搜索最优匹配点时，选择小的搜索模板可能会陷入局部最优，选择大的搜索模板则可能无法找到最优点。因此DS算法针 对视频图像中运动矢量的基本规律，选用了两种形状大小的搜索模板。 
　　· 大钻石搜索模板（LDSP, Large Diamond Search Pattern），包含9个候选位置； 
　　· 小钻石搜索模板（SDSP, Small Diamond Search Pattern），包含5个候选位置。 
　　DS算法搜索过程如下：开始阶段先重复使用大钻石搜索模板，直到最佳匹配块落在大钻石中心。由 于LDSP步长大，因而搜索范围广，可实现粗定位，使搜索不会陷于局部最小，当粗定位结束后，可认为最优点就在LDSP 周围8 个点所围菱形区域中。然后再使用小钻石搜索模板来实现最佳匹配块的准确定位，以不产生较大起伏，从而提高运动估计精度。 
　　此外Sprite视频编码技术也在MPEG-4中应用广泛，作为其核心技术之一。Sprite 又称镶嵌图或背景全景图，是指一个视频对象在视频序列中所有出现部分经拼接而成的一幅图像。利用Sprite可以直接重构该视频对象或对其进行预测补偿编 码。 
　　Sprite视频编码可视为一种更为先进的运动估计和补偿技术，它能够克服基于固定分块的传统 运动估计和补偿技术的不足，MPEG-4正是采用了将传统分块编码技术与Sprite编码技术相结合的策略。　
　　 4 结束语 
　　多媒体数据压缩编码的发展趋势是基于内容的压缩，这实际上是信息处理的高级阶段，更加向人自身 的信息处理方式靠近。人的信息处理并不是基于信号的，而是基于一个比较抽象的、能够直接进行记忆和处理的方式。 
　　MPEG-4作为新一代多媒体数据压缩编码的典型代表，它第一次提出了基于内容、基于对象的压 缩编码思想。它要求对自然或合成视听对象作更多分析甚至是理解，这正是信息处理的高级阶段，因而代表了现代数据压缩编码技术的发展方向。 
　　MPEG-4实现了从矩形帧到VOP的转变以及基于像素的传统编码向基于对象和内容的现代编码 的转变，这正体现了传统视频编码与新一代视频编码的有机统一。基于内容的交互性是MPEG-4的核心思想，这对于视频编码技术的发展方向及广泛应用都具有 特别重要的意义。

MPEG-4的应用

　　（1)应用于因特网视音频广播 
　　由于上网人数与日俱增，传统电视广播的观众逐渐减少，随之而来的便是广告收入的减少，所以现在 的固定式电视广播最终将转向基于TCP/IP的因特网广播，观众的收看方式也由简单的遥控器选择频道转为网上视频点播。视频点播的概念不是先把节目下载到 硬盘，然后再播放，而是流媒体视频(streaming video)，点击即观看，边传输边播放。
　　现在因特网中播放视音频的有：Real Networks公司的 Real Media，微软公司的 Windows Media，苹果公司的 QuickTime，它们定义的视音频格式 互不兼容，有可能导致媒体流中难以控制 的混乱，而MPEG-4为因特网视频应用提供了一系列的标准工具，使视音频码流具有规范一致性。因此在因特网播放视音频采用MPEG-4，应该说是一个安 全的选择。
　　（2)应用于无线通信 
　　MPEG-4高效的码率压缩，交互和分级特性尤其适合于在窄带移动网上实现多媒体通信，未来的 手机将变成多媒体移动接收机，不仅可以打移动电视电话、移动上网，还可以移动接收多媒体广播和收看电视。
　　（3)应用于静止图像压缩 
　　静止图像（图片）在因特网中大量使用，现在网上的图片压缩多采用JPEG技术。 MPEG-4中的静止图像(纹理)压缩是基于小波变换的，在同样质量条件下，压缩后的文件大小约是JPEG压缩文件的十分之一。把因特网上使用的JPEG 图片转换成MPEG-4格式，可以大幅度提高图片在网络中的传输速度。
　　（4)应用于电视电话 
　　传统用于窄带电视电话业务的压缩编码标准，如H261，采用帧内压缩、帧间压缩、减少象素和抽 帧等办法来降低码率，但编码效率和图像质量都难以令人满意。MPEG-4的压缩编码可以做到以极低码率传送质量可以接受的声像信号，使电视电话业务可以在 窄带的公用电话网上实现。
　　（5)应用于计算机图形、动画与仿真 
　　MPEG-4特殊的编码方式和强大的交互能力，使得基于MPEG-4的计算机图形和动画可以从 各种来源的多媒体数据库中获取素材，

MPEG4 高清技术算计显卡

并 实时组合出所需要的结果。因而未来的计算机图形可以在MPEG-4语法所允许的范围内向所希望的方向无限发展，产生出今天无法想象的动画及仿真效果。
　　（6)应用于电子游戏 
　　MPEG-4可以进行自然图像与声音同人工合成的图像与声音的混合编码，在编码方式上具有前所 未有的灵活性，并且能及时从各种来源的多媒体数据库中调用素材。这可以在将来产生象电影一样的电子游戏，实现极高自由度的交互式操作。
　　（7）硬件产品上面的应用 
　　目前，MPEG4技术在硬件产品上也已开始逐步得到应用。特别是在视频监控、播放上，这项高清 晰度，高压缩的技术得到了众多硬件厂商的钟爱，而市场上支持MPEG4技术的产品也是种类繁多。下面笔者就列举一些代表性的产品，旨在让读者了解 MPEG4技术在今天应用范围之广。
　　（1）、摄像机 ：日本夏普公司推出过应用在互联网上的数字 摄像机VN－EZ1。这台网络摄像机利用MPEG4格式，可把影像文件压缩为ASF（高级流格式），用户只要利用微软公司的MediaPlayer播放程 序，就可以直接在电脑上进行播放。
　　（2）、播放机：飞利浦公司于今年八月份推出了一款支持DivX的DVD播放机DVD737。 它可以支持DivX 3.11、4.xx、5.xx等MPEG4标准，而对于新标准的支持则可以通过升级固件来实现。（3）、数码相机：日本京瓷公司在11月中旬发售其最新款 数码相机Finecam L30，这款是采用300万像素、3倍光学变焦设计的数码相机产品， L30采用了MPEG4格式动态视频录制，可以让动态视频录制画面效果比传统数码相机更出色。
　　（4）、手机：在手机领域，MPEG4技术更是得到了广泛的应用，各大手机厂商也都推出了可拍 摄MPEG4动态视频的手机型号，如西门子ST55、索尼爱立信P900/P908、LG 彩屏G8000等。
　　(5)、MPEG4数字硬盘：在今年深圳举行的安防展览会上，开发数字录像监控产品的厂家纷纷 推出了他们的最新产品，而支持MPEG4的DVR压缩技术也成为改展会上的亮点。
　　如北京华青紫博科技推出的"E眼神MPEG4数字视频王"便是一款基于网络环境的高清晰数字化 监控报警系统。内置多画面处理器，集现场监控、监听、多路同时数字录像与回放等多种功能为一体。
　　其实，市场上还有许多基于MPEG4技术的硬件产品，笔者这里就不一一列举了，不过笔者相信， 随着视频压缩技 术 的不断发展，MPEG4技术的产品会越来越多的出现在我们生活，工作中。

转自：http://yueguc.iteye.com/blog/829517