随着5G开启万物互联的崭新纪元，用户、流量、应用场景不断扩张，视频服务不仅会深入渗透全产业领域，也将为各行各业的产品应用增值赋能。不断提升的存储、传输与计算资源，从分辨率、码率、色彩与传输稳定性上全方面、多维度提质升级，并为企业与消费者带来前所未有的商业价值与视觉体验。在这些提升背后，无论是AI、编码还是转码技术，硬件加速解决方案都发挥着举足轻重的作用。

8月23日，LiveVideoStack联合赛灵思出品“赛灵思视频加速技术研讨会”专题，邀请6位技术专家一同揭晓了赛灵思基于FPGA硬件加速解决方案的最新特性，分享了如何基于FPGA异构计算快速构建高性能图片处理解决方案以及高效视频处理与AI融合架构和基于FPGA的实时多媒体处理接口，探讨如何根据视频分辨率、网络状态、终端设备和内容动态选择Codec，从而达到最佳的用户体验与成本控制，并与在场嘉宾共同探索实时云视频转码的未来与Codec世界的新蓝图。作为FPGA的发明者，赛灵思凭借过去多年在视频、图片编码与转码以及AI计算等方面锐意进取所积累下的技术创新，为企业带来可观的商业收益与技术竞争力。

从云计算到低延时，传统编码器与创新技术双剑合璧严把成本质量关

无论是云游戏还是对网络延迟非常敏感的视频会议系统，无论是耕耘多年的视频点播业务还是近年有着突飞猛进增长的视频直播业务，业界各个应用领域均面临两大挑战：包括数据中心的硬件设施在内的核心成本与确保产品应用生态保持活力的运营成本。而中国拥有全世界规模最大的移动端视频市场，广阔蓝海亟待探索的同时，企业也需要重新思考如何有效解决峰值带宽、峰值流量与平均流量存在巨大差异下的服务器管理与解决方案，特别是客户原创视频在平台内容生产制作占据重要地位的今天，用户日益增长的需求会为基础架构带来更多的机遇和挑战。Xilinx视频与图像处理方向高级市场经理Sean Gardner认为，当下无论是用户、流量还是视频分辨率都在不断增长，相对于所需处理数据量较少且处理时间较充足的点播服务，对基础架构所处理数据量要求更高且对延时控制更苛刻的实时视频服务会为编解码基础服务器带来巨大挑战，对企业而言也意味着成本控制与盈利创收的压力会越来越大。而赛灵思基于FPGA不断开拓创新，为整个生态提供兼容不同编码标准、格式、封装方案在内的视频与图片转码工具，并在传统硬件加速的基础上加入高密度的Zynq MPSoC硬IP，同时创造性地把FFmpeg集成在FPGA之上，针对不同企业与应用场景量身定制满足高质量高密度需求的解决方案，令企业如虎添翼。

Sean Gardner Xilinx 高级市场经理（视频与图像处理方向）

NGCodec：模块化设计为实时云视频转码开拓崭新未来

随着通信技术的持续发展，用户观看视频时对码率和分辨率的需求不断增加，随之而来的是视频编码复杂度与处理流程的复杂程度也在不停增长；与此同时，SDN带宽成本与编码器本身运算成本的增长也是有目共睹，有效节约这些成本的终南捷径是提升编码效率，这同样也为用户带来了高质量视频观看体验的关键指标。尽管软件与硬件编码的优势不容忽视，但基于云的视频转码服务已经成为行业公认的发展趋势。NGCodec前联合创始人兼首席执行官Oliver Gunasekara 描绘了他眼中实时云视频转码的未来：使用基于赛灵思 FPGA可编程技术实现的NGCodec云转码解决方案代替传统转码处理单元，打破传统硬解被硬件的束缚，从而具备更出色的灵活度，并有效去除了软解通过牺牲编码复杂度增加带宽成本来满足实时性要求的桎梏；同时更加重视主观质量，无论是在视频质量、码率节省和编码复杂度方面，其优势都令传统方案难以望其项背。基于云的视频转码解决方案帮助视频直播类产品拥有更加出色的实时性和更高效的码率使用，同时可编程FPGA加速方案也将视频质量与编码性能提升到新的高度。

Oliver Gunasekara 前NGCodec联合创始人兼首席执行官

CTAccel：打破数据处理的困境，异构计算赋能实时多媒体处理

音视频业务形态不断扩张，用户需求持续提升，数据中心所需要处理的数据量也迎来了爆发性增长。根据IDC的报告，全世界对于数据存储的需求增速已超过数据中心的架构所及。基于有限的存储资源，如何高效存储多媒体数据并从容面对单位时间内海量的访问量成为数据中心亟需解决的一般性命题。拥有十二年FPGA行业经验的CTAccel 联合创始人兼副总裁Ivan Wong分享了联捷计算科技针对基于FPGA异构计算的特点，与赛灵思配合提出发挥FPGA特长的多媒体解决方案，并以应用接口的方式提供给用户。通过低采用门槛的数据接口与专用图片处理库令企业可以将服务无缝便捷迁入FPGA，并利用赛灵思生态圈优势帮助企业发挥FPGA在多媒体领域的最佳效能，从而实现同等CPU型号下5～10倍的性能提升与六成左右的时延降低；除此之外，凭借FPGA远比CPU出色的高性能、低延时与低功耗特性，即便是面对使用CPU计算效率低下、延时不断浮动的复杂lepton算法或HEIF封装也能从容应对，进而帮助数据中心显著减少数据处理压力。

Ivan Wong CTAccel联合创始人兼副总裁

Aupera：高度融合视频编解码、嵌入式AI分析与云端及边缘侧

要做到高效的视频内容处理及分析，首先要解决的是海量视频的编解码算力，需要提供高密度可负担的计算力。傲睿智存（Aupera）创始人兼CEO廖玉峰博士认为：基于现有半导体行业的发展现状，芯片所能提供的计算能力已趋近于极限，但与此同时视频内容仍在爆发性增长。目前互联网中80%的内容都是视频，X86可以应付普通通用的计算，但对于视频计算仍存在很大的局限性，粗放片面地追求频率的增加已经到了尽头，灵巧的计算将在未来大行其道。Aupera致力于构筑视频专属的分布式计算架构，通过实现基于FPGA的异构计算，在兼顾软件与协议兼容性的同时使用FPGA实现底层码率控制，并通过一个接口进行算法的更新和演进。除此之外，线性扩展的特性赋予该架构出色的性能扩展性与灵活度。一套专为海量视频内容实时编解码处理而打造的高度集成架构嵌入了实时AI加速引擎，不仅让广大开发者得以无负担地将自己的创意发挥到极致，更极大减少后续的计算量，改变了现有数据中心对视频处理的格局，

廖玉峰 Aupera创始人兼CEO

V-Nova：择优选取视频编码基础方案以实现质量和成本的平衡

VP9和HEVC被认为是H.264有力竞争者， Codec市场也将不再是一枝独秀，单一标准、单一方案的传播链条已经破裂，多媒体运营商寻找符合各自生态需求的方案，以求更高的服务和更低的成本。大多数情况下，Codec的复杂度正在增长，那么在不久的将来，选择哪些Codec更加务实？V-Nova市场和产品高级副总裁Fabio Murra给出了自己的观点：开发者需要从编码复杂度、编码效率、编码质量以及平台支持性四个指标入手，深度思考并衡量如何在不同编码器之间做出选择，同时也要考虑单一指标的变动是否会对其他额外指标带来影响。例如复杂度不仅会带来编码效率的提升，同时也会带来成本的提升。而编码器的生态直接决定产品与服务的受众范围与开发成本，如果选用更新的编码器或许会可以享受到新特性带来的便利，但也需要花更大力气推广落地。而MPEG LCEVC通过低复杂度实现了更强的主观质量，同时在获客与客户留存度上具有更大优势，易于在市场推广和普及。更多的选择意味着更多的可能，Codec世界的新蓝图值得期待！

Fabio Murra V-Nova市场和产品高级副总裁

深维科技：Xilinx Alveo平台推动JPEG/WebP转码迈向新的高度

图片已成为互联网海量数据中不可或缺的一部分，但与其相关的图像处理业务负载给互联网数据中心带来巨大的算力挑战。基于FPGA+CPU的异构计算因其可以支持细粒度的流水线和并行化算法架构，平台灵活可配置，受到了越来越多的市场关注。深维科技联合创始人兼CEO樊平认为，FPGA与CPU相比进一步强化了算力，尤其适合各类并行化计算；而与GPU相比，其更细粒度及灵活的并行化及流水线控制天然的对复杂算法有更强的适应性，能够充分发挥出算力优势，从而带来计算效率的提升。针对数据中心算力不断增强，算法不断细分、复杂化的大背景下，FPGA具有更好的发展前景。但是由于传统FPGA设计方法基于如Verilog/VHDL等的低层次设计语言，设计周期漫长，无法很好满足互联网用户快速迭代的行业需求特点。因此，为解决FPGA开发周期漫长的问题，深维科技充分利用了赛灵思推出的基于OpenCL和HLS的新设计方法，在 C/C++高层次设计语言的表达效率优势下，以软件开发流程取代传统的硬件开发流程，大幅缩短产品开发周期；同时依托于EDA和FPGA芯片设计的经验，深维科技具备全栈优化能力，既可以写出高性能的HLS代码，并进一步的形成一套可复用的产品组件库；同时拥有一套自研的EDA工具，可以把底层综合、布局、布线等根据产品特点有针对性的优化，进一步提升性能。因而可以在获得领先的性能指标同时，快速响应客户的特定需求。

樊平深维科技联合创始人兼CEO

Xilinx软硬IP双管齐下解决音视频处理痛点相关推荐

WebRTC：并非解决音视频应用所有问题的银弹
WebRTC1.0标准虽然已经定稿,但各个浏览器的实现都还不成熟,处于快速迭代中,网易云信CTO赵加雨针在接受LiveVideoStack采访时,针对实时通信技术演进.WebRTC国内外发展与趋势.以 ...
用FFMPEG SDK进行视频转码压缩时解决音视频不同步问题的方法(转) PTS DTS
用FFMPEG SDK进行视频转码压缩的时候,转码成功后去看视频的内容,发现音视频是不同步的.这个的确是一个恼火的事情.我在用FFMPEG SDK做h264格式的FLV文件编码Filter的时候就碰到 ...
一对一语音直播系统源码——如何解决音视频直播技术难点
直播作为对实时性和互动性要求较高的音视频应用场景,存在着诸多技术难点,即使是一对一的直播模式也不例外.低延迟.流畅性.回波消除.国内外互操作性.大规模并发等问题都是开发过程中的难点.但是,在开发过程中 ...
短视频中解决音视频混音出现杂音的问题
1 你用过音视频合成吗? 现在抖音快手各种短视频也算是深入人心了,短视频剪辑中有一个非常重要的功能,就是音视频合成,选择一段视频和一段音频,然后将它们合成一个新的视频,新生成的视频中会有两个音频的混音 ...
腾讯云实时音视频（ TRTC）通话质量监控仪表盘
腾讯云实时音视频(Tencent RTC,简称 TRTC)是一项低延时.高并发.稳定可靠的音视频 PaaS 云服务,主要提供多人实时通话以及低延时互动直播能力.TRTC 将腾讯 21 年来在网络与音视 ...
实时音视频技术（WebRTC/voip/Linphone/P2P）
实时音视频技术(WebRTC/voip/Linphone/P2P) 视频社交与语音社交??? 实时视频(直播)/语音通信.多媒体技术团队在音视频编解码.前后处理.传输等技术: 在语音社交.视 ...
【音视频】音视频概念了解
前言最近在看[海思芯片]和[安霸芯片]的音视频处理平台手册前面会涉及海思的东西,后面是音视频领域的一些概念知识的了解,选择海思的来说明是因为:1. 海思MPP手册文档写的易懂2. 资料也比较好找, ...
音视频处理的一些概念
一.媒体处理平台(MPP) hi3531/3532 编码二.视频缓存池:向媒体业务提供大块内存管理功能. 三.视频编码模块VENC支持以下协议编码:(1)H.264 (2)JPEG (3)MJPEG ...
“小程序+直播”怎样搅动音视频技术生态？
责编 / 王宇豪策划 / LiveVideoStack 12月26日晚间,微信小程序开放了直播能力,并首先向社交.教育.医疗.政务民生.金融等五大应用场景开放.与原生App应用和基于浏览器的H5 ...

Xilinx软硬IP双管齐下解决音视频处理痛点