Aupera是一家专注于视频数据应用的新一代系统解决方案的创业公司,Aupera资深AI工程师Narges Afsham博士接受LiveVideoStack采访时表示,在FPGA中集成视频编码与AI是水到渠成的。

文 / Narges Afsham

策划 / LiveVideoStack

LiveVideoStack:针对视频云服务市场,您认为国内外有哪些不同?

Narges Afsham:我们可以发现过去这几年直播流及短视频剪辑市场的发展,中国拥有无与伦比的用户数量,面临视频云服务市场,相应提出更多挑战及复杂性,包括更高的并发率、更多样的终端设备及更复杂的网络条件等。另外,视频内容理解是中国必须具备运行视频云服务的能力,无论是使用人力资源还是技术资源。虽然我们发现大玩家如Facebook、Instagram等,正一窝蜂地提供越来越多的相关视频服务,包括Facebook直播、Facebook点播、以及他们最新推出的多人AR视频游戏,这都要求视频云服务提供商在处理海量视频流及数据时,持续不断突破技术壁垒和瓶颈。我个人认为中国有更多的用户群推动视频云服务提供商不断改进服务,视频云服务提供商集中在满足大规模用户的需求,提供更优化的服务,而美国视频云服务提供商在提供视频相关的新应用和技术方面更有创新性一些。

LiveVideoStack:能否介绍下Aupera与Xilinx合作开发的视频处理系统平台Aup2600系列的应用情况。


Narges Afsham:Aup2600系列是Aupera基于Xilinx最新MPSoC FPGA设备开发的新一代视频处理系统平台,该系统架构基于分布式计算架构对视频处理进行设计及优化,在处理大规模视频流方面突破了CPU的瓶颈。对于直播流转码及音视频混合流任务,相对传统X86服务器,该系统在并发流量处理方面实现20-30倍的效率。更重要的是,系统可升级实现视频AI相关应用,无需改变硬件及附加,这正是它令人激动的地方。系统FPGA资源已被保留用于AI实践,只需要一小部分实现视频编解码任务,你能想象其中蕴含的潜力。通过我们的系统,我们能实现对现实的实时视频内容理解,及视频编解码及AI应用在同一芯片组内完成。

LiveVideoStack:为什么视频编码/转码与AI应用可以在FPGA上结合在一起?具体的应用场景是什么?


Narges Afsham:视频工程师将受益于硬件加速编解码及它动态高效的QP分配,机器学习工程师受益于在硬件实现算法的推理速度,将它们集合统一在FPGA是非常自然的,这也极大地减少了开发周期。

LiveVideoStack:Aupera基于FPGA的视频编解码融合AI的解决方案有哪些独特的优势吗?


Narges Afsham:大大提升大规模海量视频并行处理的效率,对视频质量及视觉效果都有所改善,更重要的是系统升级实现AI相关应用,不需要添加或修改硬件,并能做到视频流的实时分析。

LiveVideoStack:业界公众的AI主流芯片,除了CPU以外,还有GPU、FPGA和ASIC。我们都知道FPGA比ASIC有更高的灵活性,比通用CPU和GPU有更高的效率。越来越多的企业选择FPGA作为AI计算平台,如微软,亚马逊,百度等,谷歌最近曝光的专用于人工智能深度学习计算的TPU,其实是一款ASIC。对此,您怎么看FPGA+AI,还有ASIC或通用CPU+AI? 

Narges Afsham:这一切都是基于应用程序的具体要求。GPU、CPU及FPGA在延迟、能效比 、开发时间,甚至是芯片大小都不同。GPU浮点运算强,设计灵活性强。

Xilinx MPSoC集成CPU与FPGA于一体,与普通FPGA相比有更高的灵活性,功能更加强大,特别适用于数据中心的大规模应用,以及边缘节点的低功耗应用。

同时,我们都将目睹机器学习算法和网络的快速发展,几乎每天都有改变或更新,从灵活性及可配置性方面,FPGA比ASIC性能好得多。

Aupera:FPGA让视频编码与AI结合水到渠成相关推荐

  1. 【解读】声网 Agora音视频技术与AI方案解决

    声网 Agora 原创声明,cv调包侠 50+新增数据中心300%全网带宽容量上涨中国区支持百万大频道动态扩展能力海外大频道扩容时间缩短50%日分钟数超过6亿支持 5G 网络下高清.大码率视频传输移动 ...

  2. 中南大学张昊:我非常期待基于AI的图像视频编码技术的创新

    点击上方"LiveVideoStack"关注我们 策划:包研.Alex 编辑:Alex 张昊 年终访谈 #002# 编者按:本周是2021年的最后一周,在这个迎接新年的日子里,Li ...

  3. 拥抱智能,AI视频编码技术的新探索

    随着视频与交互在日常生活中的作用日益突显,愈发多样的视频场景与不断提高的视觉追求对视频编码提出更高的挑战.相较于人们手工设计的多种视频编码技术,AI编码可以从大数据中自我学习到更广泛的信号内在编码规律 ...

  4. 英特尔推出锐炬Xe MAX独立显卡 可提升AI及视频编码速度

    11月1日消息,英特尔推出了英特尔锐炬 Xe MAX 独立显卡,该显卡专为轻薄型笔记本电脑设计,现已通过合作伙伴问世.英特尔锐炬 Xe MAX 独立显卡是英特尔首款基于 Xe 架构的独立图形显卡,是英 ...

  5. 在FPGA上实现H.264/AVC视频编码标准

    尽管H.264/AVC承诺将此已有视频编码标准具有更高的编码效率,它仍为系统架构师.DSP 工程师和硬件设计人员带来了巨大的工程设计挑战.H.264/AVC 标准引入了自 1990 年推出 H.261 ...

  6. ​边缘计算架构如何融合视频编码与存储

    NETINT是一家在高性能存储和视频编码领域拥有多项世界前沿技术的芯片设计公司,在上海.温哥华.多伦多三地设有研发中心.NETINT公司的CodensityTM系列和EdgeFusionTM系列芯片和 ...

  7. 从音视频技术看AI的机会和挑战

    多媒体搞AI,还有比这更靠谱的? 文 / 包研 LiveVideoStack主编 我关注AI完全是被动的,直到两件事改变了我对AI的看法.第一件发生在2017年5月,AlphaGo以3比0战胜柯洁.我 ...

  8. 视频编码标准、优化和画质评估

    对于下一代编解码技术H.266/VVC标准,相比前一代H.265/HEVC标准,可以在主观质量不变的情况下节省约50%的码率.H.266/VVC标准之后是否还会有新的标准,如果有,可能涌现出哪些新技术 ...

  9. 端到端神经视频编码=A Better Trade-off ?

    归根结底,每一种视频压缩方法都要权衡利弊(trade-off):如果允许更大的文件大小,就可以拥有更好的图像质量:但如果想让文件非常小,那就必须要容忍错误出现的概率.但现在(以及不久的将来),人们希望 ...

最新文章

  1. 机器学习:如何用相关性实现特征选择?
  2. Navicat数据库非常实用的技巧 (create_time、edit_time 设置默认值和自动更新)
  3. java中线程的生命周期
  4. chrome开发者工具各种骚技巧
  5. java软尾山地车碳_JAVA FURIA 27.5入门软尾山地车评测
  6. Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理
  7. 【转】图片轮播效果2
  8. golang连接mysql操作示例增删改查
  9. 可视化排班管理_呼叫中心外包之管理要点与数据分析对策
  10. 从零开始学Android自定义View之动画系列——属性动画(2)
  11. Robotium-基础理论介绍
  12. 弘辽科技:淘宝开店类别怎么选择?淘宝开店如何选类目?
  13. 路由器刷机教程图解_路由器刷固件图文教程,刷机OpenWrt第三方固件,路由器升级固件...
  14. 基于Openstack的私有云搭建实践1——概述、原理与整体规划
  15. 织梦后台登录后页面一片空白怎么办?
  16. 天池竞赛入门实战——快来一起挖掘幸福感!
  17. dede采集过滤规则
  18. LINUX QT移植到ARM (zynq平台 qt5.4.1)
  19. 【C#】Label不显示下划线
  20. 什么样的程序员才能算是一个合格的程序员呢?

热门文章

  1. python学习教程(链接)
  2. 编程开发之--Oracle数据库--存储过程在out参数中使用光标(3)
  3. 请接受这份货真价“无”的PPT
  4. Android开发技巧——自定义控件之自定义属性
  5. Running Nutch in Eclipse
  6. easyui datagrid local pager 表格本地分页
  7. ▲为什么要用css Sprite技术?
  8. HSRP-热备份路由协议
  9. CodeForces - 1358C Celex Update(思维)
  10. CodeForces - 1288E Messenger Simulator(树状数组)