春节是中国人最看重,也是最具仪式感的节日,回首往年春节假期,无外乎三个关键词:拜年、消费、聚会。而2021年春节和以往不同,为响应国家号召,不少人选择就地过年,与之相伴而生的还有“云拜年”“云干杯”“云团圆”

其中,为增加过年的喜乐气氛,让大家过团圆喜乐吉祥年,爱奇艺技术团队还在过年期间携“技术气氛组”给大家带来了AI拜年新姿势,利用先进的AI技术方案和自研的3D重建模型,结合丰富的数据学习积累,推出AI拜年新姿势,为大家新年氛围添福添乐。那么相比较其它AI拜年设计,爱奇艺AI拜年小视频有什么可圈可点之处呢?

创意新颖:AI拜年小视频独一无二 

不同于以往拜年送祝福的方式,爱奇艺创作中心打破了过年祝福的同质化尬局,让祝福不再是简单的复制黏贴。用户通过爱奇艺APP搜索“拜年”,进入“新春庙会”活动页面,在玩法集市板块选择任意AI拜年模块,上传一张自己喜欢的照片便可自动生成多种特色拜年小视频。

照片没有限制,可以是萌娃、萌宠或者自己的美照等等,上传之后,便可一键get属于自己的专属趣味拜年视频。春节期间,不少网友利用该功能制作了有趣吉祥且又独特的拜年视频与朋友和家人分享,其中,被网友热议的一键化身TVB港星的戴珍珠耳环的少女被在社交媒体高调出街。

由此可见,不管是晒娃狂魔、还是萌宠专业户,只要上传一张照片到爱奇艺“新春庙会”活动页面即可生成独一无二的拜年小视频,给亲人朋友送去诚挚的新春问候。

AI技术先进:视频灵动有趣,观感自然

看完上面的拜年小视频,大家不难发现,由一张照片通过AI技术制作的创意拜年小视频的视觉观感非常的灵动自然,各个表情小细节的处理也很到位。据了解,该拜年小视频的底层逻辑是AI捏脸术,就是让静态的图片动起来。在图像生成模块中,模型会对目标运动期间出现的遮挡进行建模,然后从给定的图片中提取外观信息,再结合先前获得的特征进行视频合成。当然,仅有该技术还远不能够将视频做得如此生动自然。

为保证拜年小视频更加灵动自然,爱奇艺PersonAI团队还对源技术FOMM从训练数据和训练方法两个方面进行了重新优化。训练数据方面,利用团队内部的人脸识别、人脸属性识别、情感识别、微表情识别等技术,从海量的爱奇艺优质视频中提取出可用于训练的视频片段,并从性别、年龄、人种、姿态、表情等多个维度保证了训练数据的合理分布。

此外,为保证画面的趣味性与自然感,爱奇艺PersonAI团队还刻意增加了姿态角度比较大和表情比较夸张的数据的比例,以保证训练数据的全面覆盖,实现更好的画面制作效果。

其次,在训练方法方面,爱奇艺PersonAI团队在原有的约束LOSS上增加了人脸特征、3D姿态表情、及其嘴巴局部细节等的约束。

其中人脸特征得益于PersonAI团队的千万级人脸识别模型,再加上高精度的双线性3D重建模型,能够对生成前后的图像分别提取人脸特征、3D模型的姿态和表情系数,并对嘴巴部分做了加权处理,使其尽量保证在姿态角度大和嘴部动作相对较大的情况下,生成的图像与目标图像保持相似的人脸特征和姿态表情。

性能稳定:多种黑科技加持,用户体验更佳

除上述之外,为提升用户体验,爱奇艺PersonAI团队还在保证生成效果的同时,对模型速度进行了进一步的优化提升,并引入了深度可分离卷积技术,通过对模型结构的分析,构建了轻量化的网络模型,大幅提高了模型推理速度。

  

另外,针对侧面识别和性能保持,爱奇艺PersonAI团队在训练过程中引入了自研的3D重建模型,对生成前后的图片计算3D模型的姿态和表情系数,尽量保证大角度侧脸下的生成效果。实验过程中PersonAI团队发现采用小模型后,模型的生成效果有所减弱,尤其是嘴部会比较模糊,为此通过神经网络蒸馏技术提升了小模型的整体生成效果,并对嘴部区域单独做了进一步的优化。

  

其中,为了提高3D模型的可用性,爱奇艺PersonAI团队在facescape数据处理部分进行了改进,以TU模型作为target,结合facescape双线性模型pca基底拟合身份和表情系数。

因为facescape开源的多视角原始图片为实验室均匀光线,场景简单,与实际使用图片差异较大。PersonAI团队使用raw scan模型旋转随机角度,并施加一定角度内的随机光照进行渲染,将渲染图配合随机背景制作训练数据。

同时,爱奇艺PersonAI团队根据自主研发的landmark检测器准确检测人脸landmark,拟合出3Dmm模型的表情系数和身份系数。这份数据的特点是环境为真实环境,光线和清晰程度与使用场景更为接近,并且弥补facescape采集人数上的不足,让用户的体验效果更好。

  

此次爱奇艺带来了非常独特且有趣的拜年互动,借助于先进的AI技术,成功盘活了拜年气氛,不愧为技术拜年气氛组的扛把子选手。更值得一提的是,在此次AI创意拜年不但给用户带来了更有趣的互动产品,也彰显了爱奇艺的技术实力,在不断的探索AI领先技术同时希望未来爱奇艺技术团队能为用户带来更多互动的、有趣的、沉浸的娱乐体验。

也许你还想看

爱奇艺“技术气氛组”上线!点击查收你的专属AI拜年新姿势

开工礼包来了!精选12次技术分享,超200页电子书、10小时视频,一次领取

 扫一扫下方二维码,更多精彩内容陪伴你!

体验AI拜年新姿势,爱奇艺技术团队这波操作真秀!相关推荐

  1. 爱奇艺技术分享:爱奇艺Android客户端启动速度优化实践总结

    本文由爱奇艺技术团队原创分享,原题<爱奇艺Android客户端启动优化与分析>. 1.引言 互联网领域里有个八秒定律,如果网页打开时间超过8秒,便会有超过70%的用户放弃等待,对Andro ...

  2. 爱奇艺“技术气氛组”上线!点击查收你的专属AI拜年新姿势

    就地过年没年味儿? 拜年吉祥话绞尽脑汁? 别怕 爱奇艺"技术气氛组" 带着黑科技来了! 春节临近 爱奇艺创作中心"新春庙会"AI拜年小视频 正式上线! 打开爱奇 ...

  3. 全网首档会员付费网综领跑曲艺文化新形态 爱奇艺《坑王驾到》第二季28日上线...

    10月28日,由爱奇艺打造的中国首档品质化传统艺术推广节目<坑王驾到>第二季将正式上线,无缝接档第一季,节目共104期,每周六.日8:00更新一期,爱奇艺VIP会员全网独享.作为首次实现与 ...

  4. 爱奇艺技术沙龙盘点(内含资料分享)

    第一期   移动开发从组件化到Web化 坐标:上海 简介: 随着移动互联网业务的不断增长和移动客户端技术发展不断深入,模块化.组件化及动态化的架构设计在帮助开发者降低模块耦合.提升团队合作效率和灵活应 ...

  5. 爱奇艺路香菊:视频人物识别关键技术及其应用|爱奇艺技术沙龙回顾

    主讲人 | 路香菊 爱奇艺科学家 张康 编辑整理 量子位编辑 | 公众号 QbitAI 近日,爱奇艺技术沙龙"多模态视频人物识别的关键技术及应用"成功举办,爱奇艺科学家路香菊出席并 ...

  6. 爱奇艺视频自动发布工具操作

    爱奇艺视频自动发布工具操作 爱奇艺视频批量发布工具联系[路胜视频上传软件] 视频完播率才高.该词比较抽象,大致的判断方法是看用户是否有想要划走的欲望不划说明有氛围,划走说明没氛围.理解成本低.短视频广 ...

  7. 无限流量+AI投屏:爱奇艺电视果4G亮相CES

    6月13日,CES Asia 2018亚洲消费电子展在上海新国际博览中心正式拉开帷幕.本届展会上除了自动驾驶.机器人.人工智能.手机.3D打印.汽车电子等技术之外,来自爱奇艺的跨界新品--电视果4G的 ...

  8. 互联网晚报 | 8月27日 星期五 | 爱奇艺取消未来几年偶像选秀节目;百度App月活跃用户突破6亿;陌陌连续26个季度盈利...

    今日看点 ✦ 工信部:我国新能源汽车销量连续六年位居全球第一 ✦ 百度集团:百度App月活跃用户数7月突破6亿 ✦ 爱奇艺宣布:取消未来几年偶像选秀节目和任何场外投票环节 ✦ 陌陌二季度营收36.7亿 ...

  9. 爱奇艺编码团队:我们让AV1编码速度提升5倍

    爱奇艺综艺<青春有你>THE9成团 编者按: 如果说VVC是编码标准中的白富美,那么AV1就代表了广大的互联网玩家--承受不起高昂的专利版税.为了实现免专利费的目标,AV1不得不" ...

最新文章

  1. php strace 工具,Linux程序调试工具工具—strace命令
  2. 天气情况(思维,dp思想)
  3. Remoting 与 Webservice 的区别
  4. Linux kmap和kmap_atomic解析
  5. Java JVM总结
  6. python与sqlite3_sqlite3与python2.5,pysqlite和apsw有什么区别
  7. 搭建高可用的redis集群,避免standalone模式带给你的苦难
  8. Case 2-1:用空间平滑法分析华南地区的TAI语地名分布
  9. 【数据结构和算法笔记】数组(数组的储存方式和特殊矩阵的压缩储存)
  10. JAVA多线程之男朋友和女朋友之间的故事
  11. 删除本地.svn文件
  12. 中国著名的D版和破解软件下载网站(转)
  13. 关于AD导Gerber文件的理解和总结
  14. PADS PCB绘图软件使用过程中遇到的问题和填坑
  15. python xlsxwriter dict_使用python库xlsxwriter库来输出各种xlsx文件的示例
  16. 笔记 :归纳总结 (一)
  17. 互联网创业公司融资、产品、运营快速迭代和人才模式总结
  18. 沙之家的塔塔露有事寻求冒险者 (位运算 前缀和 差分
  19. ERROR:ORA-01031:insufficient privileges完美解决方法
  20. 隐藏a标签html,a标签显示隐藏 js怎么控制a标签的显示和隐藏

热门文章

  1. treeGrid插件
  2. java-net-php-python-jspm广东阳光外国语学校新闻发布计算机毕业设计程序
  3. OpenVZ加速TCP的BBR优化魔改版本
  4. 安卓zip解压软件_纯C语言编写的开源免费解压压缩软件——拥有极致性能的 7-zip...
  5. 【论文翻译】异构网络的影响与相似性
  6. 服务器虚拟资源池,大型医院基于Hyper-V的虚拟化服务器资源池构建
  7. php-emoji使用微信,微信开发中emoji表情的问题
  8. BIOS三种硬盘模式
  9. 《Designing Data-Intensive Application》01数据系统的基石-可靠性/可扩展性/可维护性
  10. 蓝桥杯的比赛流程和必考点