快手Y-tech:短视频智能创作的CV技术和发展趋势
点击上方“机器学习与生成对抗网络”,关注星标
获取有趣、好玩的前沿干货!
文章来源 快手Ytech
近日,2021全球人工智能技术大会在杭州召开。本次大会汇集来自世界各地的人工智能领域专家,共同为人工智能的未来发展建言献策。在6月5日召开的计算机视觉专题论坛上,快手Y-tech部门AI技术平台负责人万鹏飞受邀发表了题为《短视频UGC智能创作中的计算机视觉技术》的演讲,从产业的角度分享了计算机视觉技术在短视频智能创作方向的应用和发展趋势。
快手深耕短视频内容创作生态,UGC智能创作降本增效
作为国民短视频社区,快手用户日均使用时长99.3分钟,整体日活达3.792亿。在庞大的用户与流量基础上,快手形成了富有活力的内容创作生态,平台内有300亿+原创视频库存,每月新增创作者1000w+。其中大部分内容是广大普通用户创作的,即UGC(User Generated Content)。据万鹏飞介绍,UGC强调人机协同,内容创作的主体是人,技术辅助人做创作;智能创作则强调技术有一定的自动化能力,可在内容创作中起到“降本增效”的作用。对应到实际产品中,快手系产品的UGC智能创作主要涵盖了三大类功能:人像美化功能、影音特效功能和独立创作工具。
人像美化功能:快手的人像美化功能包括美颜、美型、美体、美妆、滤镜、画质增强等。除经典的基于图形图像处理的技术方案外,快手将基于深度学习的CV技术融入到了人像美化中,大幅提升了用户体验。例如用神经网络来提高人像照片的画质或让照片中的人更年轻,以及通过环境光照估计使美妆效果在实际场景中更加自然等。
影音特效功能:除了常见的各种人脸AR装饰外,特效功能的含义非常广泛,包括但不限于各种玩法道具、贴纸动效、视频模板和小游戏等。例如万物AR玩法是用摄像头扫描通用物体并触发效果(如让湿纸巾跳舞),活照片玩法可以使一张图按照特定方式动起来(如前阵子很火的“蚂蚁呀嘿”),这些都是特效技术的范围。
独立创作工具:快手此前已经推出“快影”和“一甜相机”等多款受欢迎的工具产品帮助用户进行视频和图像的专业创作,最近还刚发布了一款主打高清修图的“原片”app。除这些产品外,此次大会上万鹏飞重点介绍了另外两个比较特别的独立创作工具。
第一个是虚拟偶像创建和开播工具—A站面捕助手,用户能以很低的成本创造自己的虚拟形象,并让虚拟形象跟着自己动起来,进行直播互动和内容生产。大大降低了普通人或商家拥有和运营属于自己的虚拟偶像的门槛。
第二个是快手特效开放平台—必扬特效平台,在这个平台上,人们可以设计和创造自己的特效玩法,发布到快手让更多人体验,并可获得平台激励。通过这个方式,短视频平台、特效创作者、特效消费者形成了一个互利共赢的生态。
CV技术助力快手短视频智能创作,五大变化传达技术发展趋势
短视频UGC智能创作各种功能的实现大多依托于(但不仅限于)计算机视觉技术,即CV技术。在演讲中,万鹏飞从产业应用的角度,按照人体感知与重建技术、环境感知与重建技术、像素级语义分析、生成式技术和多模态技术这五个技术方向进行了介绍。
人体/环境感知与重建技术:感知和重建是智能创作的重要前提,也是CV领域的重要课题。主要包括点/框检测、物体/场景识别、动作捕捉、VO/SLAM、3D重建等,这些基础CV技术有力保障了快手用户的创作体验。
像素级语义分析:这方面用途最广的是分割技术,俗称抠图。除了比较常见的人像分割外,万鹏飞展示了一个快手实时天空分割的案例,不论是窗户的遮挡,还是建筑与天空的连接处,都分割得非常细腻。除各种分割抠图外,有时候也需要对画面中的其他语义信息进行分析,如深度和法线等。
生成式技术:以生成判别网络(GAN)为代表的生成式技术是近几年非常火热的课题。生成式技术除了可以做各种好玩的特效外(如“童话脸”特效),其应用已深入到智能内容创作的方方面面。例如传统的染发效果是在头发上叠加一层颜色,效果很假。用生成式技术染出来的头发,则更像是现实中实际染上去的效果。
多模态技术:现实世界中人们感受和表达信息大多是多模态的。一个短视频,不只有画面,还有声音、文本信息等,因此UGC智能创作也应该对多模态信息进行联合建模。在智能创作方面,多模态技术的落地场景有很多,包括为短视频配乐、配文案,图文转视频,以及文字生成画面等。
以上这些技术在实际落地中会面临很多挑战,包括如何保证算法在各种不同的机型上都能发挥最好的算法效果且保证运行流畅。如何保证用户在各种使用场景中能保证算法的鲁棒性等。这些都是CV技术在实际业务落地时必须考虑和解决的问题。
在演讲的最后,万鹏飞展望了短视频UGC智能创作技术未来发展的五大趋势:“首先是从单模态到多模态,利用多模态信息进行智能创作;第二,生成模型会越来越强大。生成的内容更加逼真,且生成的过程更加稳定可控;第三,内容形态走向虚实融合。虚拟与现实的边界变得模糊,混合现实技术很有前景;第四,从辅助制作到辅助创意,技术需要帮助人们解决内容创作中的创意瓶颈问题;最后,计算模式将走向云边端联合计算,强大的计算能力将为用户解锁更多更智能的创作体验” 。
快手Y-tech 介绍
Y-tech团队是快手公司在人工智能领域的探索者和先行者,致力于计算机视觉、计算机图形学、机器学习、AR/VR等领域的技术创新和业务落地,不断探索新技术与新用户体验的最佳结合点。Y-tech在北京、深圳、杭州、Palo Alto有研发团队,成员来自于国际知名高校和公司。
长期招聘(全职和实习生):计算机视觉、计算机图形学、多模态技术、机器学习、AI工程架构、美颜技术、特效技术、性能优化、平台开发、工具开发、技术美术、产品经理等方向的优秀人才。如果你对我们做的事情感兴趣,欢迎联系并加入我们,一起做酷炫的东西,创造更大的价值。联系方式:ytechservice@kuaishou.com
猜您喜欢:
等你着陆!【GAN生成对抗网络】知识星球!
超100篇!CVPR 2020最全GAN论文梳理汇总!
附下载 | 《Python进阶》中文版
附下载 | 经典《Think Python》中文版
附下载 | 《Pytorch模型训练实用教程》
附下载 | 最新2020李沐《动手学深度学习》
附下载 | 《可解释的机器学习》中文版
附下载 |《TensorFlow 2.0 深度学习算法实战》
附下载 | 超100篇!CVPR 2020最全GAN论文梳理汇总!
附下载 |《计算机视觉中的数学方法》分享
快手Y-tech:短视频智能创作的CV技术和发展趋势相关推荐
- 基于python的短视频智能推荐/django的影视网站/视频推荐系统
摘 要 本论文主要论述了如何使用Python技术开发一个短视频智能推荐,本系统将严格按照软件开发流程进行各个阶段的工作,采用B/S架构,面向对象编程思想进行项目开发.在引言中,作者将论述短视频智能推荐 ...
- 短视频内容创作:内容发给谁?为什么发?发什么?以什么形式发?
一句话介绍短视频内容定位,我赢助手每周一课短视频运营关键节点介绍. 内容定位无非就是视频发给谁?为什么发?以什么形式发? 短视频发给谁?就是做好你的目标受众的细分. 商业定位我们之前聊过了,如果你看过 ...
- 新媒体运营教程:短视频剧本创作技巧
不知道从什么时候开始,短视频忽然就火了起来,大街上,地铁上,或者在家里,人手一个手机,手机里不断传出各种各样稀奇古怪的额声音,伴随着看手机人傻呵呵的笑声,已经成了现代社会一道靓丽的风景线. 毕竟相比于 ...
- jsp+ssm计算机毕业设计短视频文案创作平台系统【附源码】
项目运行 环境配置: Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclis ...
- 首席新媒体黎想教程:短视频四种用户心理,帮助你短视频内容创作
短视频"内容输出"表层研究的是内容的结构形式,底层研究却是"用户心理",只有戳到了用户心理的感受,才能称得上是优质的内容. 如今,短视频行业这么火热,越来越多的 ...
- python快手数据采集_抖音、快手数据采集,短视频监测大屏
抖音.快手数据采集,短视频监测大屏 本文介绍在数据采集过程中不可或缺的一枚神器--数据采集监控大屏,如果想了解数据采集过程中的一些技术,欢迎查阅我的另外几篇文章,文末附有两篇数据采集文章的链接.先看下 ...
- 2022快手电商短视频运营白皮书:Q2对比Q1GMV总值增长率达12%
1.2022快手电商短视频运营白皮书:Q2对比Q1GMV总值增长率达12% 新榜讯 12月2日,快手电商发布<2022快手电商短视频运营白皮书>.白皮书数据显示,2022年4-6月,随着平 ...
- 短视频内容理解与生成技术在美团的创新实践
点击上方"LiveVideoStack"关注我们 美团围绕丰富的本地生活服务电商场景,积累了海量视频数据.如何通过计算机视觉技术用相关数据,为用户和商家提供更好的服务,是一项重要的 ...
- 关于短视频平台框架搭建与技术选型探讨
近年来,互联网高速发展,电视等传统媒体加速向媒体融合方向迈进,在三网融合等政策推动以及视频云技术.互动技术.大数据分析等新技术加速应用的背景下,无视频,不网络,短视频成为最重要的信息载体之一.构建高效 ...
最新文章
- 【机器学习】神经网络浅讲:从神经元到深度学习
- Zookeeper分布式一致性原理(九):Zookeeper分布式应用
- VS和matlab混合编程的推荐书籍!
- 算法每日学打卡:java语言基础题目打卡(16-18)
- !JS实战之随机像素图
- 关于halcon多区域挑选有关算法的自我理解(tuple_sort_index)
- ansys怎么删除线段_科学网—ansys常用命令 - 刘敬寿的博文
- python 反射和动态加载_Python的反射
- [原创]java WEB学习笔记48:其他的Servlet 监听器:域对象中属性的变更的事件监听器 (3 个),感知 Session 绑定的事件监听器(2个)...
- isdigit函数python_Python判断字符串是否为数字的方法isdecimal 、isdigit、isnumeric及坑...
- 大数据_Flink_Java版_ProcessFunction(4)_应用案例_高低温分流---Flink工作笔记0069
- Java逆向工程SpringBoot + Mybatis Generator + MySQL
- postman压力测试
- Mac m1安装jmeter
- QualDash: Adaptable Generation of Visualisation Dashboards for Healthcare Quality Improvement
- jy在线制图系统免费源码丨一秒生成广告横图海报图
- 【裴蜀定理】CF1055C Lucky Days
- web应用防火墙检测恶意流量的方法
- 如何将计算机技术应用于电梯上,浅谈计算机信息管理在电梯技术中的应用
- 腾讯云ubuntu远程桌面
热门文章
- Arduino 点灯实验
- Machine Learning——Linear Model
- 2021-02-23
- 我为什么花 1 万多买 MacBook Pro,重点是推荐我常用的开发写作相关的工具
- CGCS2000国家大地坐标系参数
- c#笔记--程序集(Assembly)、模块(Module)、类型(class)、命名空间、反射
- vivo手机mitmproxy安全证书安装
- oracle如何某个字段去重复的数据,Oracle 去重复的数据
- linux if 判断文件,shell中的逻辑判断,if 判断文件、目录属性,if判断的一些特殊用法...
- 更改Google Chrome 用户文件存储目录User Data 最简单方法