玩嗨的 2 亿快手“老铁”和幕后的极致视觉算法
作者 | Just
出品 | AI科技大本营(ID:rgznai100)
创立八年,短视频平台快手目前已经有超过两亿人在每天登陆使用,每天还有超过 1500 万条短视频被制作和上传,每天的累计观看数更是达到 150 亿。
拥有如此庞大的用户数,快手用户涵盖中国社会的各个地域和阶层,生产丰富的视频内容。这些用户拍摄的视频就像一个社会博物馆,几十年后许多生活方式和民俗都会随着社会变迁而消失,但它们都以最原始的形式保存在快手用户视频里,其覆盖之广泛或许连任何官方或专业的影像资料都无法替代。
有媒体用这样一句话来概括快手平台的作用:在快手上遇见最广袤的中国。几年前在新闻稿上读到这句话,让王华彦至今印象深刻。
提高两种 AI 算法效率服务快手“老铁”
毫无疑问,王华彦认可快手作为短视频平台传递出的这种价值理念,如今作为快手位于硅谷的 Y-tech 实验室负责人,他告诉 AI科技大本营(ID:rgznai100),这也是其加入快手的其中一个主要原因。
价值理念的匹配固然重要,但自己的研究兴趣与快手在同一技术方向上的重视,让这种双向碰撞会一拍即合。2018 年 7 月,王华彦在其斯坦福师兄、现快手 Y-tech 负责人郑文的牵线下正式加入。
王华彦,现快手 Y-tech 硅谷实验室负责人。他是斯坦福大学计算机科学博士,师从概率图模型(graphical models)领域的顶尖学者和奠基人之一的 Daphne Koller 教授研究计算机视觉。就读斯坦福大学人工智能实验室期间,为复杂化的概率图模型开发了高效的推理算法。他的研究曾登上在ACM 通讯(CACM)的研究亮点(research highlights),并在多个顶级会议上发表。王华彦本科和硕士阶段就读于北京大学,师从査红彬教授,也曾在香港科技大学杨强教授的实验室访学。
在此之前,无论是在斯坦福读博,还是后来在硅谷做通用人工智能的公司 Vicarious AI 担任高级研究员,王华彦的主要专注点一直是如何从各种角度提高 AI 算法的效率。他进一步解释,效率包含两方面:一是学习阶段利用数据的效率,即利用更丰富的模型先验结构从更少的数据学到更多知识,二是推理阶段的计算效率。围绕这两大方向,他的一项研究成果入选了 2013 年 ACM 通讯(CACM)的研究亮点(research highlights)。
在 Vicarious AI,他和团队的研究工作继续围绕提高效率这一目标,重点关注数据效率和泛化(generalization)能力,他们发现,在特定场景下高度结构化的模型能够用几百分之一的训练数据就超过业内最强的卷积神经网络(CNN)的泛化能力。这一研究最终发表在 2017 年的《科学》(Science)杂志。
快手的核心技术需求与王华彦的研究方向高度契合。为了辅助用户进行更多内容生产,快手在业务中使用了大量 AI 技术进行赋能,比如美妆装饰特效、跳舞机游戏、控雨特效、AR 特效、染发特效、背景替换和魔法表情等。这些特效用到了人脸关键点、人体关键点识别、手势识别、视觉惯性里程计、头发分割、背景分割等 AI 技术。
这些技术应用背后,需要通过标注大量图像,作为数据集进行监督学习,训练出模型。但这种方式并不十分有效,相比人类只需要少量样本的学习方式而言,效率很低。
同时,快手的“老铁”们普遍使用的大众型手机对 AI 算法的推理计算效率提出了前所未有的高要求,这迫使他们快速开发并在大众移动设备上部署最先进的 AI 算法,而目前业界开发 AI 算法的主要瓶颈在于数据,如果能大幅提高数据利用效率就能提高开发效率。
问题在于,快手具体如何提高利用数据的效率以及推理计算效率?
追求极致效率:开发下一代计算机视觉算法
坐落在斯坦福校园旁边的快手 Y-tech 硅谷实验室,其研究大方向是追求 AI 算法的极致效率,王华彦称,他们在方法上主要专注于利用更加结构化的模型以及结构化的视觉信息表示,充分利用先验知识,提高算法效率,从而落地到内容理解、编解码和内容生产等不同的场景。
将这些模型应用部署到端上,主要的挑战来自任务的多样性以及移动计算设备及其底层软硬件的多样性。他指出,将一般性的普适性方法应用到不同的场景中需要适应它们各自的性质和需求。
而所谓的追求“极致效率”,在研究方面的体现就是开发下一代计算机视觉算法。
目前业界和学界基于卷积神经网络(CNN)和大数据的计算机视觉方法有比较明显的局限性,王华彦举例称,人的视觉系统只需要很少的样本就能学习一个概念,而 CNN 需要非常多的样本。这是因为人在看到一个物体的时候,对于它的形状、轮廓、纹理、颜色等属性有一个结构化的(structural)、可拆分的(compositional)表示方式,而 CNN 在“看到”一个物体的时候,这些不同方面的属性是被混合在一个“黑箱子”里面,造成了 CNN 在学习概念的时候利用样本的效率很低,因为它无法将不同的样本以比较合理的方式联系起来。
值得注意的是,在深度学习兴起之前,早期的计算机视觉方法更多的是采用这种结构化的表示方式,但并没有取得深度学习方法这样成功以及业界的广泛应用。从近些年的发展来看,王华彦认为,越来越丰富的结构化信息表示方式正在被引入到深度学习方法中,但离能够从很少的数据中高效率学习的“下一代计算机视觉算法”还有非常大的距离。
从推理计算效率方面来说,人的视觉系统在面对动态场景的时候,会将物体的属性和运动信息分离开来,并不会每时每刻都反复重新“识别”一个在运动或变形的物体。一个高效的计算机视觉系统也应该对动态信息采取类似的表示方式及推理方式,即由当前时刻物体的属性和状态自然推演下一时刻物体的属性和状态。这一过程就需要将物体的形状、纹理等各方面的属性进行一种可拆分的(compositional)表示,从而对它们分别运用对应的先验知识进行推理。
而基于 CNN 的方法由于无法将物体各方面的属性分开表示,在面对一个动态场景时,不可避免地需要进行大量冗余计算,反复重新“识别”物体及其状态。这其中很大部分的计算资源浪费都需要在一套可拆分的视觉信息表示方法下才有可能解决。
当然,AI 算法处理信息的方式和人脑还是有非常大的不同,所以他认为以上所述不能被粗暴地理解为“模仿人脑建造 AI”,而应从人的认知行为在某些特定方面的某些特性获得启发,找到目前 AI 算法潜在瓶颈以及能够提高的地方。
探索计算机视觉等 AI 前沿算法固然不错,但更常见的是,大部分实验室环境下表现优秀的算法却在实际落地到应用时不尽人意。
在王华彦看来,前沿算法由于很“前沿”,往往缺乏一个成熟的“使用说明书”。比如在 A 情形和 B 情形下应该如何 debug 等等,这往往需要有一定研究经验的算法科学家和工程师来根据具体情况分析解决方案。而学界做研究跟业界做研究一个显著的不同点在于,前者发表一篇论文往往是展示一两个新算法的成功案例,而后者的一个方法性研究工作要想成功落地,则需要一个比较流程化的描述,对各种可能遇到的情形都能够做到有章可循。在他看来,如何开发一个这样的“流程”应是算法落地的主要挑战。
9 月 6 日,2019 AI ProCon,快手硅谷实验室负责人王华岩将作为计算机视觉专题出品人做重磅演讲,详解计算机视觉算法应用的技术实例,欢迎开发者购票参会,距离5折优惠票结束还有 1 天!大会详情:
https://aiprocon.csdn.net/m/topic/ai_procon
福利时刻
入群参与每周抽奖~
扫码添加小助手,回复:大会,加入福利群,参与抽奖送礼!
大会5折优惠票倒计时 1 天! 团购还享立减优惠,倒计时 1 天!此外,伯克利大学名师精髓课程移师北京。《动手学深度学习》作者、亚马逊首席科学家李沐线下亲授「深度学习实训营」,免费GPU资源,现场还将限量赠送价值85元的配套书籍一本,先到先得。原价1099元,限时专享CSDN 独家福利价199元!识别海报二维码,即刻购票~
玩嗨的 2 亿快手“老铁”和幕后的极致视觉算法相关推荐
- 玩嗨的2亿快手“老铁”和幕后的极致视觉算法
作者 | Just 出品 | AI科技大本营(ID:rgznai100) 创立八年,短视频平台快手目前已经有超过两亿人在每天登陆使用,每天还有超过 1500 万条短视频被制作和上传,每天的累计观看数更 ...
- 快手2020校园招聘秋招笔试--算法C试卷 练习 解题报告 Apare_xzc
快手2020校园招聘秋招笔试–算法C试卷 解题报告 Apare_xzc 2020/4/10 网页链接:牛客链接 题型分布: 选择题(2分/道*20道) 编程题(15分/道*4道) 选择 ...
- 快手2020校园招聘秋招笔试--算法B试卷
四个编程题总体算比较简单,基本都在LeetCode出现过.但是我的速度太慢了,还要加油啊ヾ(◍°∇°◍)ノ゙ 牛客快手2020校园招聘秋招笔试–算法B试卷 合法数独 给定一个数独板的输入,确认当前的填 ...
- 我用python玩炉石传说(3)-----炉石卡牌套牌自动构建算法
本文共三个部分: 我用python玩炉石传说(1)-----炉石卡牌相关度分析的手动打分器 我用python玩炉石传说(2)-----炉石卡牌套牌爬取器及自动分析卡牌相关度 我用python玩炉石传说 ...
- 两个程序员造就10000亿快手!此刻,宿华身价1300亿
导读:这是一个造富的时代,也是一个创新的时代,属于程序员的时代. 2月5日,快手在港交所成功挂牌上市,一声铜锣脆响,快手开盘,随后一度涨幅达200%,总市值超1.3万亿港币. 挂盘港股的快手,股票代码 ...
- 如何玩好微信十亿流量?微趋道教你小程序推广最全攻略!
3月5日,腾讯公司董事会主席兼首席执行官马化腾在接受采访时透露,在刚刚过去的春节,微信和WeChat合并月活跃账户数超过10亿.如此巨大的流量红利,为小程序的推广提供了沃土.那么到底小程序有哪些行之有 ...
- clickhouse集群表删除_携程用ClickHouse轻松玩转每天十亿级数据更新
作者介绍 蔡岳毅,携程酒店大数据高级研发经理,负责酒店数据智能平台研发,大数据技术创新工作.喜欢探索研究大数据的开源技术框架. 一.背景 携程酒店每天有上千表,累计十多亿数据更新,如何保证数据更新过程 ...
- 趣头条基于ClickHouse玩转每天1000亿数据量
本文根据dbaplus社群第199期线上分享整理而成,文末还有直播回放~ 王海胜 趣头条数据中心大数据开发工程师 8年互联网工作经验,曾在eBay.唯品会.趣头条等公司从事大数据开发相关工作,有丰富的 ...
- 腾讯大放招,QQ空间也能发红包,一大波网友玩嗨了
无意中在空间看到好友的空间居然在发红包,然后看他的空间的关注量刷刷的猛涨,腾讯这招引流太牛了. 手机qq空间居然能发红包 当我在手机qq空间客户端去领的时候,居然提示让我下载最新版的手机qq,然后我就 ...
最新文章
- 请收藏!新型冠状病毒感染的肺炎防控知识手册.pdf
- 转载:Objective-C中的 instancetype 和 id 关键字
- python名称由来_Python的由来与使用介绍
- iOS高效开发必备的10款Objective-C类库
- winpython使用教程-如何使用Python自动控制windows桌面
- 压缩感知(II) A Compressed Sense of Compressive Sensing (II)
- 《深入理解 Spring Cloud 与微服务构建》第十三章 配置中心 Spring Cloud Config
- 浙江农林大学有计算机专业,浙江农林大学计算机科学与技术专业在职研究生
- input标签在谷歌浏览器记住密码下的一个自动填充BUG
- 无法处理文件 MainForm.resx,因为它位于 Internet 或受限区域中,或者文件上具有 Web 标记。要想处理这些文件,请删除 Web 标记...
- eduline php5.3,index.php
- 搭建vue并且实现360和谷歌浏览器对office(ntko)在线编辑工具的集成
- andriod获取带字母的iccid
- 查看电脑系统是否永久激活
- 谁若97岁死,奈何桥上等3年
- N9H30 FMI NAND controller driver for RTT
- 初中数学老师计算机培训反思,初中数学老师培训心得体会优秀范文五篇
- AffiliateWP评测 - 2020年的WordPress网站联盟营销插件
- PROTAC——靶点选择与设计 | MedChemExpress
- Data Guard参数详解