大家好,今天开设新的专栏《AI产品》,在这个专栏中,我们将以产品体验为主,简单剖析背后的核心技术,这是一个更加贴近工业实践的专栏。

今天就体验抖音基于计算机视觉技术实现的几项高大上的功能,希望可以加深大众对计算机视觉技术及人工智能产品进程的认知。

作者 | Luna

编辑 | Luna

抖音提供的功能很多,照片视频处理都不在话下,搞笑如各式贴纸、妆容术、换头换脸、图像风格迁移等,浪漫如“吹蒲公英”,严肃如后台的“鉴黄”,以下对抖音里与计算机视觉相关的产品功能点进行体验与分析。

美丑胖瘦收放自如

不管有没有玩过抖音,大家或多或少都在朋友圈或微博看见过如下类似的搞笑照片。

所以,大家应该就更加能理解,为什么这么多人每天活在抖音里“醉生梦死”,因为比起苦难的生活,这里真的比较轻松有趣对吧?

这些看似搞怪的图片,在抖音里实现起来其实很简单。其基本流程如下:打开抖音app,点击屏幕正中间的“+”按钮,进入照片/视频模块,选择道具图标,然后在图标工具库中选中自己想要的效果,则人在画面中的成像,就可以开始各种作妖,尤其是眼睛、眉毛、嘴巴、鼻子等脸部主要关键部位,可发生明显变形,打造出各种连亲妈都难以辨认的形象。

如图,是抖音道具图标的极小部分截图,从中也可以感受到整体功能设计呈现出多样性、娱乐性、趣味性的效果。

任何产品的功能设计,其定调都紧紧围绕着产品的目标用户,抖音主要的目标用户群体定位为90后追求潮流个性的年轻人,而这类人群喜欢刺激、渴望表达,但又相对情绪化,所以他们具有观看或发布新鲜内容以打发无聊时光及获得表达自我价值的需求。

为了更好地满足用户的上述需求,抖音提供变美、变丑、变瘦、变胖等功能,使得年轻人的互动被极大地多元化,且整个操作的过程成本极其低廉、步骤也十分简单。

点击边框调出视频工具条

小视频里的人,不仅脸部发生了变形,同时头顶灵活的“蝴蝶结小辫儿”也很生动、形象,体验的过程充满乐趣,对于很多抖音用户而言,他们十分乐意去探索这样多面搞怪的自己。

同时,由于抖音平台本身的算法优势,功能的实时响应性能也很优秀,基本只要脸一进入画面,立马就能实现拉伸和变形,用户基本感受不到延时,体验十分流畅。

这进一步体现,抖音的成功,更多的是因为他们擅长于结合技术,以更轻松的方式解决年轻人的需求痛点,抓住大部分用户的心。

上述脸部变换的功能主要基于人脸关键点检测技术实现,该技术通过定位脸部关键部位,并在关键部位上对像素点进行变换,达成各种不同的效果。人脸关键点检测技术也被广泛地应用于直播及短视频,如网易的游戏直播、YY直播等,基于该技术衍生出了很多有趣的功能,带给用户越来越新奇刺激的体验。

技术关键词:人脸关键点检测。

换头不是梦

上一项功能只是变形,抖音里还有更神奇的技能。

为了实现如上“换头”效果,同样地其制作流程为:启动抖音来到拍摄页面,选中“狗头”或“猪头”图标,则画面中自己的脸部就会被完全遮蔽。同时,如果用户眨眼或张嘴,会看到画面中的相同部位同步变换,体验还是挺新奇的。

该项功能进一步提升了对年轻用户的刺激感,因为对某些用户而言,他们一方面想要寻求刺激、内心具有有强烈的表达自我的意愿,但同时又不可避免地想要制造一定的神秘感,或用户本身略带羞涩感,而这一功能正好满足了这部分的需求。

点击边框调出视频工具条

小视频里眨眼的猪头十分憨萌,用来撒娇应该百试百灵吧。

那么,到底是什么样的技术,可以如此精准地定位并恰到好处地实现“偷梁换柱”呢?

实质上,该项功能的实现主要应用了图像语义分割技术。具体地,抖音通过对人体进行语义分割,获得人体各个部位如头、脸、手、脚的位置及标签,并通过用户选定的工具模板,将对应部位替换,实现最终的“换头”。相比目标检测而言,图像语义分割是精确到像素点的分类,因而替换的过程看起来也更加地智能和精准,用户体验更佳。

但体验中发现不足的是,或许是算法分割准确率的问题,尝试张开嘴巴时,随之张开的却不是头像里狗的嘴巴,而是自己的血盆大口,而有些道具在使用中就不会出现类似情况,这可能也是当前产品的一个小Bug。

技术关键词:图像语义分割。


想要的风格全都有

计算机视觉里比较热门的图像风格迁移技术,在抖音里也有所体现。

如图所示,上述功能实现的流程为:启动抖音app进入拍摄页面后,在道具库中选中白色的素描花朵图标,随后对输入的键盘画面即可进行风格的实时变换。原来低调科技风的键盘,瞬间变成了漫画素描式风格。

同样地,也可以实现对人像的风格变换,看到自己的脸在画面里变成“漫画脸”,感觉也挺有意思的。

基于图像风格迁移,还可以实现妆容变换。如图,是抖音里的一个贴纸妆的效果,通过妆容的迁移,用户本身可能不带妆,但清晰可见画面中眼线、眉毛、嘴唇都被化上相应的妆容,且效果自然贴切。同时妆容切换只需要重新点击选中另一个图标即可,可以很好地帮助那些小仙女用户实现快速变妆拍照。

该项功能主要是为了迎合部分追求文艺风格的用户及大部分爱美女性用户的需求,试想若一个产品可以使得用户以超低的成本,随时体验自己不同风格的美,极大地满足用户的虚荣心,则该产品的用户黏度会越来越高。

但是同时体验中也有一个感受是,有些功能存在相近或冗余,比如之前大火的所谓控雨术,在体验中发现并没有什么“控制的效果”,同时对于道具的分类也不是十分清晰,有点混乱,可能也是由于功能选项实在是太多了。

技术关键词:风格迁移。

带心爱的她去吹“蒲公英”

大家觉得程序员都是呆板、木讷的,然而抖音程序员实现的“蒲公英”功能却可以说是相当浪漫了。

如图所示,该功能的基本流程逻辑为:启动抖音app来到拍摄页面后,选中“吹蒲公英”工具图标,画面里就可以看到有几株漂亮的蒲公英,用户只需要对着屏幕,张大嘴巴做吹气状,则画面里的蒲公英就会像真的蒲公英一样四处散开,营造出一种唯美的意境。

该功能是抖音独创,有了它,你就可以带心爱的她天天吹蒲公英了。

点击边框调出视频工具条

小视频“吹蒲公英的现场”,整个画面感很真实,甚至于相比大自然的真实场景,更加美好。

而且由于是虚幻的,蒲公英永远都吹不完,这应该戳中了许多抖音小仙女的心。

而提出该项功能需求点的初衷,一方面是为了满足平台用户少女的浪漫情怀,而另一方面也是为了帮助单身男青年实现低成本“求偶”。同时这也进一步强化了抖音音乐化、文艺化的定位和格调。

“蒲公英”功能的实现,主要采用了人脸表情识别技术。但是在该项功能中,体验不足的是,用户只有将人脸放置在屏幕正中间,蒲公英的吹散效果才比较好,而且通常都是检测到动作后,一旦触发,就会把屏幕中所有的蒲公英都吹散开,没有办法实现单独吹某一朵蒲公英的行为,可能是当前算法在实际运用中,仍无法十分精准定位和检测的缘故吧。


不可否认,抖音的成功还在于,它通过冰冷的技术,创造性地为用户带来了暖心的情怀和浪漫,这也是值得许多人工智能产品借鉴的一种精神。


技术关键词:表情识别。


时刻睁大的“鉴黄”双眼

自直播、短视频应用兴起后,各种监管问题层出不穷,而对于抖音而言,用户生成的内容是海量的,基于此,抖音在用户看不见的后台,采用了基于深度学习的“图像分类”技术对用户上传的图片、视频资料进行智能监管。

在训练鉴黄系统的过程中,输入如图所示的大量训练数据,并且这些数据都携带有对应标签,标签值标明了该图片是否属于黄色图片范畴。则模型通过学习并“记住”黄色图片的特征,并在面临新的输入图片或视频时,提取相应特征后,结合学习的经验判断,该图片属于属于黄色图片的概率,最终分类概率高于一定阈值的内容会被标记敏感选项,需进行二次分流检测或人工鉴别。如此对图片/视频资料进行分类筛选,以保证内容的健康性。

在体验时也发现,相较其它短视频或直播类的平台,抖音的整体环境的营造以及内容的调性相对优良,色情、暴力及敏感内容较少,则抖音背后强大的算法技术功不可没。

抖音属于头条系产品,在算法的性能及应用上本身就具有一定的优势,假以时日,一定可以推动鉴黄算法朝着自动化及智能化更上一层楼。

技术关键词:图像分类。

总结

我们都可切实地感受到,计算机视觉技术已不仅仅停留在理论层面,而是落地到许多产品中,为用户带来了许多活力与惊喜,人工智能正不知不觉地慢慢改变人类的生活。作为计算机视觉的从业或爱好者,也应当保持对行业产品动态的持续关注~

本周直播(点击图片跳转)

今日看图猜技术

有三AI生态

更多精彩内容请关注知乎专栏《有三AI学院》

转载文章请后台联系

侵权必究

往期精选

  • 【完结】听完这12次分享,你应该完成了AI小白的蜕变

  • 【完结】12篇文章告诉你深度学习理论应该学到什么水平

  • 【技术综述】一文道尽softmax loss及其变种

  • 【技术综述】闲聊图像分割这件事儿

  • 【技术综述】万字长文详解Faster RCNN源代码

  • 【技术综述】基于弱监督深度学习的图像分割方法综述

【AI产品】产品小姐姐分析抖音背后的计算机视觉技术相关推荐

  1. 追求极致,揭秘抖音背后的RTC技术

    点击上方"LiveVideoStack"关注我们 直播.社交.在线教育等行业催生了实时音视频技术(RTC) 的兴起和发展.反过来, RTC 的发展和应用也为这些行业带来了巨大的增长 ...

  2. 如何结合爬虫与自动化,帮助小姐姐刷抖音完全解放掉双手

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者:星安果 AirPython PS:如有需要Python学习资料的小伙 ...

  3. 卖减肥产品如何拍视频引流?无论您销售哪种产品,都可以通过抖音引流

    卖减肥产品如何拍视频引流?无论您销售哪种产品,都可以通过抖音引流 今天与您分享的标题是:卖减肥产品如何拍视频引流?如果您遇到了您不了解的操作,而您遇到的问题仍未解决,那么您也可以获得实用学习材料. 抖 ...

  4. 抖音带货什么产品都能带吗,抖音快手直播卖货技巧!

    直播带货被认为将是未来电商的趋势,随着抖音快手持续火热,基本上国内网民都已经接受了直播带货的现象,随着初始新鲜感的过期,很多人也看到了直播带货中的一些问题,比如造假严重,观看人数几十万,销量只有两位数 ...

  5. 【AI研究院】头条与抖音背后的AILab怎么样

    文章首发于微信公众号<与有三学AI> [AI研究院]头条与抖音背后的AILab怎么样 今天带大家认识一下抖音背后的研究院--字节跳动AI实验室 01简介 字节跳动人工智能实验室,即 Byt ...

  6. Python分析抖音用户行为数据,看看发什么样的视频才会爆!

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python分析抖音用户行为数据视频讲解地址 https://www.bilibili.co ...

  7. 【品牌专场】抖音背后的视频体验分析体系与优化技术揭秘

    LiveVideoStackCon 2022 音视频技术大会 北京站将于3月31日至4月1日在北京丽亭华苑酒店召开,本次大会「火山引擎」品牌技术专场重磅加盟,火山引擎视频云团队基于抖音亿级DAU实践, ...

  8. 武汉新时标文化传媒有限公司:从用户体验的角度分析抖音

    抖音的受众很广,又很简单:很多人都有用起抖音来就停不下来的感受,抖音为何如此"魔性"?我很好奇,于是想从用户体验的角度去分析抖音:所以我把第四期的分析对象放在了抖音身上. 如今短视 ...

  9. 分析抖音大V视频,可视化显示数据,看看大家都喜欢哪些视频?

    本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 以下文章来源于法纳斯特 ,作者小F 前言 最近,小F在知乎上看到一个关于抖音的问题. 里面提到了, ...

最新文章

  1. win7怎么修改oracle登陆密码,win7账户密码如何修改|win7修改账户密码的详细步骤...
  2. Spring Cloud基础教程
  3. 畅想(2)-计算机发展与教育的关系
  4. Integer类的toBinaryString源码分析
  5. 储粮过冬?消息称中芯国际大举向设备、零件商囤货
  6. 用友ERP-U8执行完成流程小记
  7. OAuth1.0a的使用例(RFC5849 1.2节的中文翻译)
  8. 如何从字符串生成流?
  9. C++ 基类指针和派生类指针之间的转换
  10. 服务器过载或维修,服务器过载怎么解决
  11. maven仓库清理缓存文件(dos工具)
  12. 攻防世界logmein
  13. 7-24 猜数字游戏 (15分)
  14. Lua不同类型变量做比较时的问题
  15. 响应式织梦模板品牌设计建设类网站
  16. access查找出生日期年份_access中时间日期查询的一些总结
  17. 特斯拉“翻脸”,拼多多“翻车”
  18. 向量距离、随机变量相关性与概率分布的差异度量
  19. 个人小程序智能对话查询工具完整代码分享--快递、身份证、词典、诗词等
  20. 三线和bgp选哪个好?如何正确的选择适合服务器

热门文章

  1. 带你学python基础:函数是个function?
  2. Java基于百度API的图片文字识别(支持中文,英文和中英文混合)
  3. c语言股票最大收益_金斧子股票配资:股票配资的时候有哪些事项需要注意呢...
  4. (JavaWeb)IDEA中JDBC的使用
  5. 面试官:谈谈Redis缓存和MySQL数据一致性问题
  6. Android挂载以点号(.)开头的文件夹或是文件
  7. 使用VScode开发C语言程序,环境安装配置,保姆级教程
  8. 深究AngularJS——下拉框(selected)
  9. php 隐式路由,关于Laravel 7 的简单隐式路由模型绑定
  10. manual php,PHP - Manual: 介绍 (官方文档)