目标追踪拍摄?目标遮挡拍摄?拥有19亿安装量的花瓣app,究竟有什么别出心裁的功能如此吸引用户?
MindSpore Lite是MindSpore全场景AI框架的轻量级AI引擎,本文介绍MindSpore Lite在19亿安装量的视频编辑软件花瓣剪辑上的应用,是MindSpore 人工智能技术应用系列第三篇,也欢迎您发布基于MindSpore的应用。
01
使用MindSpore Lite的优势
极致性能
高效的内核算法和汇编级优化,支持CPU、GPU、NPU异构调度,最大化发挥硬件算力,最小化推理时延和功耗。
轻量化
提供超轻量的解决方案,支持模型量化压缩,模型更小跑得更快,使能AI模型极限环境下的部署执行。
全场景支持
支持iOS、Android等手机操作系统以及LiteOS嵌入式操作系统,支持手机、大屏、平板、IoT等各种智能设备上的AI应用。
高效部署
支持MindSpore/TensorFlow Lite/Caffe/Onnx模型,提供模型压缩、数据处理等能力,统一训练和推理IR,方便用户快速部署。
02
花瓣剪辑和MindSpore Lite的结合
如今手机强大的拍照、摄影功能丰富了大家的日常社交,通过照片、短视频来记录自己的生活,分享美好。照片和短视频趣味性玩法极大刺激了用户对照片和视音频剪辑的诉求,华为2021年推出花瓣剪辑App。花瓣剪辑APP作为一款全新的视频编辑软件,应用华为前沿AI技术,以MindSpore Lite作为AI引擎为视频创作与剪辑爱好者提供强大的视频编辑功能, 如目标追踪拍摄、目标遮挡拍摄、智慧滤镜、分离音轨等功能,让用户拍得精彩,剪得更精彩。更多花瓣剪辑介绍见这里
(https://consumer.huawei.com/cn/mobileservices/petalclip/)
花瓣剪辑的每个功能背后都有若干个深度学习模型在使能,粗略统计滤镜,头发分割,目标跟踪,头发染色,人像分割,伴奏分离这几个功能用到的模型大小已经超过200MB, 不仅给App 上线带来困难,而且占用用户更多的网络带宽与手机物理存储资源。如何让这些AI算法在终端设备上高效执行呢?
03
神经网络后量化技术应用
说到模型小型化,我们肯定会想到量化技术,随着物联网的兴起和移动设备的普及,越来越多的AI应用部署到边缘设备和移动设备,硬件资源的限制给深度神经网络在这些端侧设备上的推理性能和效率带来了不小的挑战。另一方面,为了满足各种AI应用的要求,深度神经网络正在往结构更复杂、参数更多的方向发展,复杂的网络固然具有精度优势,但巨大的存储空间(ROM)和计算资源(RAM/POWER)消耗也使其难以在端侧设备上进行应用和部署。
模型压缩就是应对该类问题衍生出的技术之一。通过对神经网络模型量化,将模型权重或激活用8bit或者更低bit位表示, 能够有效减少模型大小,从而降低对端、边缘侧设备部署时物理存储空间、算力等硬件资源的要求,实现基于深度神经网络的AI应用在端边缘侧设备上广泛部署。
由于神经网络不同层的参数规模不同,信息冗余程度不同,因此对量化损失的敏感度也不同。一种直观的想法是:对损失敏感度较高的层用更高的比特位表示,将损失敏感度较低的层用更低的比特位表示。MindSpore Lite引入量化误差损失函数作为目标优化函数,根据神经网络的数据分布情况,自动搜索当前层量化精度损失最小的比特位,能够有效在压缩率和精度之间达到细粒度的trade-off,同时结合biasCorrection,对量化模型精度损失进行补偿校正,最后采用无损稀疏压缩编码,如有限状态熵(FSE), 稀疏值压缩,稀疏索引压缩等,对模型进一步压缩。
MindSpore Lite 已经在1.5版本开源了混合bit量化压缩功能,用户不需要模型重训,一键转换使用简单,即可实现最大压缩率。通过混合bit量化技术,花瓣剪辑中使用的各类AI模型均已实现了5x+压缩率,像人像分割网络的压缩率更是高达51x,而量化模型精度损失很少甚至接近无损。
最新花瓣剪辑版本已经在华为P50/Nova以及鸿蒙OS等系列手机中发布,其中智慧滤镜和分离音轨等AI能力是两个非常受用户青睐的实用功能。如果是非专业用户,视频剪辑、调色等后期处理会很麻烦,复杂的颜色参数完全不是普通用户能轻松搞定的。如果想让视频整体变成复古风格怎么办呢?用智慧滤镜轻松搞定。此外,剪辑时还能将视频与音频分离,换成用户喜欢的音频主题风格,实现更加炫酷的视频效果。
基于MindSpore Lite 后量化压缩技术的AI剪辑能力也会随着后期的版本不断呈现给音视频编辑爱好者,让视频创作拥有更多可能性。
04
总结
MindSpore Lite 神经网络后量化功能因为高压缩率,高精度,且简单易用,不仅在华为花瓣剪辑上大量应用,同时在华为智慧屏,智能音箱、蓝牙耳机、打印机等众多华为IOT设备上都有它的身影。神经网络模型量化压缩对于AI模型部署端边缘侧设备十分关键,MindSpore Lite 致力于追求更高效的量化压缩技术,助力更多的IOT AI 业务蓬勃发展。
本文作者在MindSpore社区从事相关AI工作,欢迎您扫码加入QQ群,与数千MindSpore开发者一起交流,用MindSpore赋能千行百业,点亮您的智慧生活。
MindSpore官方资料
GitHub : https://github.com/mindspore-ai/mindspore
Gitee : https : //gitee.com/mindspore/mindspore
官方QQ群 : 486831414
目标追踪拍摄?目标遮挡拍摄?拥有19亿安装量的花瓣app,究竟有什么别出心裁的功能如此吸引用户?相关推荐
- 绿洲因涉嫌抄袭下架;Facebook 泄露 4.19 亿条用户数据;Go 1.13 发布 | 极客头条...
快来收听极客头条音频版吧,智能播报由标贝科技提供技术支持. 「CSDN 极客头条」,是从 CSDN 网站延伸至官方微信公众号的特别栏目,专注于一天业界事报道.风里雨里,我们将每天为朋友们,播报最新鲜有 ...
- OpenCV视频学习笔记(19)-项目实战-目标追踪
十九.项目实战-目标追踪 步骤: 导入代码: 配置图片/视频参数,以及要使用的OpenCV中的算法(kcf算法): 可执行单任务单目标/多任务多目标的追踪: Multi_object_tracking ...
- OpenCV目标追踪
© Fu Xianjun. All Rights Reserved. 目标跟踪任务分类 单目标跟踪 - 给定一个目标,追踪这个目标的位置. 多目标跟踪 - 追踪多个目标的位置 Person Re-ID ...
- 2021综述:一般目标检测中的遮挡处理
目录 综述:通用对象检测中的遮挡处理 1.简介 2.目标检测的应用 3.数据集 4.户外场景的遮挡处理 A.数据收集 B.遮挡检测 C.生成遮挡区域 D.遮挡目标检测 5.室内场景中的遮挡处理 A.场 ...
- 【Opencv】目标追踪——高斯混合模型分离算法(MOG)
文章目录 1 环境 2 效果 3 原理 4 代码 1 环境 Python 3.8.8 PyCharm 2021 opencv-python 2 效果 3 原理 视频图像中的目标检测与跟踪,是计算机 ...
- 目标检测+目标追踪+单目测距(毕设+代码)
更多视觉额自动驾驶项目请见: 小白学视觉 自动驾驶项目 项目成果图 现推出专栏项目:从图像处理(去雾/去雨)/目标检测/目标跟踪/单目测距/到人体姿态识别等视觉感知项目---------------- ...
- 据我所知,这是第一个完整实现运动分割、动态目标追踪等的「开源」动态SLAM系统!...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 今天给大家分享一篇最新文章,VDO-SLAM :一种动态目标感知的视觉SLAM系统,原文名称 VDO- ...
- ECCV 2020 GigaVision挑战赛“行人和车辆检测”和“多目标追踪”冠军方案解读
本文转载自DeepBlue深兰科技. 日前,全球计算机视觉顶会ECCV 2020落下帷幕,各项挑战赛的结果也尘埃落定.深兰科技DeepBlueAI 团队包揽了首届GigaVision挑战赛" ...
- 树莓派小车实现目标追踪(coco数据集,gluoncv,树莓派和PC信息交互)
目录 一.原理图 二.硬件介绍及成果展示 三.pc端操作及关键源码 3.1接收树莓派发来的图片 3.2处理接收到的图像 3.3将结果(txt)发回给树莓派 四.树莓派端操作及关键代码 4.1 截图,并 ...
最新文章
- Visual Basic 2005 - 如何将色彩字符串转换成 Color 结构
- 51nod 1087 1 10 100 1000
- Android OpenGL ES 2.0绘制简单三角形
- csv python 图片 存_Python|任意网页中的所有网址的保存
- be sure to bring water with you while studying
- 遇到attemp to invoke virtual method
- shiro 的 @RequiresPermissions 注解使用
- python 批量读取xlsx并合并_如何用Python快速导入多个excel文件并合并文件数据
- 计算机软件及其软件系统,计算机软件系统课件
- 正则表达式替换和不包含指定字符串
- PHP递归删除目录及目录下的文件
- Network in Network 算法解析
- 本地环境测试二级域名
- linux中可以使用-af含义,关于Windows中的linux:AF_UNIX
- 父与子学编程python_Python入门《父与子的编程之旅第2版》+《教孩子学编程Python语言版》...
- L298N芯片驱动电机
- 五大常用算法之回溯法
- idea 快捷键大全(全网最详细)
- 电视盒子刷鸿蒙系统,家里的智能电视能装鸿蒙系统吗?鸿蒙系统有哪些优势?...
- 西直门立交桥的破事儿