全场景AI推理引擎MindSpore Lite， 助力HMS Core视频编辑服务打造更智能的剪辑体验
移动互联网的发展给人们的社交和娱乐方式带来了很大的改变，以vlog、短视频等为代表的新兴文化样态正受到越来越多人的青睐。同时，随着AI智能、美颜修图等功能在图像视频编辑App中的应用，促使视频编辑效率和视频效果得到了很大的提升，也让视频应用场景更加丰富。
当前剪辑产品功能多样、素材丰富，但是开发周期较长、门槛较高。为了让剪辑软件更加智能、简单易用，提升开发者的效率，HMS Core 6为开发者提供视频编辑服务（Video Editor Kit），提供视频导入、编辑、渲染、导出、媒资管理等一站式视频处理能力。除了支持完整的传统视频编辑功能，视频编辑服务还提供了诸如专属滤镜、人物追踪、一键染发等丰富的AI处理能力辅助视频创作，为用户带来更加畅快的创作灵感，打造更加智能的剪辑体验。
图1. 基于AI能力的专属滤镜、人物追踪、一键染发效果展示
多样化的智能视频处理能力是由一个个神经网络模型实现的，由于训练好的模型文件较大（单个模型大小一般为十几甚至几十兆），而手机等设备ROM和RAM空间大小有限，如何以更少的终端设备空间占用为开发者提供更丰富的智能化视频处理能力，成为移动应用视频编辑面临的一大挑战。
为解决以上挑战，HMS Core视频编辑服务选择使用华为自研AI框架MindSpore Lite进行神经网络模型推理。MindSpore Lite是一款全场景AI推理引擎，通过统一API接口支持在端、边、云的不同环境快速部署，支持HarmonyOS、Android、iOS、Windows等多种操作系统，支持Ascend、GPU、CPU（x86、arm……）等多种硬件执行。除支持MindSpore训练出的模型格式，MindSpore Lite还支持TensorFlow，TensorFlow Lite、Caffe、ONNX等第三方模型格式的转换及推理。
图2. MindSpore Lite架构图
MindSpore Lite为AI模型推理提供高性能和超轻量的解决方案：通过高效的内核算法和汇编级优化，以及CPU、GPU、NPU的异构调度，可以充分发挥硬件算力，实现最小化推理时延和功耗；提供模型量化压缩技术，采用训练后量化（Post-Training Quantization, PTQ），无需数据集即可直接将权重数据从浮点型映射到低比特的定点数据，有效降低模型大小，助力AI模型在资源受限环境下的部署执行。
图3. 量化技术原理介绍
针对权重数据的量化支持固定比特量化和混合比特量化两种形式。固定比特量化采用Bit-Packing的方式，支持1-16任意比特的权重量化，满足用户在不同压缩场景下的要求，同时针对模型量化后的数据分布情况，自动选择合适的编码策略进行压缩编码，从而达到最优的压缩效果。
图4. 固定比特量化压缩
混合比特量化根据神经网络不同层对量化损失的敏感度不同的特点，采用均方误差作为优化目标，自动搜索出最适合当前层的比特位，在保证精度的同时实现更大的压缩率。同时针对量化后的模型，采用有限状态熵(Finite State Entropy, FSE)对量化后的权重数据进行熵编码进一步压缩，实现对模型的高效压缩，提升模型传输速率和减少模型存储空间。
图5. 混合比特量化压缩
除此之外，量化时还会采用Bias Correction的方式，最小化其量化误差。Bias Correction会根据权重数据固有的统计学特性，反量化时对其进行校准，使权重值量化前后具有相同的期望和方差，能够大幅度提高模型精度。
视频编辑服务中的AI模型采用MindSpore Lite提供的混合比特量化方式，最终在保证精度的同时达到了平均5x+的模型压缩效果，例如一键染发的模型从原来的20.86M压缩到3.76M，有效解决了模型过多、文件过大导致的部署困难问题。
图6. 视频编辑模型量化效果（来源于MindSpore Lite实测数据）
通过对AI模型的量化压缩，在ROM空间占用不变的前提下，保障剪辑产品可以部署更多的AI模型，充分发挥AI能力来提供更多的特效应用场景，使得剪辑功能更加强大、更加智能。华为官方剪辑软件花瓣剪辑在接入视频编辑服务能力后，用户可通过使用专属滤镜、人物追踪等AI视频剪辑功能（部分特性随花瓣剪辑App升级陆续开放），让视频剪辑更便捷和更富有趣味性。
MindSpore Lite致力于打造高性能、超轻量级的全场景 AI引擎，除高性能内核算法及硬件异构调度、量化压缩之外，还提供端云协同的一站式训练和推理能力。HMS Core视频编辑服务基于MindSpore Lite，助力开发者打造更加易用且智能的剪辑工具。
欲了解更多信息，欢迎访问官网
华为开发者联盟HMS Core官网
MindSpore官网
MindSpore开源社区
全场景AI推理引擎MindSpore Lite， 助力HMS Core视频编辑服务打造更智能的剪辑体验相关推荐
- 超轻量AI推理引擎MindSpore Lite新版本发布，支撑HMS Core AI领域全面升级
华为在20年9月份开源了MindSpore Lite 1.0.0版本之后,其接口易用性.算子性能与完备度.第三方模型的广泛支持等方面,得到了众多手机应用开发者的广泛认可.MindSpore Lite为 ...
- 刚刚，华为全场景 AI 计算框架MindSpore正式开源！国产深度学习框架的春天来了！...
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 此前,我们刚刚报道了旷视科技在3月25日开源深度学习框架 MegEngine ,3 ...
- 华为全场景AI计算框架MindSpore正式开源，赋能开发者昇腾万里
[中国,深圳,2020年3月28日]今日,在华为开发者大会2020(Cloud)第二天,华为宣布全场景AI计算框架MindSpore在码云正式开源,企业级AI应用开发者套件ModelArts Pro在 ...
- 华为正式宣布全场景AI计算框架MindSpore开源 降低AI开发门槛
今日,在华为开发者大会2020(Cloud)第二天,华为宣布全场景AI计算框架MindSpore在码云正式开源,企业级AI应用开发者套件ModelArts Pro在华为云上线.华为全栈全场景AI解决方 ...
- HMS Core音频编辑服务3D音频技术，助力打造沉浸式听觉盛宴
2022年6月28日,HDD·HMS Core.Sparkle影音娱乐沙龙在线上与开发者们见面.HMS Core音频编辑服务(Audio Editor Kit)专家为大家详细分享了基于分离的3D音乐创 ...
- HMS Core音频编辑服务音源分离与空间音频渲染，助力快速进入3D音频的世界
从单声道.立体声.环绕声发展到三维声,音频回放技术的迭代演进是为了还原真实世界的声音.其中,三维声技术使用信号处理的方法对到达两耳的声音信号进行模拟,将声场还原为三维空间,更接近真实世界.凭借这个技术 ...
- 什么是全场景AI计算框架MindSpore？
摘要:MindSpore是华为公司推出的新一代深度学习框架,是源于全产业的最佳实践,最佳匹配昇腾处理器算力,支持终端.边缘.云全场景灵活部署,开创全新的AI编程范式,降低AI开发门槛. MindSpo ...
- HMS Core AR Engine 2D图片/3D物体跟踪技术 助力打造更智能AR交互体验
AR技术已经被广泛应用于营销.教育.游戏.展览等场景.通过2D图像跟踪技术和3D物体跟踪技术,用户只需使用一台手机进行拍摄,即可实现海报.卡牌等平面物体以及文物.手办等立体物体的AR效果.尽管近年来2 ...
- 华为发布最强 AI 处理器昇腾 910，全场景 AI 框架 MindSpore 将开源
整理 | 胡巍巍 好巧呀好巧,前几天刚参观完华为北京研究所,一睹昇腾310 AI处理器的真容,今儿个昇腾910就来了. 昇腾310 AI处理器,摄于华为北京研究所 8月23日,华为正式发布AI处理器A ...
最新文章
- Metasploit（一）--Meterpreter的命令速查表
- window,windowManager --《android 艺术探索读书》笔记
- 【NLP】Prompt Learning-使用模板激发语言模型潜能
- Sql server日期函数操作
- 电开大计算机应用基础作业,2016年电大-电大计算机应用基础作业 答案.doc
- ACM/ICPC 之 四道MST-Prim解法(POJ1258-POJ1751-POJ2349-POJ3026)
- windows编程 识别拖动_五步学会任何编程语言 | Linux 中国
- linux salt命令 -e,Linux记录-salt命令
- 常用的织梦（dedecms）调用标签
- 拓端tecdat|matlab递归神经网络RNN实现：桨距控制控制风力发电机组研究
- dnn神经网络_Facebook AI新研究：可解释神经元或许会阻碍DNN的学习
- Kotlin typealias属性
- 如何开始做股票量化交易？
- 金三角图形c语言,升哥学堂 | 实战均线形态——“金三角”
- 32位计算机64位计算机实质,4G内存电脑安装32位还是64位win7系统？实际详细性能测试！...
- 我国历史上各个朝代的都城
- apk文件以及打包流程
- CodeForces - 140C-New Year Snowmen
- tensorflow中sigmod激活函数
- ROS自主驾驶割草机