百度大脑FaceID人脸识别模型量化技术，确保算法精度无损加速一倍

随着FaceID人脸识别技术在手机、IoT等设备的普及，受能耗和设备体积的限制，端上硬件的计算性能和存储能力相对较弱，这给端上人脸识别带来了新的挑战——需要更小更快更强的模型。

为了实现FaceID人脸识别技术在移动端上更快更准的运行，量化就成为一个重要手段。量化简单来说，就是用更低比特数据代替原浮点数据，已达到缩小模型的过程。其最核心的挑战，是如何在减少模型数据位宽的同时，保证人脸识别的准确率。为了解决人脸识别速度和精度的平衡问题，就需要考虑整个人脸识别过程中的诸多因素，接下来依次阐述人脸模型量化的好处、使用传统量化面临的问题、百度FaceID人脸识别模型量化技术/量化收益、以及对不同芯片的支持情况等。

一、人脸模型量化的好处
人脸模型量化，是将以往用32/64bit表达的浮点数，用8/16bit甚至1bit、2bit等占用较少内存空间的形式进行存储。量化之后的好处是：

减少模型体积。降低模型存储空间需求，使模型更容易在端上部署。
压缩成本。降低端设备内存带宽，及数据访问功耗，使得设备运维成本降低。
加速计算。针对支持SIMD（单指令流多数据流）的设备，以128-bit 寄存器为例，单个指令可以同时运算 4个32位单精度浮点，或8个16 位整型，亦或16个8位整型。显然8位整型数在 SIMD 的加持下，运算速率要更快。在大部分ARM芯片上可以实现40%到一倍的加速。

二、人脸模型使用传统量化面临的问题：精度受损
传统的人脸识别模型量化映射方式，是将32bit浮点数转换成8bit整数，转换过程分为三种方式：

非饱和方式：将模型中浮点数正负绝对值的最大值映射到整数的最大最小值。
饱和方式：先计算模型中浮点数的阈值，然后将浮点数的正负阈值映射到整数的最大最小值。
仿射方式：将模型中浮点数的最大最小值映射到整数的最大最小值。

图片说明：红色代表非饱和方式，黄色代表饱和方式，绿色代表仿射方式

那么，使用传统的量化方式，对人脸识别模型进行量化时，无论哪种映射方式，都会受到离群点、float参数分布不均匀的影响，造成量化后识别精度损失增加。如图，由于左侧的离群点，使得量化的范围更大，让量化后的右侧数值点变的过度密集，增大了量化损失。

三、百度大脑FaceID人脸识别模型量化原理
针对人脸识别模型量化过程中的精度损失情况，百度FaceID团队通过对量化技术的研究总结，发现模型量化主要包括两个部分，一是对权重Weight量化，一是针对激活值Activation量化。同时对两部分进行量化，才能获得最大的计算效率收益。

针对模型权重Weight量化，百度FaceID人脸识别技术研究人员在做模型训练的时候，加入了网络正则化等手段，实现了让权重分布更紧凑，减少了离群点、不均匀分布等情况的发生。

针对激活值Activation量化，百度研究人员采用了一种全新的量化方法，在量化激活值之前，去掉一些离群点来降低模型量化带来的精度损失。百度提出截断式的激活函数，该截断的上界，即α 是可学习的参数，这保证了每层能够通过训练学习到不一样的量化范围，最大程度降低量化带来的舍入误差。

如上图，百度FaceID人脸识别模型的量化的方法是，不断裁剪激活值范围，使得激活值分布收窄，从而降低量化映射损失。具体量化公式如下：

通过对激活数值做裁剪，从而减少激活分布中的离群点，使量化模型能够得到一个更合理的量化scale，降低量化损失。

四、百度大脑FaceID人脸识别模型量化收益
人脸识别模型作为FaceID端人脸识别技术中体积最大、模型最耗时、对结果影响最直接的模块，如何有效的对模型进行加速的同时保证模型精度不变显得至关重要。结合百度自研的量化技术及PaddleLite预测库加速，我们实现了在RK3288 ARM芯片上有一倍的加速，同时可以保持模型精度不变。

五、百度大脑FaceID人脸识别模型量化技术对不同芯片的支持
百度FaceID人脸识别量化技术不仅在ARM系列芯片上验证有效，在不同NPU芯片上也取得了不俗效果。其中针对目前常用海思3559、RV1109两款芯片做了量化前后速度及精度对比。在不同芯片上，量化技术都能在速度及精度上取得最佳平衡，实现精度几乎不降的同时加速1倍左右。针对不同芯片做了不同模型适配，目前已支持17款芯片SDK专项适配，助力不同客户业务开发需求落地。

立即体验：

https://ai.baidu.com/tech/faceSDK

百度大脑FaceID人脸识别模型量化技术，确保算法精度无损加速一倍相关推荐

百度人脸识别人脸识别模型_当我说人脸识别很容易时，他们笑了。但是可以。...
百度人脸识别人脸识别模型 by Tirmidzi Faizal Aflahi 通过提尔米兹·法扎尔·阿弗拉希当我说人脸识别很容易时,他们笑了. 但是可以. (They laughed when I ...
最强大脑第二场战平听音神童！百度大脑小度声纹识别技术解析
from: http://geek.csdn.net/news/detail/134398 日前,继在江苏卫视<最强大脑>第四季"人机大战"首轮任务跨年龄人脸识别竞赛中 ...
帮91岁老兵圆64年终极愿望，看百度大脑的绝对实力和技术温情“DNA”
作者|震霆出品 | 新芒X 同步首发至新芒 xinmang.ai 在一瞬间,有一百万个可能--. 大家对这句歌词想必不会陌生,是在各大短视频平台上高频出现的网红背景音乐,视频内容大概率是意 ...
《预训练周刊》第67期： ChatGPT引起热议、量化技术、Meta图像掩码加速CLIP
No.67 智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息,<预训练周刊>已经开启"订阅功能",以后我们会向您自动推送最新版的&l ...
五大服务顺序_百度大脑5.0技术干货：详解飞桨五大优势，鸿鹄芯片架构细节
智东西文 | 心缘智东西7月8日消息,近日,2019百度AI开发者大会在北京国家会议中心举行.在上午的主论坛中,百度CTO王海峰带来了软硬一体的AI大生产平台--百度大脑5.0,宣布百度飞桨与华为 ...
首场百度大脑开放日来袭 | 全新开放24项AI技术
2019独角兽企业重金招聘Python工程师标准>>> 活动当天,百度AI技术生态部总经理喻友平,就百度大脑平台与生态进行了全面的详解,同时展示了百度大脑开放平台Q1核心升级内容,包 ...
百度大脑 OCR 技术加持白描 App ：让 AI 成为视障者的眼睛
现实中,你可以轻松无障碍的阅读各类平面印刷文字以及身边的一切,或许你未曾想过,视障人群该怎么办呢? 统计数据显示,中国大约有1700万的视障群体,相当于每100个人中就有超过1位是视障人士.但我们在日 ...
百度大脑OCR技术加持白描App：让AI成为视障者的眼睛
现实中,你可以轻松无障碍的阅读各类平面印刷文字以及身边的一切,或许你未曾想过,视障人群该怎么办呢? 统计数据显示,中国大约有1700万的视障群体,相当于每100个人中就有超过1位是视障人士.但我们在日 ...
可租赁、可定制的虚拟人居然还能这么玩？9月25日来百度大脑人像特效专场一探究竟！...
百度大脑自2016年启动开放以来,已打造成为业内最全面.最领先的AI开放平台,服务规模.调用量都居于业界第一. 百度大脑开放日于2019年开办,覆盖北/上/深等地区,成为众多AI开发者.合作伙伴近距离 ...

百度大脑FaceID人脸识别模型量化技术，确保算法精度无损加速一倍

百度大脑FaceID人脸识别模型量化技术，确保算法精度无损加速一倍相关推荐

最新文章

热门文章