超硬核！华为智慧屏上的家庭相册竟可以自动精准分类？

MindSpore Lite是MindSpore全场景AI框架的轻量级AI引擎，本文介绍MindSpore Lite在华为智慧屏上的应用，与传统电视相比，智慧屏除了可以观看电视节目外；还可以联网观看海量视频，语音控制家里的智能家电等，帮助您轻松开启智慧生活。智慧屏不仅是家庭的影音娱乐中心，更是信息共享中心、控制管理中心、多设备交互中心，及家庭的智慧生活控制中心。本文是MindSpore 人工智能技术应用系列第四篇，也欢迎您发布基于MindSpore的应用。

华为智慧屏参考图

01 使用MindSpore Lite的优势

极致性能

高效的内核算法和汇编级优化，支持CPU、GPU、NPU异构调度，最大化发挥硬件算力，最小化推理时延和功耗。
轻量化

提供超轻量的解决方案，支持模型量化压缩，模型更小跑得更快，使能AI模型极限环境下的部署执行。
全场景支持

支持iOS、Android等手机操作系统以及LiteOS嵌入式操作系统，支持手机、大屏、平板、IoT等各种智能设备上的AI应用。
高效部署

支持MindSpore/TensorFlow Lite/Caffe/Onnx模型，提供模型压缩、数据处理等能力，统一训练和推理IR，方便用户快速部署。

02 AI应用在智慧屏上部署的挑战

当部署一个AI 应用到手机，智慧屏，音箱等终端设备上，在App使用过程中出现非预期效果时，比如人脸识别出错，语音识别不准，图片分类出错，个性化搜索推荐等，用户可能想到AI 应用背后的深度学习模型能否在线学习的方式使得深度学习模型更加准确，不会再次出现上述识别或者分类错误。神经网络本地基于用户数据在线学习或者在线训练更新，实现千人千模，能有效提升深度学习模型的预测准确率，实现更加准确的人脸、语音识别或者照片分类，更加精准的广告推荐，显著提高用户个性化体验。同时，用户数据不需要离开设备，很好的避免了数据外发泄露导致的用户隐私和安全问题。

随着AI模型小型化技术如NAS，剪枝、量化等，越来越成熟，以及端侧设备的算力(POWER)和物理存储(ROM/RAM)的增长，AI模型大小突破了端侧设备算力和存储等硬件资源的限制，在端侧进行神经网络学习，如迁移学习，小样本学习，增量学习，联邦学习等已成为可能。

03 MindSpore的方案

为了方便开发者，MindSpore Lite 开发了一套轻量化的端侧训练框架，并对外提供丰富、简单、易用的c++和java API。

动静态内存复用：算子间和算子内的两层复用，内存消耗更小；
混合精度训练：节省训练内存的同时提升训练速度；
训练中止和恢复：端侧设备硬件资源有限且业务繁多，端侧训练消耗硬件资源多，因此灵活的训练业务中止和恢复十分必要。
梯度的获取和覆盖：针对联邦学习，通常需将本地模型梯度经加密后发送到到云侧汇聚平均，然后重新分发梯度给各边缘设备，实现各端边缘侧数据特征共享，因此开放梯度的读写操作接口有助于用户构建开发应用；
迁移训练接口：针对迁移学习和增量学习，一般需独立构建backbone网络和head网络，训练时固定backbone网络，只对head网络finetune。因此MindSpore Lite 方便用于使用，对外提供了接口，backbone和head 网络的拼接由MindSpore Lite 训练框架来完成。
在线的训练后量化：端侧对模型大小的存储空间比较敏感，因此MindSpore 提供了在线的高精度权重量化方法，在保存训练模型或者推理模型时可对模型权重进行8bit压缩，轻松实现模型大小变小4x，缓解端侧存储压力；
丰富的优化器：Adam，SGD，MSE等；
丰富的ModelZoo: 支持了MobileNetV1/V2/V3, efficientNet, googleNet, denseNet, shuffleNet, tinyBert, yoloV3网络端侧训练；

华为智慧屏家庭相册功能致力于打造智慧家庭相册，利用超大屏幕和超高音质的视觉和听觉效果，追忆美好时光。

由于智慧屏的照片来源十分广，时间跨度大，照片质量参差不齐，比如儿童成长过程外貌特征变化大，云侧训练端侧推理部署形态易导致误分类。

作为打造高质量用户体验的家庭相册，需要有在线纠错能力，能感知误分类信息，实现分类越来越准。

此外，家庭相册内置相册主题有限，比如婚礼，运动，聚餐，美食等，需满足用户新增自定义相册主题诉求并准确分类。

MindSpore Lite通过小样本学习算法，基于少量误分类用户数据，实现模型算法在线更新，越用越准，此外通过增量学习算法，在确保已有内置相册主题准确率的同时，用户可自定义新增主题分类，突破传统预置主题分类限制，生活场景全覆盖。

04 总结

MindSpore Lite端侧训练能力已落地智慧屏、广告推荐等业务。在个人数据隐私和安全日趋重要的时代，基于用户数据本地个性化学习是端侧AI越来越重要的能力，MindSpore Lite 致力于持续构建优化轻量化的高效端侧训练框架，与开发者共同构建安全和谐的AI社会。

MindSpore官方资料

GitHub : https://github.com/mindspore-ai/mindspore

Gitee : https : //gitee.com/mindspore/mindspore

官方QQ群 : 486831414