手机端部署的超分机器学习模型-MobiSR
背景
超分（Super-Resolution），本文简称为SR，指的是通过深度学习模型让低分辨率的图像变成高分辨率。超分这个概念其实由来已久，今天主要介绍下端侧超分，重点讲的是手机端的超分。主要是参考了《MobiSR: Efficient On-Device Super-Resolution through Heterogeneous Mobile Processors》这篇文章。
超分模型的理论基础，这件事为什么能做其实很关键。CNN模型如下图可以构建出一套数学模型，使得在以PSNR、SSIM等指标作为评估的时候，构建出输入低分辨率图片并产出高分辨率图片的一个通路，这使得超分这个概念在逻辑上是成立的。
端侧部署模型的收益
既然SR可以做成一个模型的预测过程，一定是受限于计算资源的，为什么一定要做到端侧。
收益主要是几点：
- 1.时延性，端侧时延会很低，近乎于0
- 2.数据隐私性，应用不用把数据上传到服务器，而直接在端侧做预测
- 3.计算资源的节约，把云端服务器的成本转嫁到计算力越来越突出的手机端
在端侧部署模型，主要解决的问题有两个：
- 模型的尺寸，不会有APP允许一个超大规模的模型的嵌入
- 模型inference的资源限制，端侧不像服务侧那样有充分的资源，所以如何保证端侧模型的运行效率是个挑战
如何解决端侧模型的问题
解决方案就是减少模型的计算复杂度并且充分利用端侧的资源。在减少计算复杂度方面，可以在端侧模型多用一些轻量的残差网络模块（lightweight residual blocks）。
另外一个模式就是将channels分割，是得总的模型参数不变的情况下学习更多的内容，如下图：
详细方案可以看以下这篇论文《SplitSR：An End-to-End Approach to Super-Resolution on Mobile Devices》。
另外如何更有效的利用手机侧的资源也是提升端侧模型性能的方案。一个比较简单的思路是提升手机端GPU和DSP的利用率，因为相比于CPU计算资源，GPU和DSP的计算资源更为宝贵，一个做法就是将简单的工作尽可能交给CPU去执行，将复杂的计算逻辑交给GPU和DSP去执行。
手机端部署的超分机器学习模型-MobiSR相关推荐
- 基于Pytorch Mobile在安卓手机端部署深度估计模型
基于Pytorch Mobile在安卓手机端部署深度估计模型 1.选取torch版本的深度估计模型 2.修改模型实现代码 3.Pytorch生成ptl模型 4.安卓端部署代码 5.实验配置 6.手机端 ...
- 部署基于嵌入的机器学习模型的通用模式
2020-01-31 21:00:32 作者:Robbe Sneyders 编译:ronghuaiyang 导读 给大家介绍一下如何在生产中部署基于嵌入的机器学习模型. 由于最近大量的研究,机器学习模 ...
- 9 张手绘图：阐明机器学习模型训练全流程
Datawhale干货 译者:张峰,安徽工业大学,Datawhale成员 周末在家无聊闲逛github,发现一个很有趣的开源项目,作者用手绘图的方式讲解了机器学习模型构建的全流程,逻辑清晰.生动形象. ...
- 入选CVPR 2022！一举打败16个同类模型，视频超分比赛冠军算法！
来源:量子位 如何让模糊的老片变高清? AI的答案是超分辨率算法: 现在,在视频超分领域,有一个强大的算法拿下了超分比赛NTIRE 2021三冠一亚的优异成绩,登上了CVPR 2022. 它的名字叫做 ...
- 一举打败16个同类模型，视频超分比赛冠军算法入选CVPR 2022，来自商汤南洋理工大学...
丰色 发自 凹非寺 量子位 | 公众号 QbitAI 如何让模糊的老片变高清? AI的答案是超分辨率算法: 现在,在视频超分领域,有一个强大的算法拿下了超分比赛NTIRE 2021三冠一亚的优异成绩, ...
- 业界首家720p/1080p移动端实时超分，打造抖音极致画质体验
前言 2021年5月,字节跳动智能创作团队精心打磨的移动端实时视频超分技术上线,并在抖音.头条.西瓜等多个业务场景大规模落地.该超分技术在性能和功耗维度取得了巨大突破,通过极致的高性能优化和算法改良设 ...
- 干货：机器学习模型训练全流程！
[提醒:公众号推送规则变了,如果您想及时收到推送,麻烦右下角点个在看,或者把本号置顶] 正文开始 周末在家无聊闲逛github,发现一个很有趣的开源项目,作者用手绘图的方式讲解了机器学习模型构建的全流 ...
- python训练模型、如何得到模型训练总时长_【绝对干货】机器学习模型训练全流程！...
周末在家无聊闲逛github,发现一个很有趣的开源项目,作者用手绘图的方式讲解了机器学习模型构建的全流程,逻辑清晰.生动形象.同时,作者也对几张图进行了详细的讲解,学习之后,收获很多,于是将其翻译下来 ...
- 最全的机器学习模型训练全流程
简言 发现一个很有趣的开源项目,作者用手绘图的方式讲解了机器学习模型构建的全流程,逻辑清晰.生动形象.想给大家分享一下. 项目地址:https://github.com/dataprofessor/i ...
最新文章
- 数据流模式、转换、格式与操作
- 频谱仪使用方法图解_钳形电流表使用方法图解
- 长春师范大学 于繁华现任计算机学院工程学院院长,硕士生导师--姚亦飞
- pythondjango搭建数据管理平台,使用Django快速搭建简单的数据管理后台
- ios framework 找不到.h_找不到好看的壁纸？上万张「高清壁纸」，都在iOS捷径里...
- Android binder 框架和学习资料
- Extjs DateField onchange
- 查看mysql是否归档的命令_查看oracle数据库是否为归档模式
- android多个文件夹压缩,android文件或文件夹压缩
- 史上最全的程序猿工具集(辅助工具、开发工具、技术栈、学习网站、博客论坛)
- 怎么看待苹果公司要求分成微信、知乎打赏32%？
- EDIUS 9 PRO（视频编辑软件）
- 计算机频率原理,频率计工作原理介绍
- unity 安卓接入科大讯飞 语音合成
- P2P继续停止...
- 二维彩虹二维码产品功能更新：增加“赞赏”、“重置”功能
- 互联网思维——极致思维
- 阅兵方阵（蓝桥杯2018真题）
- ETC技术之DSRC协议笔记
- vue---获取元素额外生成的data-v-xxx