端侧AI:高隐私、高可靠的智能个性化服务
Photo by Josh Sorenson from Pexels
相较于云端AI需要用户将数据发送到云端进行处理,存在网络稳定性、隐私安全等问题。随着终端算力的提升,端侧AI本地处理数据的高隐私性以及对用户使用习惯的智能感知,将为用户带来更可靠的个性化优质服务。
文 / 庄光庭
策划 / LiveVideoStack
LiveVideoStack:庄光庭,你好,很高兴代表LiveVideoStack采访你。对于LiveVideoStack的读者来说,OPPO和您可以说是“新面孔”,能否先向大家做下简单介绍?
庄光庭:很高兴有机会可以在LiveVideoStack进行些AI和视频相关技术的分享与交流,我是OPPO AI多媒体技术总监庄光庭。OPPO致力于手机研发,为用户提供至美科技的体验,公司也持续在5G、AI、视频、IOT等领域技术加强投入。希望可以借由LiveVideoStack和业界的技术专家们交流,共同激发更能提升用户使用体验的技术。
LiveVideoStack:从2G文字时代开始,到4G、5G视频时代的再次爆发,AI技术曾经历过不止一次的高潮与低谷,你如何看待这一演进历程?
庄光庭:每次技术的演进都伴随着整体生态的改变。从2G的语音通讯开始,当时更多的还是在从以局域网为主的大型主机时代逐渐过渡到PC互联网时代。直到3G时代,原本运营商期待透过视频通话抢占市场的主要特性也没起来,但越来越多的业务逐渐迁移到了互联网云侧。到了4G时代,对于所有应用入口,手机终端已经逐渐取代PC占据八成以上份额,移动互联网成为主流。而5G时代,也是运营商、互联网、移动终端厂商重新洗牌竟合的关键时刻。各家企业都很看重AI、5G、AIOT、VR/AR等技术是否会引出新形态的Killer产品及应用。对此演进历程,我们还是可以看到许多的创新。或许AI技术会从2015年IMAGENET/AlphaGO/…所带动起来的高潮,逐渐稳定固化,并成为万物互融时代下,满足5G视频及AIOT业务的刚需技术。
LiveVideoStack:5G 高带宽、低时延,更多连接的特性为各行业的发展带来了新的变革。5G时代的来临将推动哪些AI应用场景的快速落地?
庄光庭:目前我们观察到5G的三大特性、高带宽、低时延、更多连接,最直观的收益应用还是在视频、VR、远程会议、AIOT等场景下。设备间的互联会从有线连接,全方面的迁移到无线连接。万物互融成为可能,所以OPPO今年整体的技术及业务方向也是朝万物互融开拓及摸索。
LiveVideoStack:阿里、小米等各大厂商纷纷开始着手自研AI芯片,随着AI 在智能⼿机与智能设备中的应用越来越广泛,什么样的芯片才能够真正适应终端智能的需求?
庄光庭:对智能手机而言,视频业务已经逐渐取代了由文字、图片所组成的业务服务,5G技术的来临,视频相关的技术需求肯定是最关键的。AI芯片除了要满足DSP对视频编解码的需求外,必定还需要支撑视频后处理的功能,因此对端侧的视频AI高算力需求是存在的。同时,面对AIOT多设备连接,和智能感知服务,长时间低功耗运行的AI能力也同时需要。所以可以同时克服高算力及低功耗两个截然不同方向的芯片能力,应该才能真正适应这变化万千的智能终端需求。
LiveVideoStack:在实际应用场景中端侧AI技术相比于云端AI技术,具有哪些优势和不足?
庄光庭:端侧AI的发展相比于云侧AI,限制及差异是巨大的,技术在各方面都有劣势。端侧AI不仅在算力、功耗、内存、芯片架构等方面存在巨大差异,而且对数据基本是没有掌控的。如何在保护数据隐私的前提下提供给用户最佳的算法模型是极大的挑战。云侧在数据、算力、功耗、内存、平台方面并不存在像端侧这么大的挑战和限制。但端侧AI也并不是完全没有优势,端侧AI对数据隐私的保护,相对而言是天然完美的屏障,所有数据可以都在端侧进行处理用后即焚,数据比较容易被保护及限制在端侧设备中。另外一个优势就是在满足隐私保护的前提下,基于用户的使用习惯,更容易智能的提供差异性的个性化服务,同时保障用户隐私又提供用户智能感知推荐的服务。AIOT的设备普及后,借由多设备分布式智能融合计算,可以更轻易的提供小型化、轻量化低功耗的端侧AI服务。
LiveVideoStack:近期,“Zoom隐私安全问题”掀起了一股新的风波。对于AI可能存在的数据隐私问题,在端侧AI平台的设计和开发中会通过哪些技术或优化来更好的保护用户的隐私?
庄光庭:隐私安全问题一直是软件技术最关注的一个基础问题,用户的数据是否会因为新的AI功能,暴露了新的漏洞及落点,这一定是每个技术研发人员要竭尽全力避免的事。当前我们在设计端侧AI平台,我们希望从简单直接的安全加密保护逐渐迁移到芯片等级的安全通路设计,同时采取用后即焚的数据处理策略,避免数据缓存被拦截窃取及篡改等。
LiveVideoStack:正如端上算力的不断增强推动端侧AI技术的发展,智能手机以及移动设备硬件条件的差异化也同样带来了不小的难题,应该如何应对?
庄光庭:移动终端等差异化,是我们端侧AI最头疼的问题。时常我们设计了一个先进的算法,却因为硬件的差异,而无法全面铺开到所有产品,或是只能折衷采取裁剪的方式,让算法可以适配更多的智能终端。更严重的是,企业很可能需要付出更多的人力预算来满足所有硬件产品上的功能开发。因此针对硬件条件的差异化带来的诸多难题,端侧AI的平台承担了极大的责任,需要克服端侧硬件的差异性,我们采取分层的设计,将算法对硬件适配的工作复用,支撑所有算法团队聚焦开发他们的功能特性,屏蔽算法模型对硬件的耦合程度,极大化的避免各个算法团队重复造轮子的工作。
LiveVideoStack:除了隐私问题,硬件差异带来的影响之外,端侧AI的实现还有哪些痛点以及需求?
庄光庭:端侧AI的需求简单可以分为几个方面,比如高性能、高品质、低时延、低功耗、超融合等大方向。这几个大方向围绕着视频、游戏、显示、音频、投屏、场景感知、AR/VR、云游戏、设备连动等场景展开。而痛点除了数据隐私、硬件差异,我们发现端侧还存在能力无法共享、应用需求差异大、实时运算要求高、模型算子支持度差、AI算法迭代速度快、运行内存受限、第三方合作困难等问题。
LiveVideoStack:总得来说,端侧AI技术目前还处于爆发前的急速发展阶段,未来的“AI”又会呈现出怎样的形态、面貌?会有哪些令人惊叹的场景及应用?
庄光庭:未来的AI,肯定会朝着技术融合,基于用户体验的AI业务能力展开。举例来说以前可能只是基于CV的AI算法能力的具备,直接提供物体识别的AI能力。未来肯定会是多模态基于各种传感器的多通道讯息,提供一个整合的服务给到用户。比如,智能设备可以分析用户喜欢听的音乐,分析出用户的喜好歌手,推荐歌手相关的演唱会讯息给到用户。又或是未来对话系统、AR眼镜成熟之后,虚拟的家庭陪伴看护,或许会逐渐取代基于文字及语音的智能助手。我们可以透过表情、语言、手势、视觉等讯息,搭配AR技术,借由手机为入口,虚构出一个学生家教、家庭看护、健身教练、等虚拟人物来辅助用户。这些场景都有可能在不远的未来会实现。
点击【阅读原文】或扫描图中二维码,了解更多讲师及话题信息
端侧AI:高隐私、高可靠的智能个性化服务相关推荐
- ai算子是什么_肇观电子刷新端侧AI芯片性能记录并发布“5分钟部署”AI开发平台 - 企业资讯...
基于多年研发的CVKit™ NN IP的N1系列SoC芯片刷新了端侧AI芯片性能记录.领先的每TOPs处理帧数,实时数据流处理能力,支持高精度FP16神经网络模型直接无损部署,高性能的INT8网络支持 ...
- 华为诺亚实验室:端侧AI模型的技术进展与未来
主讲人 | 王云鹤 华为诺亚实验室 量子位编辑 | 公众号 QbitAI 近两年来,端侧AI在技术和应用方面都取得了快速发展.相较于云侧AI,端侧AI具有低时延.保护数据隐私与安全.减少云端能耗.不依 ...
- 华为诺亚实验室:端侧AI模型的技术进展与未来|量子位·吃瓜社
主讲人 | 王云鹤 华为诺亚实验室 量子位编辑 | 公众号 QbitAI 近两年来,端侧AI在技术和应用方面都取得了快速发展.相较于云侧AI,端侧AI具有低时延.保护数据隐私与安全.减少云端能耗.不依 ...
- 端侧AI进化论:HUAWEI HiAI Foundation的奇妙旅程
从2017年开始,华为将端侧AI算力的概念带入了产业界.彼时,还有很多人讨论端侧AI计算是否有必要,是否具备前景等等问题.一转眼四年过去了,端侧的AI处理能力已经成为每家芯片厂商.移动终端厂商的必备能 ...
- 端侧 AI SDK 框架,快手爆款特效落地背后的秘密
7 月 5 日,快手 Y-tech 部门 AI 工程团队的崇洋铭在 GMTC 全球大前端技术大会(北京站)2021,做了题为<端侧 AI SDK 框架,爆款特效批量生产背后的秘密>的演讲. ...
- 技术干货|昇思MindSpore Lite1.5 特性发布,带来全新端侧AI体验
昇思MindSpore Lite 1.5版本我们主要在异构推理.混合精度推理.端侧训练和混合比特权重量化等特性进行了重点优化,在推理性能.模型小型化和端侧训练易用性与性能等方面带来新的体验.下面就带大 ...
- 嵌入式如何与AI相结合,什么是端侧AI~
大家好,周末愉快,最近和朱老师聊,作为嵌入式工程师,为什么需要关注一下端侧AI呢,和大家分享一些感悟. 什么叫端测AI?这个问题搞清楚之前,大家必须要去了解我们整个计算机行业的一个系统架构,它的发展方 ...
- 直播 | 智能仓库:端侧 AI 和 OpenVINO 落地实践
设计:苟永兴.王佳文 排版:陈曦 距离直播开始还有 3天 1 活动安排 直播前热身-OpenVINO 小测验:直播正式开始前,主持人将会发布有奖小测验,的分数最高的6名小伙伴将会分别获得: 第一名:N ...
- 5G时代下端侧AI势必大火!阿里技术专家在线解读
嘉宾|吕承飞(吕行) 出品|InfoQ&阿里巴巴新零售淘系技术部 嘉宾简介:吕承飞(花名:吕行),阿里巴巴资深无线开发专家.2013 年加入淘宝,经历手机淘宝超级 App 技术演化完整过程,主 ...
最新文章
- react学习笔记(序)
- isulad代替docker_云原生时代的华为新“引擎”:iSula | Linux 中国
- 2019年广西大学硕士研究生入学《数据结构与程序设计(817)》考试大纲
- entity framework5 sqlserver2005 事务(TransactionScope)报未启用MSDTC错误解决办法
- 【2022】JVM常见面试真题详解
- Java笔记04-核心类库
- 利用IDEA创建hadoop文件
- java实现创建窗口
- CSS图片裁剪Clip
- Python接口自动化之动态数据处理
- 爬取网易,搜狐,凤凰和澎湃网站评论数据,正负面情感分析
- Java 类锁、对象锁、私有锁
- 如何理解“KISS 原则”?
- centos php mongodb 驱动,安装 MongoDB PHP 驱动 在CentOS 6.x和遇到的问题
- ShowDoc v2.4.8 发布,IT团队的在线 API 文档工具
- 500个爆文标题_总结了500篇10W+爆文 好标题都离不开以下几点
- 深秋云台行:少爷的云台山之旅
- PYTHON爬取拉钩网
- 像素、英寸、厘米之间的换算关系
- 女友的生日礼物能随便嘛?Python小妙招:制作一款出圈九宫格抽奖小程序。
热门文章
- 逃离裁员:程序员在云时代的生存之道
- Shiro之从数据库初始化角色权限信息
- 关于My Sql update语句不能用子查询的解决办法
- mac 键盘映射优化配置
- 程序员应该遵守的编程原则
- ora-01658 :无法为表空间USERS 中的段创建INITIAL区
- 欧冠淘汰赛第二回合!我厂生死战!!
- 洛谷 - P3899 [湖南集训]谈笑风生(dfs序+主席树/二维数点)
- CodeForces - 916D Jamie and To-do List(主席树+模拟)
- CodeForces - 1358C Celex Update(思维)