深度学习技术发展趋势浅析
https://mp.weixin.qq.com/s/FtIhKiENv483iHE053RPkg
当前，人工智能发展借助深度学习技术突破得到了全面关注和助力推动，各国政府高度重视、资本热潮仍在加码，各界对其成为发展热点也达成了共识。本文旨在分析深度学习技术现状，研判深度学习发展趋势，并针对我国的技术水平提出发展建议。
一、深度学习技术现状
深度学习是本轮人工智能爆发的关键技术。人工智能技术在计算机视觉和自然语言处理等领域取得的突破性进展，使得人工智能迎来新一轮爆发式发展。而深度学习是实现这些突破性进展的关键技术。其中，基于深度卷积网络的图像分类技术已超过人眼的准确率，基于深度神经网络的语音识别技术已达到95%的准确率，基于深度神经网络的机器翻译技术已接近人类的平均翻译水平。准确率的大幅提升使得计算机视觉和自然语言处理进入产业化阶段，带来新产业的兴起。
深度学习是大数据时代的算法利器，成为近几年的研究热点。和传统的机器学习算法相比，深度学习技术有着两方面的优势。一是深度学习技术可随着数据规模的增加不断提升其性能，而传统机器学习算法难以利用海量数据持续提升其性能。二是深度学习技术可以从数据中直接提取特征，削减了对每一个问题设计特征提取器的工作，而传统机器学习算法需要人工提取特征。因此，深度学习成为大数据时代的热点技术，学术界和产业界都对深度学习展开了大量的研究和实践工作。
深度学习各类模型全面赋能基础应用。卷积神经网络和循环神经网络是两类获得广泛应用的深度神经网络模型。计算机视觉和自然语言处理是人工智能两大基础应用。卷积神经网络广泛应用于计算机视觉领域，在图像分类、目标检测、语义分割等任务上的表现大大超越传统方法。循环神经网络适合解决序列信息相关问题，已广泛应用于自然语言处理领域，如语音识别、机器翻译、对话系统等。
深度学习技术仍不完美，有待于进一步提升。一是深度神经网络的模型复杂度高，巨量的参数导致模型尺寸大，难以部署到移动终端设备。二是模型训练所需的数据量大，而训练数据样本获取、标注成本高，有些场景样本难以获取。三是应用门槛高，算法建模及调参过程复杂繁琐、算法设计周期长、系统实施维护困难。四是缺乏因果推理能力，图灵奖得主、贝叶斯网络之父Judea Pearl指出当前的深度学习不过只是“曲线拟合”。五是存在可解释性问题，由于内部的参数共享和复杂的特征抽取与组合，很难解释模型到底学习到了什么，但出于安全性考虑以及伦理和法律的需要，算法的可解释性又是十分必要的。因此，深度学习仍需解决以上问题。
二、深度学习发展趋势
深度神经网络呈现层数越来越深，结构越来越复杂的发展趋势。为了不断提升深度神经网络的性能，业界从网络深度和网络结构两方面持续进行探索。神经网络的层数已扩展到上百层甚至上千层，随着网络层数的不断加深，其学习效果也越来越好，2015年微软提出的ResNet以152层的网络深度在图像分类任务上准确率首次超过人眼。新的网络设计结构不断被提出，使得神经网络的结构越来越复杂。如：2014年谷歌提出了Inception网络结构、2015年微软提出了残差网络结构、2016年黄高等人提出了密集连接网络结构，这些网络结构设计不断提升了深度神经网络的性能。
深度神经网络节点功能不断丰富。为了克服目前神经网络存在的局限性，业界探索并提出了新型神经网络节点，使得神经网络的功能越来越丰富。2017年，杰弗里•辛顿提出了胶囊网络的概念，采用胶囊作为网络节点，理论上更接近人脑的行为，旨在克服卷积神经网络没有空间分层和推理能力等局限性。2018年，DeepMind、谷歌大脑、MIT的学者联合提出了图网络的概念，定义了一类新的模块，具有关系归纳偏置功能，旨在赋予深度学习因果推理的能力。
深度神经网络工程化应用技术不断深化。深度神经网络模型大都具有上亿的参数量和数百兆的占用空间，运算量大，难以部署到智能手机、摄像头和可穿戴设备等性能和资源受限的终端类设备。为了解决这个问题，业界采用模型压缩技术降低模型参数量和尺寸，减少运算量。目前采用的模型压缩方法包括对已训练好的模型做修剪（如剪枝、权值共享和量化等）和设计更精细的模型（如MobileNet等）两类。深度学习算法建模及调参过程繁琐，应用门槛高。为了降低深度学习的应用门槛，业界提出了自动化机器学习（AutoML）技术，可实现深度神经网络的自动化设计，简化使用流程。
深度学习与多种机器学习技术不断融合发展。深度学习与强化学习融合发展诞生的深度强化学习技术，结合了深度学习的感知能力和强化学习的决策能力，克服了强化学习只适用于状态为离散且低维的缺陷，可直接从高维原始数据学习控制策略。为了降低深度神经网络模型训练所需的数据量，业界引入了迁移学习的思想，从而诞生了深度迁移学习技术。迁移学习是指利用数据、任务或模型之间的相似性，将在旧领域学习过的模型，应用于新领域的一种学习过程。通过将训练好的模型迁移到类似场景，实现只需少量的训练数据就可以达到较好的效果。
三、未来发展建议
加强图网络、深度强化学习以及生成式对抗网络等前沿技术研究。由于我国在深度学习领域缺乏重大原创性研究成果，基础理论研究贡献不足，如胶囊网络、图网络等创新性、原创性概念是由美国专家提出，我国研究贡献不足。在深度强化学习方面，目前最新的研究成果大都是由DeepMind和OpenAI等国外公司的研究人员提出，我国尚没有突破性研究成果。近几年的研究热点生成式对抗网络（GAN）是由美国的研究人员Goodfellow提出，并且谷歌、facebook、twitter和苹果等公司纷纷提出了各种改进和应用模型，有力推动了GAN技术的发展，而我国在这方面取得的研究成果较少。因此，应鼓励科研院所及企业加强深度神经网络与因果推理模型结合、生成式对抗网络以及深度强化学习等前沿技术的研究，提出更多原创性研究成果，增强全球学术研究影响力。
加快自动化机器学习、模型压缩等深度学习应用技术研究。依托国内的市场优势和企业的成长优势，针对具有我国特色的个性化应用需求，加快对深度学习应用技术的研究。加强对自动化机器学习、模型压缩等技术的研究，加快深度学习的工程化落地应用。加强深度学习在计算机视觉领域应用研究，进一步提升目标识别等视觉任务的准确率，以及在实际应用场景中的性能。加强深度学习在自然语言处理领域的应用研究，提出性能更优的算法模型，提升机器翻译、对话系统等应用的性能。
作者简介
赵强，工学硕士，高级工程师，现就职于中国信息通信研究院云计算与大数据研究所人工智能部。主要对人工智能的技术、应用与产业开展研究，并进行相关系统软件的设计与研发。研究成果获批国家发明专利4项，软件著作权5项。
联系方式：zhaoqiang@caict.ac.cn
深度学习技术发展趋势浅析相关推荐
- 开源大咖齐聚2020启智开发者大会，共探深度学习技术未来趋势
2020年12月2日,"OpenI/O 2020启智开发者大会"在北京国家会议中心召开.大会以"启智筑梦 开源先行"为主题,立足于国际国内开源大环境和发展趋势 ...
- 深度学习技术在机器阅读理解应用的研究进展
深度学习解决机器阅读理解任务的研究进展:https://blog.csdn.net/malefactor/article/details/52832134 深度学习技术在机器阅读理解应用的研究进展:h ...
- 人工智能的未来：机器学习和深度学习的发展趋势
人工智能作为计算机科学领域的一个热门话题,近年来得到了越来越多的关注和研究.其中,机器学习和深度学习作为人工智能领域的两个重要分支,更是备受关注.本文将介绍机器学习和深度学习的基本概念,以及它们在人工 ...
- 从原理到应用落地，一文读懂推荐系统中的深度学习技术
作者丨gongyouliu.zandy 来源丨大数据与人工智能(ID:ai-big-data) 2016年DeepMind开发的AlphaGo在围棋对决中战胜了韩国九段选手李世石,一时成为轰动全球的重 ...
- Python实现的深度学习技术在水文水质领域应用
当前,深度学习作为人工智能的热门技术发展迅速,以其强大的非线性和不确定性处理能力在图像识别.语音识别.自然语言处理等领域取得了显著的成效.它是一种端到端的处理方法,在训练算法的指导下,深层神经网络自发 ...
- 飞桨博士会第三期来啦！中国深度学习技术俱乐部诚邀您加入
飞桨博士会是由百度开源深度学习平台飞桨(PaddlePaddle)发起的中国深度学习技术俱乐部,旨在打造深度学习核心开发者交流圈,助力会员拓展行业高端人脉.交流前沿技术.俱乐部为会员制,成员皆为博士生 ...
- 深度学习技术在美图个性化推荐的应用实践
导读:美图秀秀社交化的推进过程中,沉淀了海量的优质内容和丰富的用户行为.推荐算法连接内容消费者和生产者,在促进平台的繁荣方面有着非常大的价值 .本次分享探讨美图在内容社区推荐场景下应用深度学习技术提升 ...
- 机器学习中的数学 人工智能深度学习技术丛书
作者:孙博 著 出版社:中国水利水电出版社 品牌:智博尚书 出版时间:2019-11-01 机器学习中的数学 人工智能深度学习技术丛书 ISBN:9787517077190
- 报名 | 清华大数据论坛之深度学习技术与应用
时光荏苒,春华秋实,厚重的积淀和改革创新的新发展给予清华人自信和力量.在清华大学108周年校庆的喜庆气氛里,清华大学大数据研究中心.清华-快手未来媒体数据联合研究院共同主办"清华大数据论坛之 ...
- 将深度学习技术应用到实际项目
https://www.toutiao.com/a6693660287913951751/ 本文介绍如何将基于深度学习的目标检测算法应用到具体的项目开发中,体现深度学习技术在实际生产中的价值,算是AI ...
最新文章
- 达摩院NLP团队斩获六项世界冠军背后，让AI没有难懂的语言
- java 构造函数内部的多态方法 完全剖析
- 伍哥原创之豆荚商城商品搜索架构介绍
- jquery对ajax的支持
- android视频播放指定位置,android – 如何在某个特定位置的视图中查看视频？
- 基于区块链的健康链系统设计与实现（4）系统实现
- python漂亮的螺旋_CANVAS 各种螺旋画出来的漂亮图案
- 判断一个点是否在矩形内部_矩形、圆形泄水管规格型号优势
- 建模数据科学家的福音：MIT系特征自动构造工具今日发布
- 第16 17章节-Python3.5-Django知识点整理 15
- 幸福来得快，去的也快。
- 敏捷开发之利刃—db4o
- 通信感知一体化（ISAC）概述
- 如何注册 MSDN AA
- Word 无法创建工作文件 请检查临时环境变量 解决方法
- [android]so easy实现根据viewpager、edittext、时间使背景动态渐变色效果~
- linux强制退出进程
- docker-elastic7.9.3集群搭建并开启用户验证
- AWS解决方案架构师薪资平均159,033 美元
- 美团创始人王兴用实际行动证明，为什么富人更容易创业成功？