深度学习帮助人工智能走得更远
说深度学习就不得不提Geoffrey Hinton。
一、Geoffrey Hinton是何许人?
Geoffrey Hinton是Deep Learning(深度学习)方面的领军人物,是世界上机器学习与人工智能领域杰出研究者之一。
Geoffrey Hinton是英国剑桥大学实验心理学学位获得者,后来获得人工智能博士学位,他同时也是伦敦大学Gatsby神经计算科学部门的创始董事。他研究利用神经网络的学习、记忆、知觉和符号处理的方法而闻名世界,并在这个领域有超过200种出版物。
Geoffrey Hinton目前主要研究领域包括现代科学尖端领域的机器学习,以及机器如何在庞大、复杂的数据中执行辨认功能,他在这些方面的领先研究帮助谷歌在神经网络学习以及语音方面前进了不止一大步。
二、Geoffrey Hinton和深度学习
深度学习简介
深度学习概念最早由Geoffrey Hinton等人在2006年提出。它是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习是无监督学习的一种。
深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
深度学习基于深信度网(DBN)提出非监督贪心逐层训练算法,为解决深层结构相关的优化难题带来希望,随后提出多层自动编码器深层结构。此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法,它利用空间相对关系减少参数数目以提高训练性能。
基础概念
深度(Depth)
从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示:流向图是一种能够表示计算的图,在这种图中每一个节点表示一个基本的计算并且一个计算的值(计算的结果被应用到这个节点的孩子节点的值)。考虑这样一个计算集合,它可以被允许在每一个节点和可能的图结构中,并定义了一个函数族。输入节点没有孩子,输出节点没有父亲。
这种流向图的一个特别属性是深度(depth):从一个输入到一个输出的最长路径的长度。
传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。SVMs有深度2(一个对应于核输出或者特征空间,另一个对应于所产生输出的线性混合)。
需要使用深度学习解决的问题有以下的特征:
深度不足会出现问题。
人脑具有一个深度结构。
认知过程逐层进行,逐步抽象。
深度不足会出现问题
在许多情形中深度2就足够表示任何一个带有给定目标精度的函数。但是其代价是:图中所需要的节点数(比如计算和参数数量)可能变的非常大。理论结果证实那些事实上所需要的节点数随着输入的大小指数增长的函数族是存在的。
我们可以将深度架构看做一种因子分解。大部分随机选择的函数不能被有效地表示,无论是用深地或者浅的架构。但是许多能够有效地被深度架构表示的却不能被用浅的架构高效表示。一个紧的和深度的表示的存在意味着在潜在的可被表示的函数中存在某种结构。如果不存在任何结构,那将不可能很好地泛化。
大脑有一个深度架构
例如,视觉皮质得到了很好的研究,并显示出一系列的区域,在每一个这种区域中包含一个输入的表示和从一个到另一个的信号流(这里忽略了在一些层次并行路径上的关联,因此更复杂)。这个特征层次的每一层表示在一个不同的抽象层上的输入,并在层次的更上层有着更多的抽象特征,他们根据低层特征定义。
需要注意的是大脑中的表示是在中间紧密分布并且纯局部:他们是稀疏的:1%的神经元是同时活动的。给定大量的神经元,仍然有一个非常高效地(指数级高效)表示。
认知过程逐层进行,逐步抽象
人类层次化地组织思想和概念;
人类首先学习简单的概念,然后用他们去表示更抽象的;
工程师将任务分解成多个抽象层次去处理;
学习/发现这些概念(知识工程由于没有反省而失败?)是很美好的。对语言可表达的概念的反省也建议我们一个稀疏的表示:仅所有可能单词/概念中的一个小的部分是可被应用到一个特别的输入(一个视觉场景)。[1][3]
深度学习的核心思想
把学习结构看作一个网络,则深度学习的核心思路如下:
①无监督学习用于每一层网络的pre-train;
②每次用无监督学习只训练一层,将其训练结果作为其高一层的输入;
③用监督学习去调整所有层
三、深度学习的成功应用
1、 语音识别
微软研究人员通过与hintion合作,首先将RBM和DBN引入到语音识别声学模型训练中,并且在大词汇量语音识别系统中获得巨大成功,使得语音识别的错误率相对减低30%。
2、 智能手机的语音搜索
2012年,Google的Android操作系统中的语音识别突飞猛进,正是因为深度学习的关系。因为深度学习神经网络允许对语音做更精确的训练,所以使语音识别的成功率大大提高,尤其是在嘈杂的环境中,语音搜索结果也有了不小的改善。一夜之间,智能手机语音识别系统的错误率就下降到了25%,这让不少评论人士觉得Android手鸡的语音搜索要比苹果的Siri更智能。
3、 图片识别
去年6月,Google演示了有史以来最大的神经网络,这一网络上拥有超过10亿个节点,并成功从YouTube视频中提取了1000万张画面上带猫的图片,使YouTube视频分类达到16%的准确度。这个数字虽然看起来很小,但是已经比上一代系统提高了70%。需要注意的是,YouTube的系统所用的深度学习是将视频分到22000个分类中,许多分类连常人无法区分。而当把分类缩小到1000个时,系统识别的准确率瞬间提高到了50%。如果没有深层学习,Google的神经网络也就没有这么强大的功能。
深度学习,正在帮助人工智能走得更远!
深度学习帮助人工智能走得更远相关推荐
- 类脑计算:让人工智能走得更远
来源:中国科学报 像人一样思考,这是人们对人工智能和机器人的期待.大踏步前进的人工智能,似乎走到了十字路口. "机器综合智能水平和人脑相差较大,机器学习需要较多人工干预,不同人工智能模态之间 ...
- 妙飞:拥有空杯心态终身学习才能走得更远
前几天看了的一部电影,电影的名字叫做<日日是好日>,讲述的是两个大学生一起去学茶道和往后人生经历.典子跟随老师学习茶道十年,在一次茶道练习,老师看到他的动作说,看起来还是这么笨拙. 孔子论 ...
- Yann LeCun:深度学习与人工智能的未来(附PPT与译文)
深度学习 作者Yann Le Cun 纽约大学,柯朗数学科学学院(CourantInstitute of Mathematical Science, NYU), Facebook 人工智能研究 我们需 ...
- 吴恩达 NIPS 2016:利用深度学习开发人工智能应用的基本要点(含唯一的中文版PPT)...
雷锋网按:为了方便读者学习和收藏,雷锋网(公众号:雷锋网)特地把吴恩达教授在NIPS 2016大会中的PPT做为中文版,由三川和亚峰联合编译并制作. 今日,在第 30 届神经信息处理系统大会(NIPS ...
- 神经网络、深度学习、人工智能、智能制造2018资料汇编(公号回复“AI2018资料”下载PDF资料,欢迎转发、赞赏支持科普)
神经网络.深度学习.人工智能.智能制造2018资料汇编(公号回复"AI2018资料"下载PDF资料,欢迎转发.赞赏支持科普) 秦陇纪 科学Sciences 今天 科学Science ...
- 自学机器学习、深度学习、人工智能学习资源推大聚合
想要解决如何自学机器学习.深度学习和人工智能这一问题,首先要了解三个概念以及它们之间的关系. 人工智能:人工智能英文缩写为AI,它是研究.开发用于模拟.延伸和扩展人的智能的理论.方法.技术及应用系统的 ...
- 边缘计算、区块链、5G,哪个能走的更远
频繁出现的新词汇5G.区块链.边缘计算,这些都代表了什么,又能给我们的生活带来什么巨大的改变么?抉择之时已至,能够走向未来的真的只有一个吗? "没有什么能够阻挡,你对自由的向往-" ...
- Apache Member、ALC Beijing 发起人姜宁:一个人走的很快,但是一群人能走得更远
一个人走的很快,但是一群人能走得更远 --姜宁 ApacheCon 是 Apache 软件基金会(ASF)的官方全球系列大会.作为久负盛名的开源盛宴,ApacheCon 在开源界备受关注,也是开源运动 ...
- 谁能走得更远?百度、阿里、腾讯的区块链技术与布局对垒
技术更迭随时会让一个巨人倒下--手机领域曾经的霸主诺基亚.摩托罗拉没跟上智能手机系统步伐,从巅峰转瞬跌入谷底.BAT都明白其中利害,早已枕戈待战. 互联网帝国之争 群雄逐鹿的区块链竞争格局,大致可分为 ...
最新文章
- 创建 OVS 外部网络 ext_net - 每天5分钟玩转 OpenStack(144)
- iOS 序列化与反序列化
- 云上创新 | 阿里云边缘云场景化商业实践
- Java多线程(4)--线程的同步解决线程安全问题
- 使用.Net 1.1的项目,TreeView控件不能正常显示
- 第十七节:ES6新增的Map和WeakMap 又是什么东西?
- VMware关闭虚拟机系统后不见了
- Spring Cloud云架构 - commonservice-sso服务搭建(一)
- Codeforces 343D Water Tree(DFS序 + 线段树)
- 学习日常笔记day11cookie及session
- python中断言语句语法_Python的词法分析与语法分析
- 关于结构体嵌套的字节大小的问题
- 解析word文件的简单实现
- 中国地区2012年第一季度网络安全威胁报告
- 安装redhat 8.0红帽系统
- 【渝粤教育】国家开放大学2018年秋季 1355T高级英语(2) 参考试题
- ‘cnpm‘ 不是内部或外部命令,也不是可运行的程序或批处理文件
- Ubuntu中连不上网,百度 ping 不通
- 团队精神(Teamwork)
- 火星人现住何处?在干什么?