《中国人工智能学会通讯》——7.4 语义组合
7.4 语义组合
分布式词表示的思想可以进一步扩展，即通过组合（Composition）的方式来表示短语、句子，甚至是篇章等更大粒度的语言单元。目前主要通过三种神经网络结构来实现不同的组合方式，即循环神经网络（顺序组合）、卷积神经网络（局部组合）和递归神经网络（根据句法结构进行组合） [8] 。下面以句子“我 喜欢 红 苹果”为例，说明不同组合方式的基本原理及其优缺点，具体可以参见图 1 中“深度学习”部分。
循 环 神 经 网 络（RNN，Recurrent NeuralNetwork）从左至右顺序地对句子中的单元进行两两组合，首先将“我”和“喜欢”组合，生成隐层h 1 ；然后将 h 1 与“红”进行组合，生成 h 2 ，以此类推。传统的循环神经网络模型存在严重的梯度消失（Vanishing Gradient）或者梯度爆炸（ExplodingGradient）问题，尤其是当句子较长，即网络的层数较多时。深度学习中一些常用的技术，如使用ReLU 激活函数、正则化，以及恰当的初始化权重参数等都可以部分解决这一问题。另一类更好的解决方案是减小网络的层数，以 LSTM 和 GRU 等为代表的带门循环神经网络（Gated RNN）都是这种思路，即通过对网络中门的控制，来强调或忘记某些输入，从而缩短了其前序输入到输出的网络层数，从而减小了由于层数较多而引起的梯度消失或者爆炸问题。
积神经网络（CNN，Convolutional NeuralNetwork）目前被广泛应用于图像处理领域，它考虑了生物神经网络中的局部接收域（ReceptionField）性质，即隐含层神经元只与部分输入层神经元连接，同时不同隐含层神经元的局部连接权值是共享的。这一性质在很多自然语言处理的任务中也有所体现，如对评论文本进行分类，最终的褒贬性往往由局部的一些短语决定，同时不需要顾及这些短语在文本中的位置信息。例如，只要评论中含有“我 喜欢”，就说明该评论是褒义的。由于存在局部接收域性质，各个隐含神经元的计算可以并行的进行，这就可以充分利用现代的硬件设备（如GPU），加速卷积神经网络的计算，这一点在循环神经网络中是较难实现的。
递 归 神 经 网 络（RecNN，Recursive NeuralNetwork）首先对句子进行句法分析，将顺序结构转化为树状结构，然后利用该结构来构建深度神经网络。因此在对句子“我 喜欢 红 苹果”进行组合时，首先组合“红”和“苹果”，生成隐层 h 1 ；然后再组合“喜欢”和 h 1 ，获得 h 2 ，以此类推。由此可见，该方法充分考虑了语言的递归组合性质，不会出现在循环或者递归神经网络中可能出现的任意无意义组合，如“喜欢 红”等。同时，对于如语义关系分类等任务，往往需要识别两个距离较远的实体之间的语义关系，如句子“在哈尔滨工业大学本科生院成立典礼上，校长周玉表示……”中，“哈尔滨工业大学”和“周玉”距离较远，他们中间的词汇往往对循环或者卷积神经网络模型构成了干扰，而递归神经网络利用句法结构，会将两个实体距离拉近，从而去除不必要的干扰，提升分析的准确率。当然，递归神经网络模型也受限于句法分析的准确率，因为一旦句法分析出现了错误，则会产生错误的组合方式，从而影响最终结果。
《中国人工智能学会通讯》——7.4 语义组合相关推荐
- 中国人工智能学会通讯——智能系统测评：挑战和机遇
上面的四个报告从四个维度讨论了智能系统测评的不同方面--产业.基础.基础和伦理.我受中国人工智能学会的委托,组织这次分论坛,为此对这个领域做了一些调研和思考,从现状和挑战这两个方面做了一些初步总结. ...
- 中国人工智能学会通讯——无智能，不驾驶——面向未来的智能驾驶时代 ( 下 )...
到目前为止似乎比较完美,而实际还 存在着一些问题.我们现在看到很多道 路上面,交通标志牌它的分布非常稀疏, 可能每过一两公里才能够检测出来一个 交通标志牌,因为毕竟这个深度学习算 法是目前最完美的,它 ...
- 中国人工智能学会通讯——基于视频的行为识别技术 1.7 视频的深度分段网络...
1.7 视频的深度分段网络 下面介绍另外一个工作,是我们和 CUHK.ETH 联合开展的,这个工作考 虑视频的分段特性,我们知道视频可以分 成很多段,每一段有不同的内容.我们 开发了一个深度模型,对不 ...
- 中国人工智能学会通讯——深蓝、沃森与AlphaGo
在 2016 年 3 月 份,正当李 世石与AlphaGo 进行人机大战的时候,我曾经写过 一 篇< 人 工 智 能 的 里 程 碑: 从 深 蓝 到AlphaGo>,自从 1997 年深 ...
- 《中国人工智能学会通讯》——7.7 结束语
7.7 结束语 通过分布式表示以及语义组合这两个特性,深度学习为自然语言处理带来了很多新的发展机遇.一方面可以通过更好地表达特征,提高自然语言处理系统的性能:另一方面通过 seq2seq 等机制,实现 ...
- 中国人工智能学会通讯——从语料库中习得的语义包含类人的偏见
摘要:机器学习是一种通过发现现有数据的模式来获得人工智能的方法.在这篇文章中,我们证明将机器学习应用于普通人类语言会产生类人的语义偏见.我们采用被广泛使用的纯统计机器学习模型,利用内隐联想测试的测量方 ...
- 《中国人工智能学会通讯》——7.28 利用 PrAGMATiC 算法构建语义地 图集
7.28 利用 PrAGMATiC 算法构建语义地 图集 鉴于在不同的被试上,语义系统区域的语义选择性分布模式有很强的一致性,我们希望建立一个人类大脑皮层上的地图集来描述语义选择性功能区域的分布.为了 ...
- 中国人工智能学会通讯——机器人组件技术在智能制造系统中的应用
摘要:随着工业4.0时代的到来,如何将传统工厂改造成为个性化.网络化.柔性生产的智能制造系统成为了当前的研究热点.本文从智能制造系统和智能机器人系统的相似性出发,构建了基于机器人组件技术的智能制造系统 ...
- 《中国人工智能学会通讯》——2.31 跨环境抽象（Abstracting Across Environments）
2.31 跨环境抽象(Abstracting Across Environments) 人工智能领域的一个长期目标是实现人工通用智能,一个单一的学习程序可以同时在完全不同的领域进行学习和行动,可以转换 ...
最新文章
- 在JavaScript中逐个遍历数组？
- 关于美工ps出图table格式的处理
- 开发办公APP时间估算
- 两线怎么接三线插座图_一文搞懂电工配电二线制、三线制、四线制
- ajax的url怎么将后缀补上_蜂蜜杏仁怎么做？杏仁和蜂蜜腌制方法
- Python学习笔记：微积分计算
- 2月份13个jQuery最佳插件推荐
- noip模拟赛 SAC E#1 - 一道中档题 Factorial
- 芭蕉树上第十九根芭蕉-- Qt生成随机数的方法
- 打印1000年到2000年之间的闰年
- rust 飞天指令_rust腐蚀游戏指令 游戏命令大全
- 项管行知02--工作环境
- 刀片服务器改台式电脑_一种刀片服务器机箱的制作方法
- VS2017专业版和企业版下载激活
- 使用 Packer 构建虚拟机镜像踩的坑
- 分布式搜索引擎 - 大总结
- 产品经理需求文档（PRD）怎么写？
- 美团大众各自的10年创业路
- 论文类型Journal、magazine、transaction、letter等的区别
- 新世纪福音战士EVA