语义表示——神经网络与深度学习
语义鸿沟是人工智能的挑战之一。
底层特征 VS 高层语义
人们对文本、图像的理解无法从字符串或者图像的底层特征直接获得。
底层特征和高层语义之间建立直接的映射十分困难。
例如对于一张简单的照片，我们拿到最底层的特征——图像的像素，比如一些红色、蓝色的像素，将这些底层特征和高层语义建立关系其实是非常难的，也就是说想建立一个直接的映射非常困难；例如一张情侣照片，人眼很容易根据图片的信息判断是情侣关系，但是从底层特征中是看不到的，特别是照片中含有很多噪声（不重要的背景信息），这对模型的预测会产生很多干扰，所以我们需要从底层的特征中抽取出蕴含高层语义的特征； 例如对于文本信息，我们接收到的底层特征是一个个的字，但是组合到一起的，我们知道这是一首诗且表达思乡的情绪，这些通过表面的字符是没办法简单得到的。
所以我们需要从这些底层特征中构造出一些表示，这些表示蕴含高层的语义特征。
“好的表示”是一个非常主观的概念，没有一个明确的标准，但一般而言，好的表示具有以下几个优点：
1、应该具有很强的表示能力，同样的一个空间能表示更多的语义；
2、应该使后续的学习任务变得简单，用一个简单的模型就能完成任务，而不用涉及复杂分类器；
3、应该具有一般性，也就是说不能在这些数据上好，另外一些数据差。
数据表示是机器学习的核心问题。
表示形式：如何在计算机中表示语义？
局部表示 VS 分布式表示
表示可以简单的理解为代表某些数据的向量，如用向量 v=[2,3,4,5] 表示“语言”这个单词。虽然这是事实，但在更概念化的层面上去理解表示会增强对深度学习的有效性的理解。
局部表示非常容易理解，假设有一大堆“内存单元”来存储有关形状的信息。这时可以选择用单个存储单元来表示每个单独的形状，比如圆形=[1,0,0]，正方形=[0,1,0]，三角形=[0,0,1]，如果此时形状的数量再增加一个长方形，那就需要再增加一个维数，如果增加多个，那就增加相同的维数，多桑讴歌形状用多少个向量，这显然大大增加了内存空间的占用，效率非常低下，表示能力非常差，它没有给出关于这些形状之间如何相互关联的任何信息。而这是分布式表示真正的价值所在：它有通过概念来发现数据之间“语义相似性”的能力。
分布式表示的概念是深度学习的核心，特别是在它用于自然语言任务时。
如图同一组形状的分布式表示。它用与方向和形状概念相关的多个“记忆单元”表示形状的信息。“记忆单元”含有关于每个形状以及形状之间如何相互关联的信息。当通过分布式表示法（例如图3中的圆圈）来表示一个新形状时，我们不会再增加维度。而且即使我们之前没有见过圆，我们也知道关于圆的一些信息，因为它与其他形状有关。
分布式有点表示类似于二进制，对于一个二维空间，空间中的每个点都可以代表语义，N维向量有k个非0的取值维度，每个维度可以表示两个语义，两个维度可以代表四种语义....k维可以代表2的k次方个语义，而局部表示中k维智能表示k个语义。
神经网络能学习到分布式数据表示的能力是深度学习能对于许多不同类型的问题非常有效的主要原因之一。这个概念的力量和美感使得表示学习成为深度学习研究中最令人兴奋和最活跃的领域之一。学习跨多种领域（例如，单词和图像、不同语言的单词）的共享表示的方法正在推进添加图像字幕和机器翻译的进步。因此，可以肯定的是，更好地理解这些表示形式将持续作为推动人工智能发展的一个主要因素。
语义表示——神经网络与深度学习相关推荐
- 神经网络与深度学习笔记
1.神经网络 感知机就是一个人工神经元,是最简单的神经网络,可以用来解决简单"与"和"或"分类问题,但是无法解决"异或"逻辑分类问题这一基础 ...
- 【神经网络与深度学习摘要】第1章 绪论
[神经网络与深度学习摘要]第1章 绪论 文章目录 [神经网络与深度学习摘要]第1章 绪论 1.人工智能 1.1 图灵测试 1.2 人工智能的主要领域 1.3人工智能的发展历史 1.4 人工智能的流派 ...
- 豆瓣评分9.4！跟邱锡鹏教授一起学「神经网络与深度学习」，7月19日开课
我们经常会在后台收到一些比较简要的技术咨询,描述了是什么任务,发现用BERT粗暴精调效果不好之后,问我们有什么办法可以提升.我们: 在面对第一把梭就失败时,我们通常是这么判断的: 1. 如果效果差的很 ...
- 邱锡鹏《神经网络与深度学习》第一章 绪论
目录 1.1 人工智能 1.1.1 人工智能的发展历史 1.1.2 人工智能的流派 1.2 人工神经网络 1.3 机器学习 1.4 表示学习 1.4.1 局部表示和分布式表示 1.4.2 表示学习 1 ...
- 《神经网络与深度学习》—学习笔记
[nndl.github.io] [神经网络与深度学习] [nndl-book] 深度学习基础 深度学习是机器学习的一个分支,是指一类问题以及解决这类问题的方法. 深度学习问题是一个机器学习问题,指从 ...
- 《神经网络与深度学习》邱希鹏 学习笔记 (1)
<神经网络与深度学习>邱希鹏 学习笔记 (1) 完成进度 第一章 绪论 深度学习与神经网络 人工智能 图灵测试 达特茅斯 *(Dartmouth)* 会议 人工智能的研究领域 人工智能发展 ...
- 神经网络与深度学习(一)——机器学习基础
神经网络与深度学习 (一)--机器学习基础 1.人工智能基础概念 2. 机器学习 2.1 基本概念 2.2 机器学习的三个基本要素 2.2.1 模型 2.2.2 学习准则 2.2.2.1 损失函数 L ...
- 应用于语义分割问题的深度学习技术综述（语义分割综述）
应用于语义分割问题的深度学习技术综述 基本介绍 摘要 1 .引言 2.术语及背景概念 2.1 常见的深度网络架构 2.1.1 AlexNet 2.1.2 VGG 2.1.3 GoogLeNet 2.1 ...
- 应用于语义分割问题的深度学习技术综述
论文地址:https://arxiv.org/abs/1704.06857 应用于语义分割问题的深度学习技术综述 摘要 计算机视觉与机器学习研究者对图像语义分割问题越来越感兴趣.越来越多的应用场景需要 ...
- 深度学习概述-神经网络与深度学习学习笔记（一）
神经网络与深度学习学习笔记(一) 标签(空格分隔): 深度学习 最近在学习复旦邱锡鹏老师的<神经网络与深度学习>,并对书中推荐的论文进行了阅读.感觉这本书对深度学习讲解得很好,即有全面严谨 ...
最新文章
- 关于linux驱动程序的学习
- CV：计算机视觉技术之图像基础知识—以python的cv2库来了解计算机视觉图像基础
- php设置404返回302,java - 服务器访问应用返回302或者404状态码
- HDOJ 2049 不容易系列之(4)——考新郎
- MySQL数据类型--日期时间
- HALCON示例程序crystal.hdev通过局部阈值处理和区域处理提取六角形晶体
- python绘制直方图显示数字_python dataframe中各元素出现次数统计及画直方图
- mysql数据库引擎InnoDB和MyISAM
- Android 游戏开发之主角的移动与地图的平滑滚动（十五）
- 又一尴尬问题！不少用户反馈iPhone 12屏幕特别“黄”
- 自己动手系列——实现一个简单的ArrayList
- 2d游戏地图编辑器_C语言实现大型2D格斗游戏，1.8万行代码！
- 2020计算机二级取消vb,2020年计算机二级VB模拟试题及答案
- 九九乘法表Java代码
- Java文件上传数据库(并保存本地)、word转pdf并进行页面预览
- 游戏测试基础：适配性测试
- 如何安装python_如何安装Python？（第一节）
- 中国石油大学奥鹏《大学英语三》第一次在线作业
- JavaScript大师Nicholas C. Zakas又一大作出中文版了
- Dreamweaver cs 6无法添加浏览器 亲测有效！！！