分布表示（distributional representation）与分布式表示（distributed representation）

2024-05-31 22:06:08

说在前面：真不是绕口令。

分布表示（distributional representation）

分布表示（distributional representation）：是基于分布假设理论，利用共生矩阵来获取词的语义表示，可以看成是一类获取词表示的方法。

什么是分布假说呢？词是承载语义的最基本的单元，而传统的独热表示（one-hot represen-tation）仅仅将词符号化，不包含任何语义信息。如何将语义融入到词表示中？Harris 在 1954 年提出的分布假说（distributional hypothesis）为这一设想提供了理论基础：上下文相似的词，其语义也相似。

“这里的分布”与中文“统计分布”一词语义对应，描述的是上下文的概率分布。用上下文描述语义的表示方法（或基于分布假说的方法）都可以称作分布表示，如潜在语义分析模型（Latent Semantic Analysis, LSA）、潜在狄利克雷分配模型（Latent Dirichlet Allocation，LDA）等。

分布式表示（distributed representation）

分布式表示（distributed representation），描述的是把文本分散嵌入到另一个空间，一般从是从高维空间嵌入到低维空间。

“嵌入”是几个意思？感觉跟塞入、挤入差不多呀。

还真是这样。如词的独热表示（one-hot representation），首先是高维的，且在高维向量中只有一个维度描述了词的语义。多高？词典有多大就有多少维，怎么也得万把维度吧。

如何在低维空间表达一个词呢？目前流行的是通过矩阵降维或神经网络降维将语义分散存储到向量的各个维度中，这两类方法得到的向量空间是低维的一般都可以称作分布式表示，又称为词嵌入（word embedding）或词向量）。

看吧，这就把词的表示从高维（5000-20000）嵌入到低维（50-300）。what？300维也叫低维？！是的，你没学过相对论? ^_^

这里的分布式（distributed）是“分散”、“分配”的意思，与中文“分布式计算”一词语义对应，与之相对的是局部表示（local representation）。

词嵌入vs词向量

还是叫词嵌入好点。词向量容易绕人。从广义上讲，传统的词袋子模型也是用向量描述文本，也应当被称作词的向量表示，但是这种向量是高维稀疏的。在目前的NLP语境中，“词向量”特指由神经网络模型得到的低维实数向量表示。

分布表示（distributional representation）与分布式表示（distributed representation）相关推荐

表示学习（Representation Learning）之局部表示（Local Representation）与分布式表示（Distributed Representation）
一个良好的表示是内容充分高效表达的基础,作为沟通计算机与现实世界的桥梁,计算机行业人员每时每刻都在研究事物的表示.比如:编程语言,早期的机器语言和现在的高级程序语言可以看作是指令的两种不同表示方式,从 ...
【word2vec】Distributed Representation——词向量
Distributed Representation 这种表示,它最早是 Hinton 于 1986 年提出的,可以克服 one-hot representation 的缺点. 其基本想法是: 通过训 ...
分布式事务(Distributed Transactions)概述
分布式事务是分布式领域必须要面对的问题,同时也是衡量一个分布式系统成熟度的重要指标.那么什么是分布式事务,哪些场景会涉及到分布式事务,如何实现分布式事务?本文将重点讨论以上问题. 分布式事务定义分布 ...
[wiki翻译]分布式人工智能-Distributed AI
分布式人工智能(DAI)也被叫做去中心化人工智能,他是人工智能研究领域的一个子领域,致力于开发分布式解决方案. DAI与多智能体系统(Multi-agent sytem)领域域切相关,并且是多智能体系 ...
何为分布式（Distributed）？
多次被同学问道,自己也多次疑惑,每次查后又常常会忘记,所以,特此整理. WiKipedia上这么说: 在计算机科学中,分布式计算(英语:Distributed computing,又译为分散式计算)这 ...
分布式锁(Distributed Lock)理论介绍
在多线程环境中,线程之间通常使用互斥锁实现共享资源的独占访问.在多进程环境,特别是分布式环境,常使用分布式锁来实现共享资源的独占访问.简单来说,分布式锁就是指在分布式环境下,通过加解锁实现多节点对共享 ...
长尾分布系列论文解析（一）Decoupling Representation and Classifier for Long-Tailed Recognition
大纲引言分类问题中的长尾分布采样策略解耦训练实验结果总结引言看了挺多长尾分布的论文,从中获益匪浅,长尾分布的问题并不仅仅只局限于早期的分类问题之中,而是广泛存在于深度学习的多项任务之 ...
分布式（distributed）是什么意思？
分布式计算是计算机科学中一个研究方向,它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分,然后把这些部分分配给多个计算机进行处理,最后把这些计算结果综合起来得到最终的结果. 参考文章 ...
分布式操作层Distributed Operation Layer（DOL）入门
DOL是什么? 分布式操作层DOL是一个编程框架,用于自动将应用自动映射到多处理器SHAPES框架平台上,主要由3个部分组成: (1)DOL应用编程接口定义了一系列的编程接口,让编程人员可以在不了解 ...

最新文章

热门文章