第11课：词句分布式表达—

下面两节课我将为大家介绍，如何基于 Deeplearning4j 的框架来实现词和句子的分布式/向量化建模。目前 Deeplearning4j 支持对词建模的 word2vec、GloVe，对文档建模的 doc2vec/paragraph2vec，以及对图结构进行建模的 DeepWalk 算法。在具体介绍这些建模工具之前，我们首先回顾下对文本建模的一些手段。本节课核心内容包括：

文本建模的词袋和词嵌入模型
word2vec 的原理与建模
GloVe 的原理与建模

11.1 文本建模的词袋和词嵌入模型

文本由很多的段落和很多的句子构成，同时，每个句子又由若干个词构成。因此在早期对文本建模时，很容易想到将一段文本表示成词的集合，也就是我们在 NLP 问题经常讲到的词袋模型（Bag of Words）。具体落地的时候，我们用一个很长的向量来表示这个词袋。向量中的每个索引位置即代表文本当中的词。那么每个位置的具体值可以看情况而定，我们可以直接用 0/1 来表示该词是否出现，也可以用 TF-IDF 的值来填充。

词袋模型是经典的文本特征表示方法。直到现在，基于词袋模型对长文本进行特征表示依然会取得非常好的效果。它的表示方法简单、直接、易于理解。但它的缺点其实也是很突出的，就是向量的维度很高，且容易忽略上下文的信息（可以基于一些如 N-Gram 的语言模型进行补充调整，但会加重高维的问题）。当然对于这些问题我们有些手段可以处理，例如对于高维灾难的问题可以借助于 PCA/SVD 进行降维，或者基于统计的一些方法进行特征抽取，这些在这里就不展开讨论了。

词的分布式表达/词嵌入是从另外一个角度来表示词或者文本，即对于每个词都用一个稠密向量来表示。这

第11课：词句分布式表达——词建模工具相关推荐

用计算机播放vcd教案,川教版信息技术七下第11课《CD与VCD播放》word教案1.docx
信息技术学科教学设计方案模板课题名称四川省义务教育信息技术教材七年级下册第11课CD与 VCD播放教师姓名刘社春学生年级七年级课时 1 教学内容分析认识CD播放器和媒体播放机,掌握 CD ...
用计算机播放vcd教案,川教版信息技术七下第11课《CD与VCD播放》教案.doc
川教版信息技术七下第11课<CD与VCD播放>教案整理第十一课CD与VCD的播放一.教学目标 1.知识与技能目标 (1)了解CD.VCD和DVD的区别学习播放CDVCD的操作: (2)音 ...
PyTorch 1.7发布，支持CUDA 11、Windows分布式训练
机器之心报道参与:魔王.小舟昨日,PyTorch 团队发布 PyTorch 1.7 版本.该版本增添了很多新特性,如支持 CUDA 11.Windows 分布式训练.增加了支持快速傅里叶变换(FF ...
太棒了！PyTorch 1.7发布，支持CUDA 11、Windows分布式训练
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:机器之心 AI博士笔记系列推荐周志华<机器学习> ...
调试断点_接口测试第11课（断点调试）
同学们,大家好,今天我们开始学习11课了,这节我们讲断点调试. 一．使用Fiddler进行HTTP断点调试. 这是Fiddler又一强大和实用的工具之一.通过设置断点,Fiddler可以做到: 1. ...
《实用C++》第11课：if 语句实现逻辑运算与冒号表达式
本文转载自:VC驿站 https://www.cctry.com/thread-279233-1-1.html 1.逻辑运算概述: 为什么会有逻辑运算呢?举个例子,上节课的一段小代码: int zha ...
ArchieOpenGL教程第11课：使用位图字体在屏幕上显示字体
第十一课A 源代码图像字体A: 这一课我们将创建一些基于2D图像的字体,它们可以缩放,但不能旋转,并且总是面向前方,但作为基本的显示来说,我想已经够了. 使用位图字体比起使用图形字体(贴图)看起来不 ...
「缠师课后回复精选」第11课：不会吻，无以高潮！
教你炒股票11:不会吻,无以高潮! 2006-11-29 12:00:00 本课精读详解参阅:「狩猎精读缠论」第11课不会吻,无以高潮! 甄别"早泄"男,必须要选择三个独立的系统 ...
第11课 Altium Designer20(AD20)+VESC6.4实战教程：绘制原理图8（北冥有鱼）
第11课 Altium Designer20(AD20)+VESC6.4实战教程:绘制原理图8(北冥有鱼)
国考省考行测：词句理解，词的对象指代，就近原则，主语一致法，语意语境分析上下文找出指代含义
国考省考行测:词句理解,词的对象指代,就近原则,主语一致法,语意语境分析上下文找出指代含义 2022找工作是学历.能力和运气的超强结合体! 公务员特招重点就是专业技能,附带行测和申论,而常规国考省考最 ...

第11课：词句分布式表达——词建模工具

11.1 文本建模的词袋和词嵌入模型

第11课：词句分布式表达——词建模工具相关推荐

最新文章

热门文章