机器学习解决问题思路 — 词嵌入矩阵E对于NLP问题的重要性

下面是我对机器学习解决问题的一个理解：

机器需要做的事：
现象1 —>数据结构1 —> 数据结构2 —> 现象2
1、从现象1—>数据结构1，为了让机器了解是一个什么现象，此过程如果能找到最本质的编码方式将是机器能够成功解决问题的基石，用RGB对图片的编码就是一种非常好的编码。
2、数据结构1—>数据结构2，根据不同的问题可能需要DNN、CNN、RNN等网络结构来找到这种映射关系。这种映射关系是为第3步服务的。
3、数据结构2—>现象2，现象2是针对于你想解决的问题所关注的现象，包含在现象1之中。数据结构2也非常重要，这关乎能否找到合适的Loss function来优化问题，得到映射关系的参数。

对于机器解决问题这3步都至关重要。关于NLP问题的解决，词嵌入矩阵E就相当于此处的数据结构1，但是比我说的最本质的编码要高级一些，这个矩阵会随着拿来训练的语料库变化，语料库会随着时代的变化而变化。这就是我所说的词嵌入矩阵E对于NLP问题的重要性，有了这个矩阵很多问题只需要很小的训练集也能训练出不错的效果。

对于NLP问题，数据结构1 —>数据结构2这个过程，使用LSTM单元的双向RNN是能解决绝大部分问题，当然对于比较复杂的问题也可以考虑Deep RNNs。
LSTM单元：

Bidirection RNN:

Deep RNN:

机器学习解决问题思路 — 词嵌入矩阵E对于NLP问题的重要性相关推荐

文本特征提取_02：Word2Vec词嵌入矩阵
王小草SparkML笔记笔记整理时间:2017年1月10日笔记整理者:王小草今日计事: 除开上周五在家工作,2017年的工作日从3号开始今天第5次上班迟到,无论起多早每天都是会迟几分钟.第一次挤 ...
词嵌入矩阵(Word Embeddings)的生成
词嵌入矩阵的学习词嵌入格式词嵌入矩阵的训练词嵌入词嵌入矩阵是自然语言处理里非常重要的东西.它可以帮助我们快速的使用小样本建立一个不错的自然语言处理任务.那么他是如何生成的呢. 格式词嵌入矩 ...
词嵌入和网络在NLP中贡献
本文解释如何应用神经网络并整合词嵌入到基于文本的应用中,还有一些主要暗含的好处. 首先词嵌入是词的密集向量表示,其中相似的词在向量空间中尽可能相似.例如在下图中,所有大型猫科动物在向量空间中都很相近. ...
深度学习实战讲词嵌入很好的 NLP电子书
http://yuedu.163.com/source/8ea77c19c3994b7f93b272dfb6017b69_4
文档词频矩阵_论文理解：从词嵌入到文档距离
论文作者简介本论文第一作者Matt J. Kusner是牛津大学的副教授,致力于设计适应现实世界问题需求的新机器学习模型(例如,fair algorithms, discrete generativ ...
[DeeplearningAI笔记]序列模型2.3-2.5余弦相似度/嵌入矩阵/学习词嵌入
5.2自然语言处理觉得有用的话,欢迎一起讨论相互学习~Follow Me 2.3词嵌入的特性 properties of word embedding Mikolov T, Yih W T, Zwe ...
word2vec python实现_教程 | 在Python和TensorFlow上构建Word2Vec词嵌入模型
原标题:教程 | 在Python和TensorFlow上构建Word2Vec词嵌入模型选自adventuresinmachinelearning 参与:李诗萌.刘晓坤本文详细介绍了 word2ve ...
深度学习笔记第五门课序列模型第二周自然语言处理与词嵌入
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
词嵌入向量WordEmbedding的原理和生成方法
词嵌入向量WordEmbedding的原理和生成方法 WordEmbedding的使用 WordEmbedding的生成词嵌入向量(WordEmbedding)是NLP里面一个重要的概念,我们可以利 ...

机器学习解决问题思路 — 词嵌入矩阵E对于NLP问题的重要性

机器学习解决问题思路 — 词嵌入矩阵E对于NLP问题的重要性相关推荐

最新文章

热门文章