Word2vec 讨论
我没有在自然语言处理完成。但基于Deep Learning 关注,自然知道一些Word2vec强大。
Word2vec 是google 在2013年提供的一款将词表征为实数值向量的高效工具。而Word2vec输出的词向量可用于做NLP 相关的工作。比方聚类、找同义词、词性分析等。Word2vec 大受欢迎的一个原因是其高效性。 Tomas Mikolov 在[1] 中指出一个优化的单机版本号一天能够训练上千亿词(汗!
)。
关于词的概念。这里的词能够并不一定真的就是单词,全然能够是具有一定意义的单元块,比方国外音乐站点就用word2vec来训练用户的听歌记录。这里的单元块就是歌曲编号。假设用户对音乐类型的喜好是一致的,那么训练后就能找到与某个歌曲相似的歌曲,这样就能给用户进行推荐了。相信类似这种样例还有非常多。
(关于这点思考:词能够使一个标号或者理解为一个类的对象!
)
先上图:
个人感觉这个解说的非常具体~
注意:1。 输入为一个窗体的待预測上下文
2. 输入层Wj 是维度为K的列向量,(syn0 编码?)如有 N个输入词。则输入大小为k*N
3. 隐层 Tk 是输入层Wj 的加权,隐层大小为N*k
4. 输出层的叶节点是语料里的词,如红楼梦分词后的独立词
5. 叶节点有唯一的编码。从根节点開始算第一层(二叉树构建算法 Huffman树)
理解非常浅显~
以后持续更新~
參考:
[1]Distributed Representations of Words and Phrases and their Compositionality (经典论文)
[2] Felven----再谈word2vec (Felven word2vec 系列非常实践)
[3] Felven----关键词聚类
[4] Felven-----红楼梦人物关系
[5] word2vec傻瓜剖析 (个人认为还是先看看Felven的实验后。再看这个比較有感觉点!)
[6] 有道的word2vec 解说 (非常具体。几个DL大牛的关系图非常有意思!
)
[7] word2vec 代码解说,英文的!
[8]深度学习Word2vec 笔记之算法具体解释!
[9] word2vec 的Windows 编译的版本号
[10] word2vec使用指导 (zhoubl668的博客,有好几篇是介绍Word2vec的,值得推荐。)
[11] Deep Learning in NLP (一)词向量和语言模型 (非常具体!
)
如转载,请标明转自:http://write.blog.csdn.net/postedit/41078835
版权声明:本文博客原创文章,博客,未经同意,不得转载。
本文转自mfrbuaa博客园博客,原文链接:http://www.cnblogs.com/mfrbuaa/p/4645727.html,如需转载请自行联系原作者
Word2vec 讨论相关推荐
- 理解 Word2Vec 之 Skip-Gram 模型
20211003 NLP系列:Word2Vec原始论文:Efficient Estimation of Word Representations in Vector Space - 简书 原始论文翻译 ...
- 收藏 | 图解Word2vec,读这一篇就够了!
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:大数据文摘 ...
- word2vec相似度计算_图解word2vec(原文翻译)
文章转载自公众号 机器学习初学者 , 作者 机器学习初学者 自2013年以来,word2vec一直是一种有效的词嵌入的方法,本文把word2vec用图解的方式进行,全篇没有数学公式,非常通俗易懂,推荐 ...
- Word2Vec揭秘: 这是深度学习中的一小步,却是NLP中的巨大跨越
作者:Suvro Banerjee编译:ronghuaiyang 导读 做NLP现在离不开词向量,词向量给了我们一个非常好的单词的向量表示,用一个有限长度的向量,可以表示出所有的词,还可以表示出词与词 ...
- 让你上瘾的网易云音乐推荐算法,用Word2vec就可以实现
上个周被网易云音乐的听歌报告刷屏,文摘菌这才发现,朋友圈不乏年度听歌成千上万的音乐重度患者.这群人可能中的不是音乐的毒,而是这套个性化音乐推荐算法真的太懂你. 这也又引起了一波对推荐算法的讨论.本文作 ...
- word2vec 中的数学
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包,它简单.高效,因此引起了很多人的关注.由于 word2vec 的作者 Tomas Miko ...
- word2vec python实现_教程 | 在Python和TensorFlow上构建Word2Vec词嵌入模型
原标题:教程 | 在Python和TensorFlow上构建Word2Vec词嵌入模型 选自adventuresinmachinelearning 参与:李诗萌.刘晓坤 本文详细介绍了 word2ve ...
- 秒懂词向量Word2vec的本质
[NLP] 秒懂词向量Word2vec的本质 穆文 4 个月前 转自我的公众号: 『数据挖掘机养成记』 1. 引子 大家好 我叫数据挖掘机 皇家布鲁斯特大学肄业 我喝最烈的果粒橙,钻最深的牛角尖 -- ...
- 小白看Word2Vec的正确打开姿势|全部理解和应用
有个用心的读者最近做了一篇论文,想知道Word2Vec的相关理论和应用方法,作为一个有强迫症的我,去翻查了大量的文献资料,决定从Word2Vec的上下文来温习一下这个NLP的基础以及做相关的知识体系的 ...
最新文章
- python名称由来_Python的由来与使用介绍
- matlab pdist函数官方详解
- 异步GridView(ASPxGridView) 特点介绍(2) - 筛选(Filter)、弹出编辑(Editing)
- [ python ] 正则表达式及re模块
- mikrotik ros ***借线
- python 3 廖雪峰博客笔记(三) 命令行模式与交互模式
- Fiddler抓包使用教程-Android应用抓包
- 团队任务3:每日立会(2018-10-25)
- 从无到有写一个运维APP(三)完结篇
- Memcache简介
- 自然语言处理 —— 2.7负采样
- 高等组合学笔记(六): 第二类Stirling数,第一类Stirling数以及生成函数
- torch.Tensor.scatter_(dim, index, src, reduce=None)
- OpenStack - 学习经验总结
- python深度学习库系列教程——python调用opencv库教程
- 金河电站被困216小时女工获救生还记
- Linux 用户文件磁盘网络进程指令
- java 如何将base64 转成图片并保存,返回地址入库
- PPT模板的动画去掉或更改
- 【JAVA】Java中switch的用法。
热门文章
- C++ STACK Queue
- 0-100之间的素数、判断素数的基本和优化方法
- Win32 ListView控件基本使用
- Windows内核对象管理
- DebugView调试C#程序 学习总结
- osgearth入门图解-用VC++做一个地球出来
- idea中Could not autowire. No beans of 'xxxxMapper' type found.问题解决
- Scanner 中next()和nexline()方法的区别
- CodeMirror的使用方法
- springboot项目更改代码后实时刷新问题