2016-12-19

今天主要的工作有以下几部分：

1. 熟悉运行word2vec_basic版本，tf.nn.nce_loss（）函数返回的是batch的loss值，而因为词表太大不太适合做全局的softmax, 因此此处采取的是采样的方法，也就是经过一个正样本和多个随机采样的负样本来计算loss值，此处用的是sigmoid_cross_entropy_with_logits（）函数，因此在计算交叉熵的时候是每一个维度分别看作一个二值的概率分布。

2. 在训练的时候代码中输入的embedding参数和输出的embedding并不是相同的参数，而是分开训练的。为了看两者的区别，分别做了两个不同的实验，一个是输入输出参数分别训练，结果如上方图所示，另外一个则共用参数，结果如下方图所示。

3. word2vec是更复杂版本的，有多线程和处理大规模数据的操作。需要注意的是tensorflow中op用c语言来写，在编译的时候会把相应的c语言代码编入相应的库中可以调用。

4. 看了短文本相似度一些最近的文章，大概了解到之前的利用知识库的方法主要先计算不同词在知识库中的距离，之后再计算短文本之间的距离。而利用深度学习的方法也类似，是把词表示向量，之后再用不同的方法来计算短文本的距离，比如（加权平均，求和，卷积，RNN）等等。

2016-12-19相关推荐

U3D笔记11:47 2016/11/30-15:15 2016/12/19
U3D笔记11:47 2016/11/30-15:15 2016/12/19 技术BLOG:http://www.unity.5helpyou.com/2373.html#comment-43108 ...
【我的书】Unity Shader的书 — 目录（2016.5.19最后一次更新）
写在前面感谢所有点进来看的朋友.没错,我目前打算写一本关于Unity Shader的书. 出书的目的有下面几个: 总结我接触Unity Shader以来的历程,给其他人一个借鉴.我非常明白学Shad ...
【iOS工具】rvm、Ruby环境和CocoaPods安装使用及相关报错问题解决（2016 12 15 更新）...
〇.前言在iOS开发中 [CocoaPods](https://github.com/CocoaPods/CocoaPods) 作为库依赖管理工具就是一把利器. 有了 CocoaPods 则无需再通 ...
【跃迁之路】【674天】程序员高效学习方法论探索系列（实验阶段431-2018.12.19）...
@(收集箱(每日一记,每周六整理))专栏实验说明从2017.10.6起,开启这个系列,目标只有一个:探索新的学习方法,实现跃迁式成长实验期2年(2017.10.06 - 2019.10.06) ...
主成分分析（PCA）原理详解 2016/12/17 · IT技术 · 主成分分析, 数学分享到： 21 原文出处：中科春哥一、PCA简介 1. 相关背景主成分分析（Principa
主成分分析(PCA)原理详解 2016/12/17 · IT技术 · 主成分分析, 数学分享到:21 原文出处: 中科春哥一.PCA简介 1. 相关背景主成分分析(Principal Co ...
iOS 最新App提交上架流程及部分问题的解决方案2016.12.21，感谢原博主！！！
iOS 最新App提交上架流程及部分问题的解决方案2016.12.21,感谢原博主!!! 参考文章: (1)iOS 最新App提交上架流程及部分问题的解决方案2016.12.21,感谢原博主!!! ( ...
Interesting Finds: 2007.12.19
Other: 我不是一名互动设计师,但我曾经是... JavaScript: Working aroung the instanceof memory leak SQLServer: SQL Serv ...
raid卡组不同raid_DNF：12.19旭旭宝宝希洛克毕业，“终极伤害”出炉，比计算器还高...
在姚策划的指导下,旭旭宝宝终于希洛克三件套+残香武器毕业.此次不是金牌,而是开罐子毕业的.按照大硕的指导,打团或者是开罐子的时候,将戒指放到仓库里,果然这样就实现开罐子一发入魂.卢克西戒指毕业之后,宝 ...
【2016.12.09】博雅互动网页布局
1.html代码 <!DOCTYPE html> <html lang="en"> <head><meta charset="U ...
SFDC 微服务实践之路 2016.12.10 杭州（整理）--转
原文地址:http://mp.weixin.qq.com/s/8cC4Ewt6yPjnxdYxuNZlFQ 微服务是什么? 微服务是一种细粒度(Fine-Grain)的SOA 或许在座的高朋了解过其概 ...

2016-12-19

2016-12-19相关推荐

最新文章

热门文章