120G+训练好的word2vec模型（中文词向量）

从网上了解到，很多人缺少大语料训练的word2vec模型，在此分享下使用120G+语料训练好的word2vec模型。

训练语料：

百度百科800w+条，20G+
搜狐新闻400w+条，12G+（数据下载链接见其它博文）
小说：90G左右

模型参数：

window=5
min_count=5
size=64
ps：其它参数见gensim库，执行代码为：Word2Vec(sentence, window=5, min_count=5,size=64, workers=4)

其它相关：

分词词典使用了130w+词典。分词代码：jieba.lcut(sentence)，默认使用了HMM识别新词；
剔除了所有非中文字符；
最终得到的词典大小为6115353；
目前只跑了64维的结果，后期更新128维词向量；
模型格式有两种bin和model；

下载链接：链接: https://pan.baidu.com/s/1eUgu8Cy 密码: 4is8

本文转自 https://weibo.com/p/23041816d74e01f0102x77v#_loginLayer_1515659232344

120G+训练好的word2vec模型（中文词向量）相关推荐

基于word2vec的中文词向量训练
基于word2vec的中文词向量训练使用katex解析的数学公式,csdn好像不支持 word2vec来源 Google开源可以在百万数量级的词典和上亿的数据集上进行高效地训练该工具得到的训练结 ...
word2vec 构建中文词向量
2019独角兽企业重金招聘Python工程师标准>>> word2vec 构建中文词向量词向量作为文本的基本结构--词的模型,以其优越的性能,受到自然语言处理领域研究人员的青睐.良 ...
【深度学习】120G+训练好的word2vec模型（中文词向量）
很多人缺少大语料训练的word2vec模型,在此分享下使用268G+语料训练好的word2vec模型. 训练语料: 百度百科800w+条,26G+ 搜狐新闻400w+条,13G+ 小说:229G+ i ...
torchtext处理文本数据——使用自己的word2vec模型作为词向量建立词表（学习二）
首先复制上一篇博客的完整代码,代码如下: 注:如果有不明白的地方请参考上一篇博客--torchtext处理文本数据--构造dataset读取文本(学习一) 数据源和解释都在上一篇博客中 from to ...
从利用gensim 训练好的word2vec模型中取出向量并计算余弦相似度，Levenshtein distance 计算
1.Levenshtein distance 表示两个字符串之间,由一个转成另一个所需的最少编辑次数,允许的操作有:替换.插入和删除导入包: import Levenshtein #Levensht ...
AAAI 2018 论文 | 蚂蚁金服公开最新基于笔画的中文词向量算法
导读:词向量算法是自然语言处理领域的基础算法,在序列标注.问答系统和机器翻译等诸多任务中都发挥了重要作用.词向量算法最早由谷歌在2013年提出的word2vec,在接下来的几年里,该算法也经历不断的改 ...
清华词向量库_word2vec 构建中文词向量
词向量作为文本的基本结构--词的模型,以其优越的性能,受到自然语言处理领域研究人员的青睐.良好的词向量可以达到语义相近的词在词向量空间里聚集在一起,这对后续的文本分类,文本聚类等等操作提供了便利,本文 ...
268G+训练好的word2vec模型（中文词向量）
268G+训练好的word2vec模型( 从网上了解到,很多人缺少大语料训练的word2vec模型,在此分享下使用268G+语料训练好的word2vec模型. 查看全文 http://www.ta ...
word2vec训练中文词向量
词向量作为文本的基本结构--词的模型.良好的词向量可以达到语义相近的词在词向量空间里聚集在一起,这对后续的文本分类,文本聚类等等操作提供了便利,这里简单介绍词向量的训练,主要是记录学习模型和词向量的保 ...

120G+训练好的word2vec模型（中文词向量）

120G+训练好的word2vec模型（中文词向量）相关推荐

最新文章

热门文章