word2vec的原理及实现(附github代码)
目录
一、word2vec原理
二、word2vec代码实现
(1)获取文本语料
(2)载入数据,训练并保存模型
① # 输出日志信息
② # 将语料保存在sentence中
③ # 生成词向量空间模型
④ # 保存模型
(3)加载模型,实现功能
(4)增量训练
最近要用到文本词向量,借此机会重温一下word2vec。本文会讲解word2vec的原理和代码实现。
本文提供的github代码链接:https://github.com/yip522364642/word2vec-gensim
在NLP中,要让计算机读懂文本语言,首先要对文本进行编码。常见的编码如独热编码(one-hot encoding),词袋模型(BOW,bag of words),词向量模型(word embedding)。而word2vec就是词向量模型中的一种,它是google在2013年发布的工具。
一、word2vec原理
word2vec工具主要包含两个模型:连续词袋模型(CBOW,continuous bag of words)和跳字模型(skip-gram)。如下图所示,左边蓝色部分代表CBOW模型,右边绿色部分代表Skip-gram模型。它们两者的区别是,CBOW是根据上下文去预测目标词来训练得到词向量,如图是根据W(t-2),W(t-1),W(t+1),W(t+2)这四个词来预测W(t);而Skip-gram是根据目标词去预测周围词来训练得到词向量,如图是根据W(t)去预测W(t-2),W(t-1),W(t+1),W(t+2)。根据经验,CBOW用于小型语料库比较适合,而Skip-gram在大型的语料上表现得比较好。
那具体是如何实现的呢?下文以CBOW模型为例,介绍各个步骤实现细节(具体公式先省略,有空再补上)
以上图为例,
① 输入层(Input layer):目标单词上下文的单词(这里显示三个),每个单词用ont-hot编码表示,为[1 * V]大小的矩阵,V表示词汇大小;
② 所有的ont-hot矩阵乘以输入权重矩阵W,W是[V * N]大小的共享矩阵,N是指输出的词的向量维数;
③ 将相乘得到的向量 ([1 * V] 的ont-hot矩阵乘上[V * N]的共享矩阵W) 相加,然后求平均作为隐层向量h, 大小为[1 * N];
④ 将隐层向量h乘以输出权重矩阵W',W'是[N * V]大小的共享矩阵;
⑤ 相乘得到向量y,大小为[1 * V],然后利用softmax激活函数处理向量y,得到V-dim概率分布;
⑥ 由于输入的是ont-hot编码,即每个维度都代表着一个单词,那么V-dim概率分布中,概率最大的index所指代的那个单词为预测出的中间词。
⑦ 将结果与真实标签的ont-hot做比较,误差越小越好,这里的误差函数,即loss function一般选交叉熵代价函数。
以上为CBOW生成词向量的全过程。如果我们只是想提取每个单词的向量,那么只需要得到向量y就可以了,但训练过程中要去做预测并计算误差,去求得输入权重矩阵W和输出权重矩阵W'。
二、word2vec代码实现
下文,我将介绍采用python的gensim包实现word2vec,并介绍相关函数功能。
(1)获取文本语料
本文采用网上的文本语料,语料大小将近100M,下载地址为http://mattmahoney.net/dc/text8.zip
下载之后,可以查看语料内容(看语料主要是为了清楚数据的格式是怎样的,方便后面模型的读取)
'''
1 获取文本语料并查看
'''
with open('text8', 'r', encoding='utf-8') as file:for line in file.readlines():print(line)
我们发现语料已经按空格分好词,并且去除了所有的标点符号,也没有换行符,如下所示为输出截图
(2)载入数据,训练并保存模型
'''
2 载入数据,训练并保存模型
'''
from gensim.models import word2vec
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO) # 输出日志信息
sentences = word2vec.Text8Corpus('text8') # 将语料保存在sentence中
model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4) # 生成词向量空间模型
model.save('text8_word2vec.model') # 保存模型
接下来逐个讲解每个代码的意思(非常重要!!!)
① # 输出日志信息
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
这一行表示程序会输出日志信息,形式(format)为日期(asctime):信息级别(levelname):日志信息(message),信息级别为正常信息(logging.INFO)。当然,logging.basicConfig函数里面可以添加各个参数,这里只添加了format参数,你也可以根据需要增加参数,建议只加自己想知道的东西,具体参考如下:
logging.basicConfig函数各参数:
filename: 指定日志文件名
filemode: 和file函数意义相同,指定日志文件的打开模式,'w'或'a'
format: 指定输出的格式和内容,format可以输出很多有用信息,如上例所示:%(levelno)s: 打印日志级别的数值%(levelname)s: 打印日志级别名称%(pathname)s: 打印当前执行程序的路径,其实就是sys.argv[0]%(filename)s: 打印当前执行程序名%(funcName)s: 打印日志的当前函数%(lineno)d: 打印日志的当前行号%(asctime)s: 打印日志的时间%(thread)d: 打印线程ID%(threadName)s: 打印线程名称%(process)d: 打印进程ID%(message)s: 打印日志信息
datefmt: 指定时间格式,同time.strftime()
level: 设置日志级别,默认为logging.WARNING
stream: 指定将日志的输出流,可以指定输出到sys.stderr,sys.stdout或者文件,默认输出到sys.stderr,当stream和filename同时指定时,stream被忽略logging打印信息函数:logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')
输出结果截图:
② # 将语料保存在sentence中
sentences = word2vec.Text8Corpus('text8')
这里采用的‘text8‘语料是已经按空格分好词,并且去除了所有的标点符号,也没有换行符,所以不需要任何的预处理。
对于大规模数据集,sentences可以采用word2vec.BrownCorpus(),word2vec.Text8Corpus()或word2vec.LineSentence()来读取;对于小规模数据集,sentences可以是一个List的形式,如sentences=[["I", "love", "China", "very", "much"], ["China", "is", "a", "strong", "country"]]。
③ # 生成词向量空间模型
model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4)
此行通过设置各个参数,来配置word2vec模型,具体参数的介绍如下:
'''
1.sentences:可以是一个List,对于大语料集,建议使用BrownCorpus,Text8Corpus或·ineSentence构建。
2.sg: 用于设置训练算法,默认为0,对应CBOW算法;sg=1则采用skip-gram算法。
3.size:是指输出的词的向量维数,默认为100。大的size需要更多的训练数据,但是效果会更好. 推荐值为几十到几百。
4.window:为训练的窗口大小,8表示每个词考虑前8个词与后8个词(实际代码中还有一个随机选窗口的过程,窗口大小<=5),默认值为5。
5.alpha: 是学习速率
6.seed:用于随机数发生器。与初始化词向量有关。
7.min_count: 可以对字典做截断. 词频少于min_count次数的单词会被丢弃掉, 默认值为5。
8.max_vocab_size: 设置词向量构建期间的RAM限制。如果所有独立单词个数超过这个,则就消除掉其中最不频繁的一个。每一千万个单词需要大约1GB的RAM。设置成None则没有限制。
9.sample: 表示 采样的阈值,如果一个词在训练样本中出现的频率越大,那么就越会被采样。默认为1e-3,范围是(0,1e-5)
10.workers:参数控制训练的并行数。
11.hs: 是否使用HS方法,0表示不使用,1表示使用 。默认为0
12.negative: 如果>0,则会采用negativesamp·ing,用于设置多少个noise words
13.cbow_mean: 如果为0,则采用上下文词向量的和,如果为1(default)则采用均值。只有使用CBOW的时候才起作用。
14.hashfxn: hash函数来初始化权重。默认使用python的hash函数
15.iter: 迭代次数,默认为5。
16.trim_rule: 用于设置词汇表的整理规则,指定那些单词要留下,哪些要被删除。可以设置为None(min_count会被使用)或者一个接受()并返回RU·E_DISCARD,uti·s.RU·E_KEEP或者uti·s.RU·E_DEFAU·T的函数。
17.sorted_vocab: 如果为1(defau·t),则在分配word index 的时候会先对单词基于频率降序排序。
18.batch_words:每一批的传递给线程的单词的数量,默认为10000
'''
④ # 保存模型
model.save('text8_word2vec.model')
将模型保存起来,以后再使用的时候就不用重新训练,直接加载训练好的模型使用就可以了。
下面会介绍加载模型后,直接使用word2vec来实现各个功能。
(3)加载模型,实现功能
'''
3 加载模型,实现各个功能
'''
# 加载模型
model = word2vec.Word2Vec.load('text8_word2vec.model')# 计算两个词的相似度/相关程度
print("计算两个词的相似度/相关程度")
word1 = 'man'
word2 = 'woman'
result1 = model.similarity(word1, word2)
print(word1 + "和" + word2 + "的相似度为:", result1)
print("\n================================")# 计算某个词的相关词列表
print("计算某个词的相关词列表")
word = 'bad'
result2 = model.most_similar(word, topn=10) # 10个最相关的
print("和" + word + "最相关的词有:")
for item in result2:print(item[0], item[1])
print("\n================================")# 寻找对应关系
print("寻找对应关系")
print(' "boy" is to "father" as "girl" is to ...? ')
result3 = model.most_similar(['girl', 'father'], ['boy'], topn=3)
for item in result3:print(item[0], item[1])
print("\n")more_examples = ["she her he", "small smaller bad", "going went being"]
for example in more_examples:a, b, x = example.split()predicted = model.most_similar([x, b], [a])[0][0]print("'%s' is to '%s' as '%s' is to '%s'" % (a, b, x, predicted))
print("\n================================")# 寻找不合群的词
print("寻找不合群的词")
result4 = model.doesnt_match("flower grass pig tree".split())
print("不合群的词:", result4)
print("\n================================")# 查看词向量(只在model中保留中的词)
print("查看词向量(只在model中保留中的词)")
word = 'girl'
print(word, model[word])
# for word in model.wv.vocab.keys(): # 查看所有单词
# print(word, model[word])
(4)增量训练
在使用词向量时,如果出现了在训练时未出现的词(未登陆词),可采用增量训练的方法,训练未登陆词以得到其词向量
'''
4 增量训练
'''
model = word2vec.Word2Vec.load('text8_word2vec.model')
more_sentences = [['Advanced', 'users', 'can', 'load', 'a', 'model', 'and', 'continue', 'training', 'it', 'with', 'more', 'sentences']]
model.build_vocab(more_sentences, update=True)
model.train(more_sentences, total_examples=model.corpus_count, epochs=model.iter)
model.save('text8_word2vec.model')
完整代码如下,github为:https://github.com/yip522364642/word2vec-gensim
# -*- coding: utf-8 -*-
# @Time : 2019/11/13 14:55
# @FileName: word2vec-gensim.py
# @Software: PyCharm
# @Author : yip
# @Email : 522364642@qq.com
# @Blog : https://blog.csdn.net/qq_30189255
# @Github : https://github.com/yip522364642import warningswarnings.filterwarnings("ignore")'''
1 获取文本语料并查看
'''
# with open('text8', 'r', encoding='utf-8') as file:
# for line in file.readlines():
# print(line)'''
2 载入数据,训练并保存模型
'''
from gensim.models import word2vec
import logging
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO) # 输出日志信息
sentences = word2vec.Text8Corpus('text8') # 将语料保存在sentence中
model = word2vec.Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4) # 生成词向量空间模型
model.save('text8_word2vec.model') # 保存模型'''
3 加载模型,实现各个功能
'''
# 加载模型
model = word2vec.Word2Vec.load('text8_word2vec.model')# 计算两个词的相似度/相关程度
print("计算两个词的相似度/相关程度")
word1 = 'man'
word2 = 'woman'
result1 = model.similarity(word1, word2)
print(word1 + "和" + word2 + "的相似度为:", result1)
print("\n================================")# 计算某个词的相关词列表
print("计算某个词的相关词列表")
word = 'bad'
result2 = model.most_similar(word, topn=10) # 10个最相关的
print("和" + word + "最相关的词有:")
for item in result2:print(item[0], item[1])
print("\n================================")# 寻找对应关系
print("寻找对应关系")
print(' "boy" is to "father" as "girl" is to ...? ')
result3 = model.most_similar(['girl', 'father'], ['boy'], topn=3)
for item in result3:print(item[0], item[1])
print("\n")more_examples = ["she her he", "small smaller bad", "going went being"]
for example in more_examples:a, b, x = example.split()predicted = model.most_similar([x, b], [a])[0][0]print("'%s' is to '%s' as '%s' is to '%s'" % (a, b, x, predicted))
print("\n================================")# 寻找不合群的词
print("寻找不合群的词")
result4 = model.doesnt_match("flower grass pig tree".split())
print("不合群的词:", result4)
print("\n================================")# 查看词向量(只在model中保留中的词)
print("查看词向量(只在model中保留中的词)")
word = 'girl'
print(word, model[word])
# for word in model.wv.vocab.keys(): # 查看所有单词
# print(word, model[word])'''
4 增量训练
'''
model = word2vec.Word2Vec.load('text8_word2vec.model')
more_sentences = [['Advanced', 'users', 'can', 'load', 'a', 'model', 'and', 'continue', 'training', 'it', 'with', 'more', 'sentences']]
model.build_vocab(more_sentences, update=True)
model.train(more_sentences, total_examples=model.corpus_count, epochs=model.iter)
model.save('text8_word2vec.model')
以上介绍了word2vec原理代码实现。
word2vec的原理及实现(附github代码)相关推荐
- yolov3网络结构图_目标检测——YOLO V3简介及代码注释(附github代码——已跑通)...
GitHub: liuyuemaicha/PyTorch-YOLOv3github.com 注:该代码fork自eriklindernoren/PyTorch-YOLOv3,该代码相比master分 ...
- Python 爬虫的工具列表( 附Github代码下载链接)
Python 爬虫的工具列表( 附Github代码下载链接) 这个列表包含与网页抓取和数据处理的Python库 网络 通用 urllib -网络库(stdlib). requests -网络库. gr ...
- 用LSTM做文本情感分类(以英文为例)附github代码
一 获得规整的数据集 1 原始数据预处理: 去除标点符号 .去停用词.大小写转换等 获得处理后的m条评价记录,reviews=["is good", "very happ ...
- 如何设计抗住100亿次请求的抢红包系统?(附GitHub代码)
1. 前言 前几天,偶然看到了 <扛住100亿次请求--如何做一个"有把握"的春晚红包系统">一文,看完以后,感慨良多,收益很多. 正所谓他山之石,可以攻玉, ...
- python cnn模型_CNN系列模型发展简述(附github代码——已全部跑通)
目录: 1 LeNet 2 AlexNet 3 VGG 4 GoogLeNet 5 ResNet 6 DenseNet 7 Non-Local Networks 8 Deformable Convol ...
- 阿里妈妈广告点击转化率(CTR)预估项目(附github代码)
赛题与数据:https://tianchi.aliyun.com/competition/entrance/231647/introduction?spm=5176.12281957.1004.3.3 ...
- 顶会快讯|5篇AAAI2020相关论文抢先看(附GitHub代码地址)
Top AI Papers with Code 整理:Marlin 内容:5篇AAAI论文简介+GitHub地址 本文继续整理了AAAI 2020在Github的热门项目,并按照整理时star的数量进 ...
- JIRA扩展定制入门知识分享,附Github代码库
JIRA是一款优秀的项目管理系统,功能全面,配置灵活,权限方案完善,可扩展.可定制. 总结分享JIRA和ScriptRunner结合的插件扩展方法: 通过代码实例演示JIRA组件调用方法 覆盖多个功能 ...
- [转] Python 爬虫的工具列表 附Github代码下载链接
转自http://www.36dsj.com/archives/36417 这个列表包含与网页抓取和数据处理的Python库 网络 通用 urllib -网络库(stdlib). requests - ...
最新文章
- D3D11中的硬件反锯齿 SSAA/MSAA/EQAA/CSAA(3)
- 6G网络智能内生的思考
- CentOS7编译安装LNMP
- Oracle优化01-引起数据库性能问题的因素
- c++ primer第四版上的内容质疑
- java常用代码总结
- 手机号、姓名、邮箱等合法性验证方法
- python安装robotframework报错_robotframework-autoitlibrary离线安装
- 局域网内数据采集总结(四)
- [淘宝商城首页]-图片灯箱明暗遮罩效果之jquery版
- 中级通信工程师报名-在线题库-历年真题-模拟试题
- 计算机专业人才需求调研背景,计算机专业人才需求调研报告
- 一套精美的私服发布网,适用任何游戏发布
- 李宏毅ML笔记14:降维/无监督-线性方法
- win7装xp双系统_UEFI新PC装Win7 32位系统:巧用”硬盘保护卡“解决
- fluent文件怎么导入matlab,matlab读取fluent数据 转载
- Python 架设网站
- 大学生个人博客网页设计模板 学生个人博客网页成品 简单个人网站作品下载 静态HTML CSS个人网页作业源代码
- 上市公司股利分红数据(1991-2020)
- html5 直线的两头弯曲,html5教程 (二)(canvas绘制简单的直线)