use_one_hot_embeddings解析

为什么使用onehot或者tf.gather方法

BERT源码中构造模型时关于embedding的参数有一个为use_one_hot_embeddings。
这个参数值为Boolean类型的值，且默认为False。
具体的深层代码如下：

def embedding_lookup(input_ids,vocab_size,embedding_size=128,initializer_range=0.02,word_embedding_name="word_embeddings",use_one_hot_embeddings=False):"""Looks up words embeddings for id tensor.Args:input_ids: int32 Tensor of shape [batch_size, seq_length] containing word ids.vocab_size: int. Size of the embedding vocabulary.embedding_size: int. Width of the word embeddings.initializer_range: float. Embedding initialization range.word_embedding_name: string. Name of the embedding table.use_one_hot_embeddings: bool. If True, use one-hot method for word embeddings. If False, use `tf.gather()`.Returns:float Tensor of shape [batch_size, seq_length, embedding_size]."""# This function assumes that the input is of shape [batch_size, seq_length, num_inputs].## If the input is a 2D tensor of shape [batch_size, seq_length], we reshape to [batch_size, seq_length, 1].if input_ids.shape.ndims == 2:input_ids = tf.expand_dims(input_ids, axis=[-1])embedding_table = tf.get_variable(name=word_embedding_name,shape=[vocab_size, embedding_size],initializer=create_initializer(initializer_range))flat_input_ids = tf.reshape(input_ids, [-1])if use_one_hot_embeddings:one_hot_input_ids = tf.one_hot(flat_input_ids, depth=vocab_size)output = tf.matmul(one_hot_input_ids, embedding_table)else:output = tf.gather(embedding_table, flat_input_ids)input_shape = get_shape_list(input_ids)output = tf.reshape(output,input_shape[0:-1] + [input_shape[-1] * embedding_size])return (output, embedding_table)

当use_one_hot_embeddings参数设置为True时，则会在生成embedding时先生成一个对应的onehot张量，并用onehot 张量与embedding table相乘最终获得对应的embedding张量。

而当use_one_hot_embeddings参数设置为False时，则会直接利用tf.gather()方法在embedding table中将对应的embedding提取出来，组合成为对应的embedding张量。

其实两种方法殊途同归，为何要采用onehot的形式呢？

猜想的原因就在于使用TPU加速时，矩阵运算相较于切片运算更加快速，所以采用了onehot的方法。

BERT源码embedding_lookup解析相关推荐

iOS开发之Masonry框架源码深度解析
Masonry是iOS在控件布局中经常使用的一个轻量级框架,Masonry让NSLayoutConstraint使用起来更为简洁.Masonry简化了NSLayoutConstraint的使用方式,让 ...
【TarsosDSP】TarsosDSP 简介 ( TarsosDSP 功能 | 相关链接 | 源码和相关资源收集 | TarsosDSP 示例应用 | TarsosDSP 源码路径解析 )
文章目录 I . TarsosDSP 函数库简介 II . TarsosDSP 功能 III . TarsosDSP 相关资源链接 ( 官方资料 ) IV . TarsosDSP 源码和相关资源收集 ...
机器学习算法源码全解析（三）-范数规则化之核范数与规则项参数选择
前言参见上一篇博文,我们聊到了L0,L1和L2范数,这篇我们絮叨絮叨下核范数和规则项参数选择.知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大家不吝指正.谢谢. 机器学习算法源码全解析( ...
【NLP】NLP实战篇之bert源码阅读（run_classifier）
本文主要会阅读bert源码 (https://github.com/google-research/bert )中run_classifier.py文件,已完成modeling.py.optimiza ...
BERT源码分析（PART III）
写在前面继续之前没有介绍完的 Pre-training 部分,在上一篇中(BERT源码分析(PART II))我们已经完成了对输入数据的处理,接下来看看 BERT 是怎么完成「Masked LM」和 ...
从源码角度解析Android中APK安装过程
从源码角度解析Android中APK的安装过程 1. Android中APK简介 Android应用Apk的安装有如下四种方式: 1.1 系统应用安装没有安装界面,在开机时自动完成 1.2 网络下载 ...
Huggingface BERT源码详解：应用模型与训练优化
©PaperWeekly 原创 · 作者|李泺秋学校|浙江大学硕士生研究方向|自然语言处理.知识图谱接上篇,记录一下对 HuggingFace 开源的 Transformers 项目代码的理解. ...
dubbo源码深度解析_Spring源码深度解析：手把手教你搭建Spring开发环境
Spring环境搭建流程,如果是第一次接触spring源码的环境搭建,确实还是比较麻烦的. 作者使用的编译器为目前流行的lntelliJ IDEA,版本为2018旗舰版.Eclipse用户还需要自己揣 ...
Jdk1.8 JUC源码增量解析(1)-atomic-Striped64
转载自 Jdk1.8 JUC源码增量解析(1)-atomic-Striped64 功能简介: Striped64是jdk1.8提供的用于支持如Long累加器,Double累加器这样机制的基础类. S ...
Jdk1.8 JUC源码增量解析(2)-atomic-LongAdder和LongAccumulator
转载自 Jdk1.8 JUC源码增量解析(2)-atomic-LongAdder和LongAccumulator 功能简介: LongAdder是jdk1.8提供的累加器,基于Striped64实现. ...

BERT源码embedding_lookup解析

use_one_hot_embeddings解析

为什么使用onehot或者tf.gather方法

BERT源码embedding_lookup解析相关推荐

最新文章

热门文章