假设我们在做一个从中文翻译到英文的过程，我们的词表很简单如下：

中文词表：[机、器、学、习] 英文词表[deep、machine、learning、chinese]

先来看一下Transformer的整个过程：

接下来，我们将按顺序来讲解Transformer的过程，并配有配套的excel计算过程和tensorflow代码。

先说明一下，本文的tensorflow代码中使用两条训练数据（因为实际场景中输入都是batch的），但excel计算只以第一条数据的处理过程为例。

1、Encoder输入

Encoder输入过程如下图所示：

首先输入数据会转换为对应的embedding，然后会加上位置偏置，得到最终的输入。

这里，为了结果的准确计算，我们使用常量来代表embedding，假设中文词表对应的embedding值分别是：

位置偏置position em

使用Excel和TF实现Transformer！相关推荐

通俗易懂！使用Excel和TF实现Transformer
作者 | 石晓文转载自小小挖掘机(ID:wAIsjwj) 本文旨在通过最通俗易懂的过程来详解Transformer的每个步骤! 假设我们在做一个从中文翻译到英文的过程,我们的词表很简单如下: 中文词 ...
阿里深度序列匹配模型SDM：如何刻画大型推荐系统的用户行为？
作者 | 石晓文来源 | 小小挖掘机(ID:wAIsjwj) 今天给大家介绍的论文是:<SDM: Sequential Deep Matching Model for Online Large ...
Python最抢手、Java最流行、Go最有前途，7000位程序员揭秘2019软件开发现状
作者 | 屠敏整理来源 | JetBrains 出品 | CSDN(ID:CSDNnews) 互联网的下半场,科技公司为面对更加严峻的竞争环境,越来越重视开源节流.而对于身处其中且撑起 IT 半边 ...
如何向妈妈解释什么是爬虫
作者 | 猪哥来源 | 裸睡的猪(ID:IT--Pig) 前段时间我妈突然问我:儿子,爬虫是什么?我当时既惊讶又尴尬,惊讶的是为什么我妈会对爬虫好奇?尴尬的是我该怎么给她解释呢? 一.爬虫介绍 1. ...
一步步教你怎么用Python写贪吃蛇游戏
(图片下载自视觉中国) 作者 | 上海小胖来源 | Python专栏(ID:xpchuiit) 目录 0 引言 1 环境 2 需求分析 3 代码实现 4 后记 0 引言前几天,星球有人提到贪吃蛇, ...
香港的房价真的那么贵吗？用数据挖掘真相！
作者 | 挖数来源 | 挖数(公众号id:washu66) 香港位于广东深圳的南边,面积是1106平方公里,比中国的四大一线城市都小. 不仅面积小,其人口密度也大,香港每平方公里的人口数比四大一线城 ...
小小挖掘机年度账单请查收～～
年度记忆小小挖机掘年度回忆滑动解锁回忆 1 2019.01.15,2019年第一篇原创出炉 RS Meet DL(29)--协同记忆网络理论及实践 2 2019.04.21 单篇原创阅读 ...
13大技能助你成为超级数据科学家！（附链接）
翻译 | 张睿毅校对 | 王威力来源 | 数据派THU(ID:DatapiTHU) 好的数据科学家和超级数据科学家有什么区别? 发布在领英上的问题令人惊讶的是,我得到了许多来自不同行业的顶级数据 ...
文档在线预览（二）word、pdf、excel文件转html以实现文档在线预览
文章目录一.前言 1.aspose 2 .poi + pdfbox 3 spire 二.将文件转换成html字符串 1.将word文件转成html字符串 1.1 使用aspose 1.2 使用poi ...

使用Excel和TF实现Transformer！

1、Encoder输入

使用Excel和TF实现Transformer！相关推荐

最新文章

热门文章