保姆级教程:硬核图解Transformer
一、前言
今天的主角是 Transformer
。
Transformer
可以做很多有趣而又有意义的事情。
比如 OpenAI
的 DALL·E
,可以魔法一般地按照自然语言文字描述直接生成对应图片!
输入文本:鳄梨形状的扶手椅。
AI 生成的图像:
两者都是多模态的应用,这也是各大巨头的跟进方向,可谓大势所趋。
Transformer
最初主要应用于一些自然语言处理场景,比如翻译、文本分类、写小说、写歌等。
随着技术的发展,Transformer
开始征战视觉领域,分类、检测等任务均不在话下,逐渐走上了多模态的道路。
Transformer
近两年非常火爆,内容也很多,要想讲清楚,还涉及一些基于该结构的预训练模型,例如著名的 BERT
,GPT
,以及刚出的 DALL·E
等。
它们都是基于 Transformer
的上层应用,因为 Transformer
很难训练,巨头们就肩负起了造福大众的使命,开源了各种好用的预训练模型。
我们都是站在巨人肩膀上学习,用开源的预训练模型在一些特定的应用场景进行迁移学习。
篇幅有限,本文先讲解 Transformer
的基础原理,希望每个人都可以看懂。
后面我会继续写 BERT
、GPT
等内容,更新可能慢一些,但是跟着学,绝对都能有所收获。
还是那句话:如果你喜欢这个 AI 算法系列教程,一定要让我知道,转发在看支持,更文更有动力!
二、Transformer
Transformer
是 Google
在 2017
年提出的用于机器翻译的模型。
Transformer
的内部,在本质上是一个 Encoder-Decoder
的结构,即 编码器-解码器
。
Transformer
中抛弃了传统的 CNN
和 RNN
,整个网络结构完全由 Attention
机制组成,并且采用了 6
层 Encoder-Decoder
结构。
显然,Transformer
主要分为两大部分,分别是编码器和解码器。
整个 Transformer
是由 6
个这样的结构组成,为了方便理解,我们只看其中一个Encoder-Decoder
结构。
以一个简单的例子进行说明:
Why do we work?
,我们为什么工作?
左侧红框是编码器,右侧红框是解码器,
编码器负责把自然语言序列映射成为隐藏层(上图第2步),即含有自然语言序列的数学表达。
解码器把隐藏层再映射为自然语言序列,从而使我们可以解决各种问题,如情感分析、机器翻译、摘要生成、语义关系抽取等。
简单说下,上图每一步都做了什么:
输入自然语言序列到编码器: Why do we work?(为什么要工作);
编码器输出的隐藏层,再输入到解码器;
输入 <
保姆级教程:硬核图解Transformer相关推荐
- 硬核图解,再填猛男,YOLO详解!
PS:大司马金轮,技术教程:点击查看 大家好,我是 Jack. 承诺的图解 AI 算法系列教程,今天咱们继续! 这个系列一直写的比较随性,想写哪个算法就写了哪个,毫无章法. 「修炼开始」一文带你入 ...
- 【图解SHA1杂凑算法】SHA1杂凑算法的Python实现保姆级教程 | 物联网安全 | 信息安全
系列索引:[图解安全加密算法]加密算法系列索引 Python保姆级实现教程 | 物联网安全 | 信息安全 起初写实验时找到的代码大多基于c/c++,python可参考的资料很少,所以借着这次实验的机会 ...
- ACME网站证书自动化保姆级教程
更好的阅读体验和更多文章请移步Blog: https://blog.zhou.icu/archives/acme网站证书自动化保姆级教程 本文参考(复制)自:使用 GitHub Actions 自动申 ...
- 搭建个人网站 保姆级教程(一)云服务器购买以及环境部署
搭建个人网站 保姆级教程之云服务器购买以及环境部署 1. 云服务器 1.1 云服务器购买 1.2 云服务器远程连接 1.2.1 Mac系统 Royal TSX 下载安装 1.2.2 详细配置 1.2. ...
- CSGO饥荒服务器搭建保姆级教程
CSGO&饥荒服务器搭建保姆级教程 准备 第一步:软硬件 软件:Xshell.Xftp用于连接云服务器和进行文件传输. 进去填写邮箱,他会给你发个邮件,通过邮件获得下载链接,通过下载链接下载X ...
- 数仓建设保姆级教程,离线和实时一网打尽(理论+实战)
本文大纲: 因内容较多,带目录的PDF查看是比较方便的,点击下方链接获取完整PDF版: 数仓建设保姆级教程PDF文档 一.数仓基本概念 1. 数据仓库架构 我们在谈数仓之前,为了让大家有直观的认识,先 ...
- 转载 硬核图解!30张图带你搞懂!路由器,集线器,交换机,网桥,光猫有啥区别?
硬核图解!30张图带你搞懂!路由器,集线器,交换机,网桥,光猫有啥区别?... 煎鱼(EDDYCJY) 于 2022-01-17 08:51:00 发布 1219 已收藏 22 文章标签: 交换机 网 ...
- 万字长文:Stable Diffusion 保姆级教程
万字长文:Stable Diffusion 保姆级教程 2022年绝对是人工智能爆发的元年,前有 stability.ai 开源 Stable Diffusion 模型,后有 Open AI 发布 C ...
- mac中Typora+PicGo图床+gitee 保姆级教程
查看全文 http://www.taodudu.cc/news/show-5900829.html 相关文章: 使用Typora+PicGo+Gitee打造全新Markdown博客创作环境 今天码云( ...
最新文章
- docker(4)docker的网络,自定义网桥
- Java 异常处理中对于 finally 的一些思考
- 白话经典算法系列之六 高速排序 高速搞定
- 查看计算机CPU、内存使用情况
- SAP WebIDE UI5应用的几种启动方式
- 男人对待恋爱的不同阶段......
- 《数学与生活》的3本书籍
- Win2008r2 由ESXi 转换到 HyperV的处理过程
- EndnoteX9修改风格
- Filenet 周报(12.02-12.08)
- Django 3.2正式发布! 附中文文档链接地址!
- java 定时任务假死 定时任务阻塞 线程池消失
- 谷歌学术首页url爬取
- Drillbeach---第二章 Drillbench 5.1 Dynaflodrill 用户指南
- BehaviorTree + Groot 在ros中的运用
- Gene Pattern
- nacos与eureka的区别
- MP2451问题记录
- 电脑录音,台式电脑如何录音_怎么电脑录音-win7之家
- Interval (mathematics)
热门文章
- 01 微架构教务系统——概览
- 助力企业智能自动化,中国RPA厂商榜单发布 | 重磅榜单
- Synchro Conversion of Time Difference
- Business Editions和Consumer Editions区别介绍
- esriControlsMousePointer控制鼠标指针选项
- esp32录音功能开发_【安信可ESP32语音开发板专题①】ESP32-A1S音频开发板之离线语音识别控制LED灯...
- 论文撰写中的问题汇总
- 基于图像的人数统计方法
- python练习9 Open3D处理
- 在编程语言中的数学问题
- 硬核图解,再填猛男,YOLO详解!