ChatGPT 最好的替代品
前两天我们邀请了微软工程师为我们揭秘 ChatGPT，直播期间有个读者问到：有了 ChatGPT，BERT 未来还有发展前途吗？我想起来最近读过的一篇博客“最好的 ChatGPT 替代品”。
不过聊到这俩模型，就不得不提到 Transformer。
作为当下最先进的深度学习架构之一，Transformer 被广泛应用于自然语言处理领域。它不但替代了以前流行的 RNN 和 LSTM，并且以它为基础衍生出了诸如 BERT、GPT-3、T5 等知名架构，最近爆火的 ChatGPT 就是基于 GPT-3.5 。
那 Transformer 是如何工作的呢？我们通过一个文本翻译实例来解释。
Transformer 由编码器和解码器两部分组成。假设我们需要将一个句子从英文翻译为法文。首先，我们需要将这个英文句子（原句）输进编码器。编码器将提取英文句子的特征并提供给解码器。最后，解码器通过特征完成法文句子（目标句）的翻译。
此方法看起来很简单，如何实现呢？Transformer 中的编码器和解码器是如何将英文转换为法文的呢？编码器和解码器的内部又是怎样工作的呢？
在 Transformer 中，编码器不止一个，而是由 N 个编码器串联而成。一个编码器的输出作为下一个编码器的输入。以此类推，原句中的特征会由最后一个编码器输出。编码器模块的主要功能就是提取原句中的特征。
然后我们将编码器分解，每一个编码器的构造都是相同的，包含多头注意力层和前馈网络层两部分：
这两部分是如何工作的？我们先来看多头注意力层，很显然，要了解多头注意力机制的工作原理，我们首先需要理解什么是自注意力机制。请看下面的例句：
A dog ate the food because it was hungry
（一只狗吃了食物，因为它很饿）
代词 it 可以指代 dog 或者 food。当读这段文字的时候，会自然而然地认为 it 指代的是 dog，而不是 food。但是计算机模型在面对这两种选择时该如何决定呢？这时，自注意力机制有助于解决这个问题。
我们的模型首先计算出句子中每个单词的特征值，即首先计算 A 的特征值，其次计算 dog 的特征值，然后计算 ate 的特征值……当计算每个词的特征值时，模型都需要遍历每个词与句子中其他词的“关系”，这个“关系”就能帮助计算机更好地理解当前词的意思。
比如计算 it 的特征值时，模型会将 it 与句子中的其他词一一关联，it 的特征值由它本身与句子中其他词的关系计算所得。通过关系连线，模型可以明确知道原句中 it 所指代的是 dog 而不是 food，这是因为 it 与 dog 的关系更紧密，关系连线相较于其他词也更粗。
到这里，我们已经初步了解了什么是自注意力机制，那它具体是如何实现的呢？
大家可以继续阅读《BERT基础教程：Transformer大模型实战》，作为 ChatGPT 的“同胞兄弟”，本书会带你理解与整合编码器、解码器，训练Transformer，简化自然语言处理任务！
这本书从深入解析Transformer 的编码器和解码器的组成部分开始，帮你理解自然语言处理模型的工作原理，同时由浅入深地介绍了 BERT 自然语言处理模型的工作原理、BERT 的各种变体及其应用。如果你希望了解：
如何训练 BERT 模型？
如何使用 BERT 模型执行自然语言推理任务、文本摘要任务、问答任务、命名实体识别任务等各种下游任务？
如何将 BERT 模型应用于不同的语言？
那么《BERT 基础教程》这本书将通过大量示意图、代码、实例，给你答案！
循序渐进，轻松上手
本教程由浅入深地介绍了有关 BERT 的各种概念、术语，能让你感受到是一个老师在一步步去引导你，然后亲手训练和理解BERT模型。
以简驭繁，逐步拆解
这本书对小白非常友好，通过大量的示意图，逐步拆解复杂原理
全面系统，技巧灵动
本书为大家呈现了多种下游任务，同时详细讲解十余种BERT变体的原理，随处可见作者实战多年凝练出的小技巧，让你运用起来更灵活
大量练习，运用自如
自己不上手试试，理论总会浮在书本上。本教程中包含了大量作者精心挑选的示例和习题，让你不仅能够全面了解有关BERT 的各种概念、术语和原理，还能够使用BERT 模型及其变体执行各种自然语言处理任务。
希望利用 BERT 超强的理解能力来简化自然语言处理任务的伙伴们，本书预售已开启，到手价 49.8！
小编提到的博客，详见：
https://www.digitaltrends.com/computing/the-best-chatgpt-alternatives-according-to-chatgpt/
ChatGPT 最好的替代品相关推荐
- 人工智能讲师AIGC chatGPT讲师叶梓：chatGPT原理与实践提纲
[课程简介] 本课程介绍了chatGPT相关模型的具体案例实践,通过实操更好的掌握chatGPT的概念与应用场景,可以作为chatGPT领域学习者的入门到进阶级课程. 详细提纲可威信了解详情amliy ...
- 国内外人工智能AI工具网站大全（一键收藏，应有尽有）
本文由 大侠(AhcaoZhu)原创,转载请声明. 链接: https://blog.csdn.net/Ahcao2008 国内外人工智能AI工具网站大全(一键收藏,应有尽有) 摘要 一.AI写作工具 ...
- Cursor——ChatGPT的替代品【笔记】
Cursor--ChatGPT的替代品[笔记] 前言 推荐 Cursor--ChatGPT的替代品 下载 登录 使用 高级 另外 最后 前言 2023-3-31 22:00:44 以下内容源自< ...
- ChatGPT替代品使用指南
今天发现一个免费又好用的ChatGPT替代品:Claude,功能一点不比gpt3.5差感觉,起码我今天的试用体验来说,我是从gpt刚出来的第一波基本就在使用了,现在平时工作遇到问题也会优先用gpt进行 ...
- 怒怼 OpenAI 之后，马斯克正招募团队研发 ChatGPT 替代品
整理 | 朱珂欣 出品 | CSDN程序人生(ID:coder_life) 众所周知,马斯克和 Sam Altman 在 2015 年共同创立了 OpenAI .然而,却因为特斯拉也在开发人工智能相关 ...
- 【AI热点技术】ChatGPT开源替代品——LLaMA系列之「羊驼家族」
ChatGPT开源替代品--LLaMA系列之「羊驼家族」 1. Alpaca 2. Vicuna 3. Koala 4. ChatLLaMA 5. FreedomGPT 6. ColossalChat ...
- 国产ChatGPT命名图鉴
很久不见这般热闹的春天. 随着ChatGPT的威名席卷全球,大洋对岸的中国厂商也纷纷亮剑,各式本土大模型你方唱罢我登场,声势浩大的发布会排满日程表. 有趣的是,在这些大模型产品初入历史舞台之时,带给世 ...
- 【ChatGPT调教】调教ChatGPT案例
如何向ChatGPT提问才能得到最符合你要求的内容?有不少同学都觉得ChatGPT回复的内容不痛不痒,看似有用但实际上又没有什么价值.其实ChatGPT真的很强,你之所以有这样的感觉是因为你不会提问. ...
- ChatGPT中文使用手册
简要介绍: First:什么是ChatGPT? ChatGPT是由OpenAI训练的一款大型语言模型,最新版为GPT3.5(公开版)和GPT4.0(PLUS会员版本) 它能够生成类似于人类写作的文本. ...
最新文章
- Centos7系统下httpd各种方式实现与配置
- 文件包含和文件上传结合
- atoi函数_吊打面试官 | 腾讯经典考点写代码实现atoi函数
- ThinkPHP6项目基操（10.不可预知的內部异常处理）
- java eml解析_javamail 收邮件 解析eml文件
- 【干货】小米用户画像实战.pdf（附下载链接）
- number 限制最长数字_阿博的Python之路Number数据类型详解
- ECshop sina
- Swift基础语法学习-4.Bool类型
- iOS TestFlight 使用详解
- python OJ 绝对值最大
- Tasking编译器开发TC275(Tricore)中使用自定义段
- 好玩的Java塔防游戏,根本停不下来！五款经典又好玩的塔防游戏推荐
- html作品源文件,编辑HTML源文件
- 常识-键盘锁定英文输入法,即使按shift也无法切换回中文
- 【ROM制作工具】小白轻松一键搞定纯净ROM刷机包
- 各种格式的文档互相转换(MOBI_to_PDF)
- oracle Day1
- windows双击运行python脚本_Python脚本不能通过双击Windows来执行
- CSP-J 2022复赛T2 解密--分析