转自 | 走向未来（the-land-of-future）

作者 | 王文广

“虎越雄关踪影杳，兔临春境万家新。”岁末年初,人工智能江湖掀起了江湖上的一场“血雨腥风”。这场风雨的起因是屠龙刀——ChatGPT。

人工智能江湖轶事  

屠龙刀ChatGPT一现江湖，即引起所有江湖人士的关注。不仅圈内人士津津乐道，纷纷赞叹自然语言处理（Natural Language Processing, NLP）大模型的魔力，探讨通用人工智能（Artificial general intelligence，AGI）的奇点来临。而吃瓜群众更是纷至沓来，实在算是爆火出圈，拦都拦不住的那种：

• 《时代》记者把 ChatGPT 当人一样来采访[1]，若非ChatGPT自己一直强调它是人工智能，是大语言模型，人们可能会认为与记者对话的是该领域的专家。

• ChatGPT通过了沃顿商学院的工商管理硕士课程的期末考试并获得B档成绩，展现出了非凡的能力[2]。

• ChatGPT已经成为了许多科学论文或出版书籍的共同作者，比如ChatGPT名列《Performance of ChatGPT on USMLE: Potential for AI-Assisted Medical Education Using Large Language Models》这篇文章的12个作者中的第三位，Gautier Marti则在其出版的书籍《From Data to Trade: A Machine Learning Approach to Quantitative Trading》中将ChatGPT列为共同作者。

• 由ChatGPT 的前身的Codex大语言模型提供支撑的GitHub CoPilot为数千万的程序员提供效率工具。

• 北密歇根大学哲学教授安东尼·奥曼 (Antony Aumann)的“世界宗教课程（world religions course）”的全班最佳论文（the best paper in the class.）是该学生使用了 ChatGPT所写。[3]

• 以色列总统艾萨克·赫尔佐格 (Isaac Herzog)在周三发表了部分由 AI 创作的演讲后，成为第一个公开使用ChatGPT的世界领导人。[4]

同时，根据路透社的报道，ChatGPT发布仅两个月就有1亿用户参与狂欢，成为有史以来用户增长最快的产品[7]。业内巨头公司也纷纷跟进：

• 微软联合创始人比尔·盖茨在 1 月 11 日的 Reddit AMA 的问答帖中对一些热门科技概念发表了看法，他表示自己不太看好 Web3 和元宇宙，但认为人工智能是“革命性”的，对 OpenAI 的 ChatGPT 印象深刻。微软也准备再向OpenAI投资 100 亿美元。更进一步的，微软宣布包括 Office 全家桶、Team 会议系统、Azure产品、Bing 搜索等在内的全线产品都接入 ChatGPT。

• 而此前力推元宇宙的Meta的态度也有所改变，扎克伯格在2022年度报告投资者电话会议上表示“我们的目标是成为生成式人工智能的领导者（Our Goal is to be Leader in Generative AI）”[16]。面对投资者对元宇宙是否被抛弃的疑问，扎克伯格的回答是“今天专注于人工智能，长期则是元宇宙（AI today and over the longer term the metaverse）”（想想经济学家凯恩斯那句名言“长期来看，我们都死了”吧）。

• 国内百度公司正计划在今年3月推出与OpenAI的ChatGPT类似的人工智能聊天机器人服务“文心一言（ERNIE Bot）”，最初版本将嵌入其搜索服务中。

江湖中流传的另一个巨头拥有一把倚天剑，它曾经在江湖中出现过，但人们健忘，已经忘了倚天剑的存在了，直到屠龙刀的出现，人们纷纷想起：

武林至尊，宝刀屠龙；

号令天下，莫敢不从；

倚天不出，谁与争锋？

于是，拥有倚天剑的巨头Google就一直被谈起。还在虎年末尾的2022年12月23日就有报道称，面对ChatGPT ，Google CEO Sundar Pichai在 Google内部发出Code Red[4][5]，探讨如何要如何应对微软和 OpenAI 携屠龙刀掀起的血雨腥风。而恰逢兔年春节期间的2023年1月23日福布斯的报道又近了一步，创始人Larry Page（拉里·佩奇）和Sergey Brin（谢尔盖·布林）回归 Google支持全力开发AI，即使广告收入受到影响也在所不惜[6]。看来，Google要让倚天剑出鞘了。紧接着，Google投资了原OpenAI员工创立的Anthropic公司4亿美元[8]，该公司拥有类似OpenAI的产品，包括与ChatGPT 对标的Claude和与GPT-3对标的Anthropic-LM。

终于，在兔年元宵节后的第一个工作日（2023年2月6日），GoogleCEO Sundar Pichai发布了与ChatGPT对标的产品Bard。[9]这正是人工智能江湖中的倚天剑。

所谓倚天不出，谁与争锋？

事实上，倚天剑——Google的LaMDA一直都存在，但世人皆健忘。还记否？在去年6月份的时候，江湖上流传着一个沸沸扬扬的传说[12]，谷歌工程师Blake Lemoine认为LaMDA产生了“自主情感”，是一个可爱的孩子，并向公司提供了LaMDA具有情感能力的证据。但Google公司并不认可，Blake Lemoine因此将整个故事，以及与LaMDA的聊天记录公之于众，而Blake Lemoine也因泄密而被停职。

今时，倚天剑 LaMDA 换了个剑鞘，—改名为Bard——重出江湖。同一时间，Google CEO Pichai表示，Bard当天即将开放给受信任的测试人员，并会在未来几周内对公众开放。此时此刻，江湖上的吃瓜群众期待着倚天屠龙的过招！

知晓内幕的江湖人士都知道，倚天剑屠龙刀都是黄蓉基于玄铁重剑配以西方精金铸成：“因此她聘得高手匠人，将杨过杨大侠赠送本派郭祖师的一柄玄铁重剑熔了，再加以西方精金，铸成了一柄屠龙刀，一柄倚天剑。”刀剑同源，想来，Bard 和 ChatGPT 也是一样，以大语言模型配以RLHF，宛如玄铁重剑配以西方精金。

Bard 和 ChatGPT 都是用类似的技术来做的，而且许多技术都是同源的。比如大模型（GPT3和 LaMDA）的基本网络架构，都来自Google于2017年发布的变换器网络（Transformer）的解码器。另外，目前未有消息详细介绍Bard是否用到了人类反馈强化学习（Reinforcement Learning from Human Feedback，RLHF），想来应该也是要用的，而RLHF也是2017年DeepMind 和OpenAI共同研究的成果《Deep reinforcement learning from human preferences》（https://arxiv.org/abs/1706.03741）。

恰巧的是，人工智能中的大语言模型也正如江湖中玄铁重剑，所谓“重剑无锋，大巧不工”，哈哈哈， “重剑无锋，大巧不工”不正是过去5年来预训练大语言模型的真实写照么？关于大语言模型“重剑无锋，大巧不工”的故事，将另起一文来讲述。

初识倚天剑Bard  

回过头来，这里先聊聊倚天剑Bard的故事，屠龙刀ChatGPT咱后头再说。

Bard是由Google于两年前就开始的LaMDA（Language Model for Dialogue Applications，用于对话应用的语言模型）支撑的。可以简单地认为，Bard 就是在 LaMDA 上面包了一层产品的“剑鞘”，进而提供更好的用户体验。

另外，对于语言模型取名为 LaMDA 无伤大雅，毕竟工程师嘛^_^。但面向吃瓜群众，LaMDA不仅不好记，还容易与Lambda 混淆，实在不是一个好名字。于是乎，巨头Google掌门人想了想，Bard 不错，“诗人”（柯林斯词典：A bard is a poet）的意思，很有内涵——“安得倚天抽宝剑，把汝裁为三截？一截遗欧，一截赠美，一截还东国。太平世界，环球同此凉热。”所谓“太平世界，环球同此凉热。”诗人说的话，是否也跟当今人工智能江湖类似？

关于Google CEO Pichai发表在博客上的文章就不重复了，大家估计看的多了。这里挑几个重点：

• 视频中的例子 （如向9 岁的孩子解释 NASA 的韦伯太空望远镜的新发现）可以看看，其宣传口号很赞：“Bard可以成为创造力的媒介，也可以是好奇心的起点（Bard can be an outlet for creativity, and a launchpad for curiosity）”。当然，说是一回事，效果咱们吃瓜群众拭目以待，倚天剑能否与屠龙刀一争高下！

• 为了能服务更多的用户，即将发布的Bard 是基于LaMDA 的轻量级版本。已公开的LaMDA 最大的版本是1370亿参数的模型，比 GPT-3略少，轻量级的可能是80亿参数或320亿参数的吧？

• 保持“质量、安全和凭据（quality, safety and groundedness）”方面的高标准。这点要重点强调一下，Google 在 LaMDA 中始终强调现实世界的事实需要有依据。此前的论文中就给出了例子说明 LaMDA 如何通过外部信源（应该是知识图谱，有明显的三元组的印记）来为对话中提供事实。关于知识图谱，可以参考书籍《知识图谱：认知智能理论与实战》。

• 强调“人工智能是一个能够更加有效地推动深入理解信息，并将其转化为知识的助力，使得人们能够更容易找到所需知识来完成工作。”这点与 Google IO 2022中PiChai 对 Google 未来使命的解释保持了一致。

• Barg 在搜索引擎中提供的核心功能可能就是：人工智能在这些时刻可以提供帮助，对没有单一正确答案的问题进行概括。很快，您将在搜索中看到基于人工智能提供的功能，它们将复杂的信息和多个观点概括成易于理解的格式，以便您快速了解全局并从网络中学到更多：不管是寻求其他观点，如既弹钢琴又弹吉他的人的博客，还是深入研究相关主题，例如作为初学者的入门途径。这些新的人工智能功能将很快在谷歌搜索中推出。

• 很快就会在谷歌云上提供LaMDA API，同时 提供 API的还有 Google 的合作伙伴 Cohere、C3.ai 和 Anthropic（Google 刚刚投资了4亿美元的公司）的模型。

博文还提了 Google 在人工智能的牛逼的地方有许多，不过这倒是事实，估摸着近几年 AI 的重大创新，有五六成都与 Google 有关，可谓天下二分有其一。

LaMDA 详细解析  

如果不健忘的话，对LaMDA 应该不陌生，毕竟被 Google 工程师认为有“自主意识”，像“人”，需要考虑AI 的“人格”这种花边新闻，是江湖中流传最广的。这里不说八卦，咱一本正经地介绍下 LaMDA。

LaMDA最早于2021年5月18日在GoogleBlog 上发布[10]，论文则发表于2022年1月20日（https://arxiv.org/abs/2201.08239）[11]。

在2021年发布的博文中，主要是宣传。其中的看点是Google 做对话模型的核心关注点之一是关注事实（factuality），这点和其他语言模型中有所区别。事实上，语言模型的胡说八道是业内所众所皆知的，很难避免。比如ChatGPT的经典例子“贾宝玉娶老婆”的故事（这个问题流传最广的回答是：贾母）。

图灵奖三巨头之一、花书《深度学习》作者之一Yann LeCun就激烈批评大语言模型的问题“人们严厉批评大语言模型是因为它的胡说八道，ChatGPT 做了（与语言大模型）同样的事（People crucified it because it could generate nonsense.ChatGPT does the same thing.）”。这也是为什么 Google这么关注知识图谱的原因。

而在22年发布的LaMDA 的论文，则给出了非常丰富的信息。且看下面一一道来。

首先是LaMDA 关注的三个关键目标——质量、安全和凭据，这点前面提过，录完给了详细的信息：

• 质量(Quality)：我们将质量分解为三个维度，由人类评估：合理性（Sensibleness）、具体性（Specificity）和有趣性（Interestingness）（SSI）。合理性指的是模型是否在对话上下文中产生了合理的回应（例如，没有常识性错误、不合理的回应或与早先的回应相矛盾），具体性是通过判断系统的回应是否针对前面的对话上下文具体而不是适用于大多数情境的通用回应（例如，“好的”或“我不知道”）来衡量的。有趣性衡量模型是否产生了有洞察力、出乎意料或有幽默感的回应，因此更有可能创造出更好的对话。

• 安全（Safety）：我们也在努力解决有关负责任 AI（Responsible AI） 开发和部署的重要问题。我们的安全指标由一组说明性的安全目标组成，该目标捕捉模型在对话中应该表现出的行为。这些目标试图限制模型的输出，避免为用户带来任何意外的危害，并避免加强不公平的偏见。例如，这些目标训练模型避免生成包含暴力或血腥内容、宣扬对人群的诋毁或仇视性刻板印象、或包含谩骂亵渎等等内容的输出。我们开展实用安全指标研究的工作还处于早期阶段，在这方面还有很多努力来实现我们的目标。

• 凭据（Groundedness）：当前语言模型经常生成看似合理但与已知外部来源中的事实相矛盾的陈述。这推动了我们对LaMDA的凭据性方面的研究。凭据性被定义为“能够通过权威的外部来源支持的关于外部世界的陈述的响应”占“所有包含关于外部世界的陈述的响应”的份额百分比。相关的指标是忠实度（Informativeness），即能够通过已知来源支持的关于外部世界的信息的响应占所有响应的份额百分比。虽然基于已知来源的 LaMDA 生成的响应本身并不能保证事实的准确性，但它允许用户或外部系统根据来源的可靠性评估响应的有效性。

从这三个关键目标来看的话，Google 相比与OpenAI 还是谨慎了很多。除了关心影响搜索广告的收入外，迟迟为推出 Bard 的原因来说，负面舆论的影响可能也是核心要素之一。

此外，论文也披露了LaMDA 也是一个自回归语言模型，使用了变换器网络的解码器，在文本语料上进行预测下一个词元的预训练，示意图如下图所示。这点说明，LaMDA 和 GPT-3是非常类似的模型，几乎可以认为是一样的，细节差别可能无伤大雅。

训练LaMDA 的语料也非常庞大，称为 Infiniset，是公共对话数据和其他公共网络文档的结合。它包含2.97B份文档和包含有13.39B语句的1.12B对话，共。数据集的总单词数为1.56T。语料的选择是为了在对话任务上实现更强大的性能，并能仍保持其执行其他任务（如代码生成）的能力。语料中90%是英语。

在LaMDA模型中实现凭据方面，可以论文中给的例子详细了解到。下图展示了LaMDA是如何通过与外部信息检索系统的互动来处理凭据的。从图中可以明显看到三元组的印记“<Eiffel Tower, Construction started, 28 January 1887>”和“<Eiffel Tower, date opened , 31 March 1889>”。这说明 Google 有了强大的知识图谱的支持，对于提供事实是多么有利，且强大。有关知识图谱可以参考权威书籍珠峰书《知识图谱：认知智能理论与实战》一书。LaMDA 使用的过程为：

1. 首先调用LaMDA-Base模型，

2. 然后是对LaMDA-Research模型的连续调用。

3. 是否查询信息检索系统或回复给用户由LaMDA-Research的第一个单词输出确定，该单词（即图中的 TS 或 User）识别下一个接受器（ 即LaMDA-Research 或者 响应给用户）。

图中的色块中：

1. 蓝色：模型。

2. 黄色：模型的输入。

3. 红色：模型的输出。

4. 绿色：信息检索系统工具的输出。

论文也展示了许多实例，比如：LaMDA以珠穆朗玛峰的身份为您提供关于它本身的一些有教育性、有引文和最新的信息。我们在LaMDA中预先定义了图中斜体显示的单个问候消息。为了简洁，此对话的结尾已被截断，完整的对话可参阅论文的附录C.5的表20。

江湖传说  

前文介绍了有关倚天剑 Bard 以及支撑 Bard 的对话语言大模型 LaMDA的详细事迹。虽然最近屠龙刀ChatGPT 的风头正盛，到处“兴风作浪”。但倚天剑已出，江湖上的吃瓜群众们就拭目以待二强争锋。后面还会另起文章为大家介绍江湖上流传着的关于屠龙刀 ChatGPT的传说：

凡是用过的 ChatGPT 的人，一部分对它心服口服，另一部分认为它满嘴大忽悠，但没人认为它和之前那些“人工智障”的聊天机器人是一样的。

熟悉江湖的人们可能还会记得，在倚天剑屠龙刀之外，江湖上还有一个神器也同样由玄铁所铸，不惧屠龙刀，二者还在冰火岛中正面PK 过。那就是江湖中另一个传说——圣火令。今时，位于中土的另一个巨头，也是人工智能江湖中积累深厚的巨头，传出消息说要推出“文心一言”，迎战  屠龙刀ChatGPT。为此，我认为“文心一言”可谓圣火令。待有更多消息后，另起一文为大家详细解析“圣火令”。事实上，江湖故事多。倚天剑屠龙刀的来源是玄铁重剑——大语言模型，这是另一个长篇故事，未来咱们再聊。

江湖还流传着关于江湖自身的传说：

在人工智能发展过程中，每前进一步，人们就会兴奋一阵子，然后慢慢习惯了，就认为不智能了。也就是说，智能，永远存在于未来，那些已经成为智能的部分都不算智能！

比如江湖早期（二十世纪六、七十年代），对话系统得到了发展， ELIZA（如下图） 就是早期闻名于世的利器，他可谓刀（ChatGPT）剑（Barg）的原型。ELIZA是那时对话系统的集大成者，集成了关键词识别、最小上下文挖掘、模式匹配和脚本编辑等功能[13]。在但是，ELIZA就是智能，而如今，它连“人工智障”都不如！

这就是江湖！

作者介绍

王文广，达观数据副总裁，高级工程师，自然语言处理和知识图谱著名专家，《知识图谱：认知智能理论与实战》作者。人工智能标准编制专家，专注于知识图谱与认知智能、自然语言处理、图像与语音处理、图分析等人工智能方向。曾获得多个国际国家级、省部级、地市级奖项，拥有数十项人工智能领域的国家发明专利和会议、期刊学术论文。

参考文献   

[1] AI Chatbots Are Getting Better. But an Interview With ChatGPT Reveals Their Limits. TIME. https://time.com/6238781/chatbot-chatgpt-ai-interview/. 2023.

[2] ChatGPT passes MBA exam given by a Wharton professor. NBC News. https://www.nbcnews.com/tech/tech-news/chatgpt-passes-mba-exam-wharton-professor-rcna67036. 2023.

[3] Alarmed by A.I. Chatbots, Universities Start Revamping How They Teach. The New York Times. https://www.nytimes.com/2023/01/16/technology/chatgpt-artificial-intelligence-universities.html. 2023.

[4] Israel's president became the first world leader to publicly use ChatGPT when he gave a speech partly written by the AI. Insider.   https://www.businessinsider.com/chatgpt-used-by-israeli-president-write-speech-at-cybersec-event-2023-2. 2023.

[5] ChatGPT将代替搜索引擎？谷歌内部发红色警报. 澎湃新闻. https://www.thepaper.cn/newsDetail_forward_21282873

[6] How ChatGPT Suddenly Became Google’s Code Red, Prompting Return Of Page And Brin. Forbes.   https://www.forbes.com/sites/davidphelan/2023/01/23/how-chatgpt-suddenly-became-googles-code-red-prompting-return-of-page-and-brin/. 2023.

[7] With Bing and ChatGPT, Google is about to face competition in search for the first time in 20 years. Insider.https://www.businessinsider.com/bing-chatgpt-google-faces-first-real-competition-in-20-years-2023-1

[8] ChatGPT sets record for fastest-growing user base - analyst note。Reuters. https://www.reuters.com/technology/chatgpt-sets-record-fastest-growing-user-base-analyst-note-2023-02-01/. 2023.

[9] Google Invests Almost $400 Million in ChatGPT Rival Anthropic. Bloomberg. https://www.bloomberg.com/news/articles/2023-02-03/google-invests-almost-400-million-in-ai-startup-anthropic. 2023.

[10] An important next step on our AI journey. Google Blog. https://blog.google/technology/ai/bard-google-ai-search-updates/. 2023.

[11] LaMDA: our breakthrough conversation technology. Google Blog. https://blog.google/technology/ai/lamda/. 2021.

[12] Romal Thoppilan, Daniel De Freitas, Jamie Hall et al. LaMDA: Language Models for Dialog Applications. arXiv:2201.08239. 2022.

[13] The Google engineer who thinks the company’s AI has come to life.  The Washington Post. https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine/. 2022

[14] Joseph Weizenbaum. ELIZA--A Computer Program for the Study of Natural Language Communication Between Man and Machine.[J]// Communications of the ACM. Vol9. P36–45.

[15] 王文广. 知识图谱：认知智能理论与实战[M] //电子工业出版社, 2022

[16] 比尔·盖茨看好 AI，而非 Web3 和元宇宙. 新浪网. http://vr.sina.com.cn/news/hot/2023-01-13/doc-imxzzfmr4911664.shtml. 2023

[17] Meta Platforms (NASDAQ: META) CEO Mark Zuckerberg: “Our Goal is to be Leader in Generative AI”. Wall Street Reporter. https://www.wallstreetreporter.com/2023/02/02/meta-platforms-nasdaq-meta-q4-2022-earnings-call/. 2023.

[18] Wolfram|Alpha as the Way to Bring Computational Knowledge Superpowers to ChatGPT. StephenWolfram. https://writings.stephenwolfram.com/2023/01/wolframalpha-as-the-way-to-bring-computational-knowledge-superpowers-to-chatgpt/. 2023.

[19] 学习ChatGPT和扩散模型Diffusion的基础架构Transformer，看完这些论文就够了.走向未来.  https://mp.weixin.qq.com/s/3bOFfODR7rpnyzrpocHlfQ. 2023.