来源：新智元

【导读】NLP模型提供商Cohere宣布获得4000万美元A轮融资。该公司由谷歌大脑前员工创立，核心模型源自Transformer，并获得了Geoffrey Hinton，李飞飞等AI界重量人物的支持。

近日，自然语言处理 (NLP) 预训练模型提供商 Cohere 宣布了 4000 万美元的 A 轮融资。此次融资由 Index Ventures 领投，Section 32、Radical Ventures等参投。Index 合伙人 Mike Volpi 加入 Cohere 董事会。

Cohere在业界源自名门，其核心NLP模型正是源自Google Brain开发的Transformer，它可以理解、比较和生成复杂的文本，并不断改进训练数据。

Cohere的主要服务是提供预训练模型，模型已经过数亿份网页的阅读训练，能理解我们使用的词语的含义、情感和语气。用户无需超算基础设施，也不需要AI专业知识，就能通过API实现最先进的NLP 功能。

此外，Cohere还获得了多位人工智能界的重量级人物的支持，包括AI先驱人物、图灵奖获得者 Geoffrey Hinton，以及李飞飞、Pieter Abbeel 和 Raquel Urtasun 等。

Hinton就此表示了支持，他表示：“超大语言模型让计算机能够更好地理解人类交流， Cohere 的团队正在构建的技术，将使自然语言理解的这场革命获得更加广泛地应用。”

Cohere由两位前 Google Brain 研究人员Aidan Gomez 和 Nick Frosst和前Cortex工程师Ivan Zhang创立，其使命是制造能够“理解世界”的机器，并让所有人都能安全地获取这种服务。

源自Transformer：尖端NLP模型，拿来即用，安全方便

Cohere 现任CEO Gomez认为，Transformer 模型的问题之一，就是需要大量的训练数据和算力。

“没有人可以方便访问这些高质量的自然语言模型；即使是Facebook、亚马逊、苹果、Netflix 和谷歌等科技巨头也不行。我们想要做的是，支付这台超级计算机的成本，并让所有人都可以访问，否则这些技术就得不到真正利用。”

Gomez表示，在架构层面，这些模型的设计不仅可以收集单个单词的含义，还可以收集这个单词在其他单词的上下文中的含义。

在Transformer架构的基础上，性能更强大的BERT诞生了，它可以用于理解几乎所有 Google 搜索功能中的查询结果。

BERT的模式是，首先通过处理来自网络的大量文本来训练 Transformer 模型，然后输入完整的句子，但故意省略一些单词，然后让模型找到最合适的单词来填空。

“这种模型真正学会了理解语言，因为需要学习在上下文中理解适合该句子的内容。”在找词填空时，模型必须学会区分大量候选词之间的细微差别。在此过程中，模型学习了大量关于候选词及其所代表的事物和想法的有关知识。

Gomez 说：“在另一端，BERT对单词含义和特征的编码表示形式是非常丰富的，因为模型的全部目的就是要预测这些空白，这真的需要了解这些候选词到底是什么。”

GPT-3是“作文机器”，Cohere是“全能机器”

而与另一个广受欢迎的NLP模型GPT-3相比，Cohere也有一些相似之处，GPT-3在去年发布时凭借其显示出了令人惊叹的文本生成能力。该模型由OpenAI 开发，两者都使用来自网络的大量文本进行了预训练，并且都通过 API形式提供。

而据Gomez介绍，二者之间的主要不同在于，GPT-3 是一种“生成”模型，旨在根据用户提供的提示，创建出从左到右移动的文本——类似于一台强大的自动写作机器。但其实，文本生成只是NLP的众多应用方向之一，Cohere 提供的是一个类似“全栈”NLP功能的平台，包括情感分类、问答和文本分类等。

如何防止NLP模型“学坏”

去年，大型 NLP 模型的批评者对网络上的大量文本进行了训练，结果发现模型在学习中学会了训练数据中的人或观点的固有偏见，随后引发了大量争议。

Gomez并不回避这个问题，他坦言，训练模型确实可能会学会不该学的东西。除了会吸收互联网文本中的固有偏见之外，还可能吸收不经意间包含在训练数据中的错误信息。

为此，Cohere开发了新工具，并投入大量时间来确保模型不会摄取到这些不良数据。Cohere在模型发布前会实施质量控制测试，查找问题，在模型发布后也会继续监控。此外还将发布“数据声明”，内容包括有关训练数据、其局限性和任何风险的信息。

目前，李飞飞领导下的斯坦福大学的一个新团队已经成立，主要就是研究与 BERT 和 GPT-3 等“基础”技术相关的风险。

参考链接：

https://financialpost.com/globe-newswire/cohere-raises-40-million-in-series-a-financing-to-make-natural-language-processing-safe-and-accessible-to-any-business-led-by-index-ventures-other-investors-include-p-32-ai-focused-radical-ve

https://www.fastcompany.com/90670635/ex-googlers-raise-40-million-to-democratize-natural-language-ai

推荐阅读

• 【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！

• 年薪制，博士38万/年，硕士23万/年，南方某高校

• 香港大学赵恒爽助理教授招收CV/ML等方向全奖博士生、博士后

• MLP进军下游视觉任务！目标检测与分割领域最新MLP架构研究进展！

• 北京大学智能计算与感知实验室招收博士、硕士、本科实习生

• 北京大学崔斌教授组招收图机器学习、AutoML等方向科研实习生

• 香港科技大学Minhao Cheng助理教授招收全奖博士生、硕士生

• 清华大学智能产业研究院AI医疗团队招聘知识图谱方向实习生

• 博士申请 | 香港中文大学LaVi实验室招收2022年秋季入学博士生、硕士生

• 周志华教授：如何做研究与写论文？（附完整的PPT全文）

• 都2021 年了，AI大牛纷纷离职！各家大厂的 AI Lab 现状如何？

• 常用 Normalization 方法的总结与思考：BN、LN、IN、GN

• 注意力可以使MLP完全替代CNN吗？ 未来有哪些研究方向？

欢迎大家加入DLer-Transformer&预训练大模型交流群！

群里会第一时间发布最新的Transformer以及预训练大模型的前沿论文解读及交流分享会，主要设计方向有：图像分类、Transformer、知识图谱、GAN、超分辨率、视频超分、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。

进群请备注：研究方向+学校/公司+昵称（如Transformer+上交+小明）

???? 长按识别，邀请您进群！