这个月,OpenAI 公布已久的 GPT-2 终于是在放出了两个能够供研究人员研究的模型,两个模型的大小不同,一个是小型模型,一个是中型模型,其中中型模型包含 3.45 亿参数。

GPT-2 是 OpenAI 最新研究出来的一个在自然语言处理领域迄今为止规模最大的一个通用语言模型,其完整版的参数能达到 15 亿之多

迄今为止,OpenAI 都不准备公开 GPT-2 的完整版模型,因为他们担心这个强力的 AI 会对整个社会产生极大的危害。

那么问题来了,这个 GPT-2 到底是什么东西,能够让它的开发者都感到害怕呢?人类是不是已经打开了人工智能这个潘多拉魔盒?

GPT-2 这个通用语言模型的主要用于预测文本,即运行在这一模型上的 AI 会基于一些现有的文本去猜想它后面会是什么。

这个 AI 的工作有一些像我们大脑组织语言功能,我们人类在组织语言的时候,往往是基于某一个题目、某一个事件、某一个想法、某一个上文、某一个外界刺激等对语言组织,对于 AI,或者对于 GPT-2 这个模型来说,这些就是所谓的「输入」。

之后我们的大脑会在非常快的时间里基于记忆和掌握的语言处理能力生成一个句子,其中「记忆」为我们组织语言提供素材,而「语言处理能力」则能保证生成出来的句子是合乎规则的。

对于 GPT-2 这个模型来说,OpenAI 使用了海量的文本对它进行训练,在反复的训练中,AI 会对它学习过的文本产生一定程度的「记忆」,最终这些「记忆」会被一并保存在模型文件中。

在组织语言的过程中,AI 会依据输入的不同基于计算进入神经网络内不同的节点,进而得到不同的输出。

在这个过程中,当神经网络的某一个节点被激活时,其相关的「记忆」也会被激活。这个「记忆」实际上是神经网络中节点与节点之间的连接的权值,也就是上文中我们提到的「参数」。

这样的「参数」越多,意味着 AI 将拥有越多的记忆,它能理解、记住的东西也就越多。

然而,对于 GPT-2 这样的模型来说,光有「记忆」是不够的,要想让 AI 具有组织语言的能力,它还需要拥有「语言组织能力」。

这个能力同样也同样是由训练获得的,在训练的过程中,AI 的「记忆」不单单记忆下了那些文本表达的内容,也同步记忆下了文本的规则、特征。

在我们的语言学中,这些规则、特征被归纳总结成了各种语法、文法,在 AI 领域内,这就是所谓的「抽取特征」。AI 能够自主学习到它能够理解的「语法」,但是这个「语法」和我们平时说的语法有很大的区别,因为 AI 根本就不知道什么主谓宾,它抽取出的特征是基于数学的、融合到整个神经网络模型中的东西。

只要研究人员的训练方式是正确的、他们的训练方式能够引导 AI 从文本中抽取到正确的特征、学习到正确的规律,那么这个 AI 在经过长时间、大规模的训练后就能够拥有处理语言、组织语言的能力。

GPT-2 正是研究人员通过新的训练方式,在扩大训练规模后得到的产物。

上述笔者的描述还是比较表面、笼统的,用人工智能来进行自然语言处理(NLP)是一件非常复杂的事情,为了找到这个「正确的训练方式」,研究人员需要付出大量的努力,同时由于整个神经网络规模十分庞大,它也需要巨大的算力作为支撑。

GPT-2 的本质不是一个人工智能,它只是一个静态的、可复制的「AI 的记忆」,但只要我们激活了它,它就是一个具有一定自然语言处理能力的 AI。

在 OpenAI 放出模型之后,有开发者基于这个模型开发了一个网站,在这个网站上,我们可以亲身体会在 GPT-2 上运行的 AI 有多么强力。

这个网站的地址是:talktotransformer.com

需要注意的是,国内该网站虽然可以正常访问,但想要使用它仍然需要科学上网。这主要是因为 AI 是比较吃算力的东西,网站的开发者应该是使用了 Google 的服务器作为计算资源。

Talk to Transformer 允许你输入任意长度的某一段文本的开头,然后 AI 会基于 GPT-2 的中型模型自动为你续写。

举个例子,比如我们在文本框内填入「Today is a sunny day, I went to the park with my father」,点击「Complete Text」,AI 就会自动开始在这句话的基础上进行续写。

AI 直接在我们给出的这一句话的基础上续写了一大段话,这段话放在国内的高中可以算是一篇优秀的作文,这一段短文本身也是一个小故事。

由于这个网站有限制,所以 AI 并不会无限对这段话进行续写,但是如果你将 GPT-2 模型加载到本地,用 Tensorflow 调用它运行,你可以对这一句开头进行无限的续写,想让 AI 写多少,AI 就能写多少。

至于 AI 为什么能够无限续写,其实道理很简单,AI 能够给自己反馈新的输入,从而源源不断地产生连续的文本。产生文本这件事并不难,难就难在这一段文本前后都是有关联的,它内在是有逻辑和要表达的内容在里面的,这是 GPT-2 最惊人的一个地方。

接下来我们来测试一下其他的东西,首先我们测试一下 OpenAI 吹嘘过的编新闻。

我们都知道,特朗普非常喜欢抨击 CNN 的「Fake news」,这里我们用「Trump said」作为开头,让 AI 续写一段话:

非常让人惊讶的是,它能够做到,而且它知道我们这里的「Trump」指的究竟是谁。它续写出来的这段话可能是学习到的某个真新闻的某一段,也可能是它胡编的一个假新闻。

但是这些都不重要,重要的是它知道我们输入的「Trump」指的是「Donald Trump」,可能是在训练的文本中 AI 认为这个词和他之间是有强烈关联的,所以 AI 在看到 Trump 后会和我们一样联想到同一个人。

除此之外,它还知道非常非常多的东西,例如科技圈的内容,这里我们输入这样一个开头:

「Oneplus has released their new phone yesterday」

很神奇的是,GPT-2 知道我们输入的「Oneplus」指代的是一加这个手机品牌,它甚至凭空捏造了一个不存在的一加手机出来,还有一个有模有样的参数表。

虽然这些参数都很乱,有的根本就不存在,有的可能是 AI 出现了 Bug 输出了错误内容,但这至少能说明 GPT-2 学习过这一部分的内容,所以它才能够输出这些东西。

OpenAI 在训练的过程中使用的训练文本应该是海量的、十分多样化的,这使得 GPT-2 能够达到很强的「通用性」。


如果你有兴趣,你可以自行前往这个网站来测试它,除了上述笔者测试的内容,它还懂很多其他的内容,包括代码、社会问题、剧本、小说、一些专业领域问题等等,它的表现绝对能够把你震撼到。

原先笔者还不太相信 AI 能够很快发展到会威胁到人类、威胁到社会的程度,但是现在来看,笔者还是太年轻了一些,在体验过 GPT-2 之后,笔者也开始担忧未来 AI 这个领域会往什么方向走了,我们人类又是否能够把控住 AI 的发展。

https://www.toutiao.com/a6695515644223291916/

这个人工智能强到让人感到害怕相关推荐

  1. 华为,为什么让全世界都感到害怕?

    华为,为什么让全世界都感到害怕? 台湾政治大学商学院教授李瑞华认为,台湾的企业可以通过认识华为而有所反思.为什么你需要了解华为,以及华为的创办人任正非?因为任正非在短短26个年头里,创造了全球企业都未 ...

  2. 什么是弱人工智能强人工智能超人工智能

      人工智能( Arti ticial Intelligence ) ,也称为机器智能,是指白人工制造出来的系统所表现的智能,所谓的智能,即指可以观察周围环境井据此做出行动以达到目的.   在人工智能 ...

  3. 最强赛亚人服务器维护,最强赛亚人官方,最强赛亚人手游官方正版预约 v1.1.0-手游汇...

    最强赛亚人官方是一款根据动漫改编的卡牌手游,这款游戏的IP相信大家都非常的熟悉,现在用龙珠做IP的游戏实在是太多了,不过这一款小编还是打算拿出来和大家分享,这款游戏至少不用氪金就可以获得超强力的赛亚人 ...

  4. 秦羽接引的鸿蒙第四人,星辰变:仙界最强的五人,秦羽第二,敖无虚垫底,小黑难进前三...

    原标题:星辰变:仙界最强的五人,秦羽第二,敖无虚垫底,小黑难进前三 <星辰变>是网络小说作家我吃西红柿的代表作之一,作为番茄的修真三部曲之一,<星辰变>确实是值得一看的优质小说 ...

  5. 特别报道:人工智能 让机器像人一般思考

    在1956年时,有一群电脑科学家聚集在Dartmouth大学一同讨论在当时全新的研究主题:"人工智能". 这一个在新罕布夏州,康乃迪克河谷汉诺瓦镇的夏季聚会,可以说是未来" ...

  6. 手机4g信号强的服务器,国内三大运营商到底谁的4G网络信号最强?很多人都搞错了,望周知...

    国内三大运营商到底谁的4G网络信号最强?很多人都搞错了,望周知要说现在的手机能够那么的有魅力,还是跟我们国家的三个运营商有着特别大的关系,如果说我们国家没有运营商存在的话,那么也就没有了基站的建设,没 ...

  7. 人工智能是用计算机模拟人的智能特别是模拟,张钹院士:人工智能是让计算机模拟人的三种功能...

    张钹院士:人工智能是让计算机模拟人的三种功能 现在人工智能为什么这么热,大家热情这么高,我觉得一个重要的原因是需求很旺盛,不管是第一产业.第二产业(制造业)或者第三产业(服务业)都存在智能化的需求.目 ...

  8. 人工智能未来让很多人失业,并不是一句空谈

    现在人工智能在某些方面的能力已经超越了人类,比如围棋.再发展一些年头,人工智能的智慧水平必然会在很多领域超越人类. 更关键的是,这些拥有智慧的机器不仅不怕脏和累,在工作过程中出错的概率也更小.如果你是 ...

  9. 高情商就是说话让人感到舒服

    低情商者们充满善意去做一件"好事",却还让别人很不舒服.很不领情,甚至是对他极度反感.低情商者自己说话做事不识趣,缺乏"通感",不会换位思考. 高情商就是说话让 ...

最新文章

  1. ubuntu安装使用不同版本的gcc
  2. 解决MySQL导入数据时遇到secure-file-priv的问题
  3. 安徽大学计算机科学与技术复试线,安徽大学计算机考研报录比及分数线
  4. hdu4561 连续最大积
  5. 06-CA/TA编程:rsa demo
  6. 费马大定理,集惊险与武侠于一体
  7. java开发_Runtime
  8. c语言系统的通用数据结构,(转载)C语言实现通用数据结构的高效设计
  9. Java多线程下载并具断点续传功能JAR
  10. 蓝桥杯省赛2013年Java组B组
  11. Datalogic得利捷Memor™ 10入选“安卓企业推荐计划”
  12. 学生信息管理系统(java)
  13. windows下安装redis并设置自启动
  14. Java 的package 機制 王森
  15. 微信公众号CSS样式常见问题解析
  16. 全开源即时通讯(IM)系统 高仿微信
  17. 教你画架构图,看一次就会了
  18. android gpu 视频编码,Android Mp4视频录制(OpenGL实现篇,附DEMO)
  19. excel怎么把竖排变成横排_排版丑怎么办?5个方法拯救你
  20. 2016都市小说排行版前十推荐

热门文章

  1. 什么是SAAS 即软件即服务模式
  2. plt.scatter参数详解 s=25代表点的面积
  3. Docker系列 二. Docker 安装 Nginx
  4. 曾被无视多年,却成就19世纪最伟大的一场革命,影响了整个世界!
  5. 阿里云数据库专家白宸:Redis带你尽享丝滑!(图灵访谈)
  6. 用户界面设计准则从何而来
  7. 文本纠错与BERT的最新结合,Soft-Masked BERT
  8. 赠书 | 图灵奖得主杨立昆人工智能十问:AI会统治人类吗?
  9. 大数据能力提升项目| 学生成果展系列之一
  10. 一文读懂支持向量机SVM(附实现代码、公式)