最近翻阅了NLP的论文，发现了一篇高被引，特此翻译，以供参考（从文章第2部分开始）

论文原文下载地址：链接: https://pan.baidu.com/s/1e9b6StWSr7eIkPhvz2xuHA 密码: fo1t

第2章

自20世纪50年代开始，NLP研究一直专注于机器翻译[1]、信息检索、文本摘要、问题回答、信息提取、主题建模[2]和意见挖掘等任务。大多数NLP研究在早期集中在语法上，部分是因为很明显需要语法来处理，另一部分原因通过对语法驱动[3]处理思想隐藏或显式的支持[c1] 。

虽然NLP的语义[4]问题和需求从一开始就已经很清楚，但研究人员采用的策略是首先解决语法问题，以便更直接地应用机器学习技术。然而，也有一些研究人员专注于语义，因为他们认为语义驱动[5]的处理是一种更好的方法，因为他们认为语义驱动的处理是一个真正具有挑战性的问题。例如，Masterman和Ceccato团队利用语义范畴和语义案例[c2] 框架[6]开发语义模式匹配，尤其是在Ceccato的著作(Ceccato，1967)中，世界知识被用来扩展语言语义，并将语义网络作为知识表示的一种手段。后来的工作认识到在解释和响应语言输入时需要外部知识(Minsky，1968)，并明确强调了语义以通用语义的形式进行表示和语义驱动的处理(Schank，1975[c3] )。

自那时以来最流行的表示策略之一是一阶逻辑[7](FOL)，一种由公理和推理规则组成的演绎系统，可用于形式化关系丰富的谓词和量化(Barwise，1977)。一阶逻辑FOL支持句法、语义，并在在一定程度上支持语用[8]表达。语法[c4] 指定符号组的排列方式，以使符号组[c5] 被认为是正确的。语义指定格式良好的表达式应该是什么意思。语用学则规定了如何利用上下文信息在不同语义之间提供更好的相关性，这对于词义消歧等任务至关重要。[c6] 然而，众所周知，逻辑存在单调性问题[c7] 。随着信息被添加到知识库中，所包含的句子集只会增加，但这就有可能违反人类推理的一种共同属性-思想改变的自由和灵活。解决方案，如默认和线性逻辑，有助于解决这些问题的一部分。默认逻辑[9]由Raymond Reiter提出，用于形式化默认假设，例如“所有的鸟都飞”(Reiter，1980)。一般默认这种逻辑在大多数情况下是正确的，但对于这些“一般规律”的之外的情况而言，这些假设就是错误的，例如“企鹅不会飞”。

另一个流行的描述自然语言的模型是生产规律[10](Chomsky，1956)。生产规则系统保持对正在进行的记忆断言的工作记忆。这种工作记忆是不稳定的，反过来又保留了一套生产规则。一种生产规则，包括一组先决条件和一组后续动作。（例如if < conditions > Then <actions>）生产规则系统的基本操作包括三个步骤的循环(“识别”、“解决冲突”和“动作”)，这些步骤重复执行，直到不再有规则适用于工作记忆。“识别”可以鉴别当前工作记忆满足其先前条件的规律。识别的规则集也称为冲突集。“解决冲突”步骤查看冲突集并选择一组合适的规则来执行。步骤‘act’只是执行动作和更新工作记忆。生产规律是模块化的，允许添加和删除规则，每个规则都独立于其他规则。生产规则系统有一个简单的控制结构，这种规则也容易被人类理解。这是因为规则通常来自于对专家行为或专家知识的观察，因此编码规则的术语往往与人类的理解产生共鸣。但是，当生产规则系统变得更大时，存在可伸缩性问题；需要大量维护才能维护一个具有数千条规则的系统。

著名的NLP模型的另一个实例是本体Web语言(OWL)(McGuinness&Van Harmelen，2004)，这是一种基于XML的词汇表，它扩展了资源描述框架(RDF)，以便为本体表示提供更全面的集合，例如类的定义、类之间的关系、类的属性以及类之间关系及其属性的约束。RDF支持对资源进行断言的主谓对象模型。基于RDF的推理引擎已经被开发用来检查语义一致性，这也有助于改进本体分类。通常，OWL需要严格定义静态结构，因此不适合表示包含主观置信度[subjective degree of confidence]的知识。相反，它更适合表示声明性知识[declarative]。此外，OWL的另一个问题是它不支持容易地表示临时依赖型知识[temporal-dependent]。

网络是另一种众所周知的做NLP的方式。例如，贝叶斯网络(PEELL，1985)(也称为信念网络)提供了一种在许多相关假设上表示联合概率分布的方法。所有变量都用有向无圈图[directed acyclic graph](DAG)表示。弧是两个变量之间的因果联系，前者的真实直接影响后者的真实。贝叶斯网络能够表示主观置信度。表示法明确地探讨了先验知识[prior knowledge]的作用，并将事件发生的可能性的证据组合在一起。为了计算贝叶斯网络的联合分布，需要知道每个变量P的概率Pr(P|parents(P))，很难确定每个变量P在贝叶斯网络中的概率。[c8] 因此，对于大规模信息处理问题，也很难对统计表进行改进和维护.贝叶斯网络的表达能力也是有限的，这与命题逻辑[proposition logic]的表现力是等价的。因此，语义网络在NLP研究中的应用越来越多[c9] 。

语义网络(Sowa，1987)是一种图形记号[graphic notation]，用于表示互联节点和弧的模式中的知识。定义网络[definitional network]关注的是一个概念和一个新定义的子类型之间的IsA（交互式自助分析）关系。这种结构的结果称为泛化，它反过来支持继承规则，以便将为超级类型定义的属性复制到其所有子类型。定义网络中的信息通常被认为是真实的。另一种语义网络是断言网络[Assertion network]，它是为了断言命题，它所包含的信息被认为是依情况真实[contingent truth]的。依情况的真实不是通过应用缺省逻辑来达到的，而是更多地建立在人类运用常识的基础上。这一命题也有充分的理由说明理由，例如，“石头是温暖的”，充分的理由是“太阳照耀在石头上”和“太阳照耀的东西都是温暖的”。

语义网络的思想在二十世纪六十年代由Simmons(Simmons,1963)和Quilllian (Quillan,1963)开启,并在20世纪80年代后期由Marvin Minsky在他的思想理论(Minsky,1986)中进一步发展起来，根据该理论,人类智力的魔力源于我们巨大的多样性,而不是来自任何单一的完美的原则。Minsky理论认为，思想mind是由许多小部分组成的，他称之为“Agent代理”，每个代理Agent都是无思想的，但在一起工作时能够发挥真正的智力。这些Agent组或“Agents”负责执行某种类型的功能，例如记住、比较、概括、示范、类推、简化、预测等。Minsky的人类认知理论特别受到人工智能(AI)社区的极大热情的欢迎，并催生了许多尝试建立用于NLP任务的常识知识库的尝试。最具代表性的项目是：(a) Cyc (Lenat&Guha，1989)，Doug Lenat’s基于逻辑的常识知识库；(b)WordNet(Fellbaum，1998)，ChristianeFellbaum"一词的通用数据库；(c)Thought-Treasure(Mueller，1998)，Erik Mueller"的故事理解系统；(d) the Open Mind Common Sense project (Singh，2002)，第二代通用意义数据库。最后一个项目是由于知识以自然语言（而不是基于正式逻辑结构）来表示的，而信息不是由专家工程师手工制作的，而是由在线志愿者自发地插入的。今天，由Open Mind Common Sense project收集的常识正在被开发用于许多不同的NLP任务，例如文本影响检测(H.Liu，Lieberman，&Selker，2003)，休闲对话理解(Eagle，Singh，&pentland，2003)，意见挖掘(Camya&Hussain，2012)，故事讲述(Hayden等，2013)，以及更多。

第3章重叠NLP曲线

随着互联网时代的到来，文明经历了深刻而迅速的变化，这是我们今天比以往任何时候都要经历的。即使是那些正在适应、成长和创新的技术，也有一种触目惊心的感觉，即过时就在眼前。特别是nlp的研究，在过去的15年中并没有像其他技术那样以相同的速度发展。

虽然NLP研究在产生人工智能行为方面取得了很大进展，例如谷歌、IBM的沃森和苹果的Siri，但这些都没有NLP框架实际上理解它们在做什么。这使它们与一只学习重复单词的鹦鹉并没有什么不同，因为它并没有清楚地理解它在说什么。今天，即使是最流行的NLP技术也将文本分析看作是一项单词或模式匹配任务。然而，试图通过文字层面的处理来确定一篇文章的意义，与试图通过像素级的分析来理解一幅图片并没有什么不同。[c10]

在一个用户生成内容(UGC)被自己的输出淹没的网络中，nlp研究人员面临着同样的挑战：他们需要跳过曲线(Imparato&Harari，1996)，以便在他们的思维中实现重大的、不连续的飞跃，无论是关于信息检索、聚合还是处理。到目前为止，依赖于任意关键字、标点符号和单词共现频率已经相当有效，但是UGCs的爆发和欺骗现象的爆发，例如网页浏览和意见垃圾邮件，使得标准的nlp算法的效率越来越低。为了正确提取和操作文本意义，nlp系统必须能够获取大量关于世界和语篇领域[domain of discourse]的知识。

为此，nlp系统将逐渐停止过度依赖基于文字的技术，同时开始更一致地利用语义，因此，从语法曲线到语义曲线(图1)实现了飞跃。由于乍一看，语言结构中最基本的单位似乎是单词，所以nlp的研究与词汇水平的研究是交织在一起的。然而，单个单词表达只是概念的子集，包含特定语义和意义的多词表达(Cambria&Hussain，2012)，即通常与现实世界的对象、行为、事件和人相关的指示性和内涵性信息。特别是，参议员们指定了与这种现实世界实体相关的情感信息，这是常识推理和决策的关键。

语义学和感官包括常识知识(人类通常在其生命形成的岁月中获得的知识)和在机器可重用的知识库中积累的共同知识(人们在日常生活中继续积累这些知识)。常识包括对世界的一般认识，例如，椅子是一种家具，而常识知识则包括人们通常知道的、但在话语中通常不被提及的显而易见或被广泛接受的事物，例如，事物向下(而不是向上)下降，人们高兴时微笑。常识知识和常识知识之间的区别可以表示为知道对象的名称和理解同一对象的目的之间的区别。例如，您可以知道“管道”的所有不同种类或品牌的名称，但不知道其用途或使用方法。换句话说，除非可以使用，否则“管道”不是管道(Magritte，1929)(图2)

正是通过共用和常识的结合，我们才能掌握高、低级概念[c11] 以及自然语言理解中的细微差别，从而有效地与其他人交流，而不必不断地要求定义和解释。常识是正确地根据不同的语境将自然语言文本分解成情感的关键，例如，把“小房间”这个概念评价为对酒店的评论来说是负面的，对邮局来说“小队列”是积极的，或者“去读书”这个概念对于书评来说是积极的，对于电影评论则是否定的。

然而，语义只是将NLP和自然语言理解分开的一个层次。为了实现准确和明智地处理信息的能力，计算模型还需要能够及时地投射语义和感官，根据不同的背景和不同的行为者及其他们的意图，以并行[c12] 和动态的方式对它们进行比较(Howard&Cambria，2013年)。这将意味着从语义曲线跳到语用曲线，这将使NLP更具有适应性，因此，开放域、上下文感知和意图驱动，特别是意向将是情绪分析[c13] 等任务的关键，一个通常具有消极含义的概念，例如，小座位，如果意图是让婴儿安全地坐在其中，则可能是积极的。句法曲线的范式是字袋模型[bags of word](zellig，1954)，语义曲线的特征是概念包模型[bags of concept] (Cambria&Hussain，2012)，语用曲线的范式将是叙事袋模型[bags of narrative]。在最后一个模型中，每一段文本都将由微小故事[mini-story]或相互关联的部分来表示，从而导致更详细的文本理解和合理的计算。虽然概念包模型有助于克服诸如词义消歧和语义角色标注等问题，但叙事包模型将有助于解决诸如共同引用的解决方法[co-reference resolution]和文本隐含[textual entailment]等NLP问题。

第4章论句法曲线

今天，以语法为中心的NLP仍然是管理信息检索和提取、自动分类、主题建模等任务的最流行方法。尽管语义学爱好者多年来一直在争论从句法转向语义的重要性和必然性，但目前绝大多数NLP研究者仍试图在句法曲线上保持平衡。以语法为中心的NLP可以大致分为三大类：关键词识别、词汇关联和统计方法。

4.1 关键词识别

关键字识别是最天真的方法，也可能是最受欢迎的，因为它的可达性和经济性。文本根据是否存在相当明确的词语而被分类。受欢迎的项目包括：(A) Ortony的情感词汇(Ortony，Clore，&Collins，1988)，将单词分为情感类；(B) Penn Treebank(Marcus，Santorini，&Marcinkiewicz，1994)，这是一个由450万多个美国英语单词组成的语料库，为词性(POS)信息附加注释；(C) Page Rank (Page，Brin，Motwani，&Winograd，1999年)，Google的著名排序算法；(D) Lex Rank (Gnes&Radev，2004)，一种基于随机图的方法，用于计算NLP文本单元的相对重要性；最后，(E) Tex tRank (Mihalcea&Tarau，2004)，一种基于图表的文本处理排名模型，基于两种非监督的关键词和句子提取方法。关键词识别的主要弱点在于它依赖于显而易见的词的存在，而这些词只是散文的表面特征。[c14] 例如，一份关于狗的文本文档中，“狗”这个词从未被提及过，因为狗是根据它们所属的特定品种来命名的，所以可能永远不会被基于关键字的搜索引擎检索。

4.2 词汇亲和力

词汇亲和性比关键字发现稍微复杂一些，而不是简单地检测明显的单词，将概率赋给任意单词对特定类别的“亲和力”(布什，1999;Bybee & Scheibman, 1999;克鲁格,1998;丘奇和汉克斯，1989;Jurafskyet al ., 2000)。例如，“accident(事故)”可能有75%的概率表示负面事件，比如“car accident(车祸)”或“hurt in a accident(事故中受伤)”。这些概率通常来自语料库(Kucera & Francis,1969;戈弗雷，霍利曼，&麦克丹尼尔，1992;史蒂文森，米克尔斯，詹姆斯，2007)。尽管这种方法通常比单纯的关键字发现性能更好，但是它有两个主要问题。首先，仅在单词级别上操作的词汇关联性很容易被“I avoid an accident” (否定)之类的句子所欺骗和" I met my girlfriend by accident "(意外惊喜的内涵)。第二,词汇关联概率通常偏向于特定类型的文本，由语言语料库的来源决定。这使得开发可重用的、独立于域的模型变得困难[c15] 。

4.3 统计NLP

统计NLP自1990年代后期以来一直是主流的NLP研究方向。它依赖于语言模型（(Manning & SchÜtze, 1999; Hofmann, 1999; Nigam, McCallum, Thrun, & Mitchell, 2000)），这些语言模型基于基于诸如最大似然的流行的机器学习算法（Berger, Della Pietra, & Della Pietra, 1996），期望最大化(Nigam et al.， 2000)、条件随机域(Lafferty, McCallum， & Pereira, 2001)和支持向量机(Joachims, 2002)。通过向机器学习算法提供一个包含注释文本的大型训练语料库，系统不仅可以学习关键字的效价(如在关键字查找方法中)，还要考虑其他任意关键字的效价(如词汇亲和力)，标点符号和词的共现频率。然而，统计方法通常在语义上是弱的，这意味着除了明显的关键字之外，统计模型中的其他词汇或共存元素单独具有很少的预测值。因此，当给出足够大的文本输入时，统计文本分类器仅在可接受的精度下工作。所以，虽然这些方法可以在页面或段落级别对文本进行分类，但是它们在较小的文本单元如句子或子句中不能很好地工作[c16] 。

5 浏览语义曲线

基于语义的NLP侧重于与自然语言文本相关的内在意义。而不是简单地处理语法级别的文档，基于语义的方法依赖于与自然语言文本相关联的隐式去噪性[implicit denotative ]特征，因此远离关键字和词共同出现计数的盲用法。与纯粹的语法技术不同，基于概念的方法还能够检测以微妙方式表示的语义，例如，通过对不明确传达相关信息的概念的分析，但这些概念隐含地链接到这样做的其他概念。基于语义的NLP方法可以被广泛地分组为两个主要类别：利用外部知识的技术，例如本体知识库(taxonomic NLP)或语义知识库(Noetic NLP)，以及仅利用文档的内在语义(endogenous NLP)的方法。

5.1 内源NLP

内源性NLP涉及到利用机器学习技术通过从大量文档中构建近似概念的结构来执行语料库的语义分析。它不涉及事先对文档的语义理解；相反，它只依赖于这些文档的内生知识(而不是外部知识库)。与知识工程方法相比，这种方法的优点是有效的。可以大量节省专家人力，并可直接移植到不同领域(Sebastiani，2002年)。

内源性NLP包括基于词汇语义的方法，即侧重于单个单词的意义的方法，或者是基于组合语义的方法，它看句子的含义和更长的话语。内源性NLP方法的主要内容是基于词汇语义学，包括众所周知的机器学习技术。这种例子含有：（a）潜在语义分析(Hofmann，2001)，其中文档被表示为术语空间中的向量；（b）潜在的Dirichlet分配(Porteous等人，2008年)，其中涉及将文件术语归因于专题；（c）已经证明对于数据密集型任务是非常有效的框架，例如大规模RDFS/OWL推理和（d）(D.Goldberg，1989)，概率搜索过程，旨在工作在大空间涉及的状态，可以表示的字符串。

相反，利用组合语义的工作主要包括基于隐马尔可夫模型的方法（Denoyer, Zaragoza, & Gallinari, 2001; Frasconi, Soda, & Vullo, 2001），关联规则学习（Cohen, 1995; Cohen & Singer, 1999），特征组合（Xia, Zong, Hu, & Cambria, 2013; Poria, Gelbukh, Hussain, Das, & Bandyopadhyay, 2013），概率生成模型（Lau, Xia, & Ye, 2014）。

5.2分类NLP

分类NLP包括旨在构建用于抓取与自然语言表达式相关联的包含或分层语义的通用分类法或Web本体的倡议。这样的分类通常由概念(例如，画家)、实例(例如，“莱昂纳多·达·芬奇”)组成，属性和值（例如，“莱昂纳多的生日是4月15日，1452”）和关系（例如，“蒙娜丽莎是达芬奇画的”）。具体而言，在IsA关系基础上构建包含知识表示，它们通常是通过句法模式来自动发现超限的。(Hearst,1992)能够从诸如“(&C)..艺术家，如毕加索......”或“...pablo毕加索和其他艺术家...”的文本中推断诸如的三元组。

一般来说，建立分类学资源的尝试是不计其数的，包括人类专家制作的资源或社区的努力。例如WordNet和Freebase(Bollacker,Evans,Paritish,Strike，并自动建立知识库。这样的知识库的例子包括：(a)Wikitaxonomy(Ponzetto)，从维基百科的类别链接中提取的分类；(b) YAGO (Suchanek, Kasneci, & Weikum, 2007)，从WordNet、Wikipedia和GeoName派生的语义知识库；Nell(Carlson等人，2010年)(永无止境的语言学习)，一个每天从网络上获取知识的语义机器学习系统；最后，(d) Probase (Wu, Li, Wang, & Zhu, 2012)，一个研究原型，其目的是建立一个统一的分类，从16.8亿个网页在存储库中。

其他流行的语义Web项目包括：(a) SHOE (Heflin & Hendler, 1999) (Simple HTML Ontology
Extensions)，一种知识表示语言，允许用语义对网页进行注释。(b) Annotea (Kahan, 2002)，用于共享Web注释的开放RDF基础设施（c）SIOC (Breslin, Harth, Bojars,& Decker, 2005) (Semantically Interlinked Online Communities)，一种本体，将已经存在的词汇表中的术语与描述在线社区站点领域中概念之间的关系所需的新术语结合起来；（d）SKOS (Miles & Bechhofer, 2009) (Simple Knowledge Organization System) 一个工作领域，制定规范和标准，以支持使用知识组织系统，如：URI、分类方案、主题标题列表和分类；(e) FOAF (Brickley & Miller, 2010) (Friend Of A Friend) 2014年5月，IEEE 54号计算智能杂志致力于利用网络将人和信息联系起来。(f ) ISOS (Ding, Jin, Ren, & Hao, 2013) (Intelligent SelfOrganizing Scheme) 一种由内分泌调节机构激发物联网的方案，最后，(g) FRED (Gangemi, Presutti, & Reforgiato, 2014) 生成基于事件的RDF/OWL自然语言文本表示的工具。NLP分类学的主要弱点在于其知识库的典型性。知识在分类法和网络本体中的表达方式通常是严格定义的，不允许对不同的细微概念进行组合处理，因为与概念相关的语义特征的推理受到固定的平面表示的约束。例如，“书”的概念通常与诸如“报纸”或“杂志”之类的概念相关联，因为它包含知识、具有页面等。然而，在不同的背景下，书可以被用作纸重量、门挡或甚至作为武器。语义web项目的另一个关键弱点是它们不易扩展，因此没有被广泛采用(Gueret，schobach，Dentler，Schut，& Eiben，2012)。这增加了在初始客户反馈成为可能之前所需的时间，并减缓了反馈循环迭代，最终将语义Web应用程序置于用户体验和敏捷性劣势，而与它们的web2.0相比，因为它们的可用性在不经意间让位于其他复杂问题的数量，而这些问题甚至在客户看到应用程序之前就必须解决。

5.3 抽象NLP

Noectic NLP包括NLP的所有鼓励想象的方法，其试图补偿传统算法的缺乏域适应性和隐式语义特征推断，例如，第一原理建模或显式统计建模。Noetic nlp与分类nlp不同，其中noeticnlp不专注于编码包容知识，而是试图收集有关对象、操作、事件和人员的特性。此外，Notic NLP以一种自适应和动态的方式执行推理，例如通过生成与上下文相关的结果，或者通过发现没有在知识库中显式编码的新的语义模式。Noetic NLP的例子包括Connectionnist NLP(Christian Ansen)等范式。它将心理现象建模为简单单元互联网络的紧急过程。例如神经网络(Collobert et al., 2011)；深度学习(Martinez,Bengio 2013)；感伤计算（Cambria & Hussain, 2012）一种基于图形挖掘和降维技术的概念层次情绪分析方法；以及基于能量的知识表示(Olsher，2013)，这是一种用于细微常识推理的新框架。

除了知识表示和推理之外，Noetic NLP的一个关键方面也是语义分析。大多数当前的NLP技术依赖于部分语音(POS)标记，但这与人类心智从文本中提取意义的方式不同。相反，就像人类的思想一样，一种基于结构的语义解析器。(CBSP) (Cambria, Rajagopal, Olsher, & Das, 2013)，快速识别有意义的文本片段，而不需要花费时间进行短语结构分析。“constructions”的使用，定义为“形式和功能的存储配对”(A. Goldberg, 2003)，使得可以将分布式语言组件链接到彼此，从语言结构中放松语义的提取。结构由固定的词法项和基于类别的插槽组成，或者在文本处理期间由词汇项填充的“空间”。有关文献的一个有趣的例子是construction[<ACTION> <OBIECT> <DIRECTION> <OBJECT>]。这方面的例子包括‘打喷嚏在桌子对面的餐巾纸’或‘把球打过篱笆’。句式不仅有助于理解各种词汇项目是如何协同工作的，从而创造出整个意义，而且还能给出解析器理解使用哪些类别的单词并因此在哪里期望不同的单词。

CBSP使用此知识来确定结构、它们的匹配词汇术语以及每个匹配的良好程度。每个CBSP的构造都有自己独特的语义并带有唯一的名称。为了选择每个文本跨度的最佳结构，CBSP使用了关于文本中词法项的知识。这种知识是通过在知识库中查找单个词汇来获得的，从而获得关于该词的基本范畴成员的信息。

然后，它有效地将这些潜在成员资格与语料库中为每个构造指定的类别进行比较，找到最佳匹配，从而使CBSP能够从一个句子中提取一个概念。一个例子就是从“今天我买了很多非常好的圣诞礼物”这句话中提炼出‘买圣诞礼物’的概念。构造通常是相互嵌套的：CBSP能够根据构造和构造槽类别的总体语义找到语义上合理的结构重叠，从而大大减少了处理大量文本所需的时间。在大数据环境中，基于构造的语法分析的一个关键优点是只需要一小部分文本才能提取意义；词类信息和一般的小构造意味着解析器仍然可以使用错误填充或传统上无法解析的文本。

6、预测语用学曲线

叙事理解和生成是推理、决策和“感官制造”的核心。叙述除了是人与人之间交流的重要组成部分外，也是建构现实和进行计划的手段。解读叙事如何由人脑产生和处理，最终会使我们真正理解和解释人类的智慧和意识。计算建模是研究叙事理解的有力和有效的途径。在知识表达、常识推理、社会认知、学习和NLP的保护伞下，人类能够理解或生成叙述的许多认知过程历来都是对人工智能研究人员感兴趣的。一旦NLP研究能够将语义理解到与人类文本处理相媲美的水平，就有必要跳转到语用曲线，就像语义机器学习正逐渐从词汇进化到组合语义一样。已经有一些开创性的作品试图利用话语结构来理解叙事。(Asher & Lascarides, 2003) argument-support hierarchies，(Bex, Prakken, & Verheij, 2007)，计划图(Young, 2007)和常识推理(Mueller，2007)。在这方面最具代表性的倡议之一是Patrick Winston关于叙事计算模型的工作(Winston, 2011; Richards, Finlayson, & Winston, 2009)。这个基于五个关键假设：

内部语言假设：我们有一种内在的符号语言，可以对事件进行描述。
强烈的故事假设：我们可以将事件描述组合成故事。
定向知觉假说：我们可以利用我们知觉能力的资源，用真实和想象的情境来回答问题。
社会动物假说：我们有一个强有力的理由在外部交际语言中表达我们的内部语言的思想。
奇异的工程假设：我们的大脑不像标准的左半工程系统。

基本上，帕特里克·温斯顿认为，人类的智慧源于我们对讲故事和理解的独特能力（Finlayson & Winston, 2011）因此，他最近的工作重点是开发一个计算系统，它能够分析叙述性文本，从而推断出关于这些文本的问题的非显而易见的答案。这已经出现在Genesis System中。用英文编写短篇小说摘要，与低级别的常识规则和更高级的反映在英语中的反射模式一起，创世成功地展示了几个故事理解能力。这就是它确定麦克白和2007年俄罗斯-爱沙尼亚网络战争都涉及报复的能力，尽管在描述这些文本的账户中没有提到"报复"一词和任何同义词。

7 讨论

单词和概念层次的nlp方法只是自然语言理解的第一步。NLP的未来在于生物学上和语言上有动机的计算范式，使叙事理解得以理解，因此，“感知”。计算情报有可能在NLP研究中发挥重要作用。例如，模糊逻辑与nlp有着直接的关系(Carvalho, Batista, & Coheur, 2012)，用于情绪分析等任务(Subasic & Huettner, 2001)。语言摘要(Kacprzyk & Zadrozny, 2010) ，知识表达(Lai, Wu, Lin, & Huang, 2011)，文字意思推理（Kazemzadeh, Lee, & Narayanan, 2013。人工神经网络可以帮助完成nlp任务，如模糊度解决 (Chan & Franklin, 1998; Costa, Frasconi, Lombardo, & Soda, 2005)，语法推断(Lawrence, Giles, & Fong, 2000)，单次表示（Luong, Socher, & Manning, 2013），情感识别（Cambria, Gastaldo, Bisio, & Zunino, 2014），进化计算可以用于语法进化等任务(O’Neill & Ryan, 2001)，知识发展(AtkinsonAbutridy, Mellish, & Aitken, 2003)，文本分类(Araujo, 2004)，规则学习(Ghandar, Michalewicz, Schmidt, To, & Zurbruegg, 2009)。

然而，尽管它的潜力，计算智能技术的使用到目前为止在NLP领域还没有那么活跃。第一个原因是nlp是一个巨大的领域，目前正在解决数十个不同的问题，其中存在特定的评估指标，而且不可能将整个领域简化为一个特定的问题，就像在早期的工作中所做的那样(Novak, 1992)。第二个原因可能是支持向量机的强大技术(Drucker, Wu, & Vapnik, 1999)，核主成分分析(Schölkopf et al., 1999)，和潜在的传播(Mukherjee & Blei, 2009) 在广泛使用的nlp数据集上已经取得了显著的成果，这些数据集还没有得到计算智能技术的满足。然而，所有这样的基于字的算法受到以下事实的限制，即它们只能处理它们能够“看到”的信息，并且因此迟早会达到饱和。相反，通过模拟人脑处理自然语言的方式，计算智能技术可以超越文档的语法表示 (例如，利用没有在文本中显式表达的语义特征) 因此，有更大的潜力来处理互补的NLP任务。例如，在相同的NLP模型中，可以利用一组计算智能技术(通过神经网络)在线学习自然语言概念。概念分类和语义特征泛化（通过模糊集）和概念意义进化和连续系统优化（通过进化计算）。

8 结论

在用户生成的内容已经达到临界质量的Web中，合理计算和信息聚合的需求呈指数级增长，这在行业中“大数据专家的狂潮”和新的“数据科学学科”的增长证明了这一点。网络内容创作的民主化导致了网络碎片的增多，不可避免地对信息检索和提取产生了负面影响，分析这一消极趋势并提出可能的解决办法。本文根据三个不同的范式，即bags of word、bags of concept和bags of narration模式，着重研究了NLP研究的演变过程。本文从业务管理领域借用“跳跃曲线”的概念，阐述了NLP研究如何从词汇语义逐步转变为组成语义，并为下一代基于叙事的NLP技术提供了见解。

然而，跳跃曲线不是一件容易的任务：人类语言的起源有时被称为科学最困难的问题。(Christianse & Kirby, 2003)。NLP技术是从打孔卡和批处理时代发展而来的(在这种时代，对自然语言句子的分析可能需要7分钟的时间(Plath, 1967))到谷歌及其类似的时期（其中数百万的网页可以在不到一秒钟的时间内被处理）。然而，即使是最有效的基于单词的算法，如果没有经过适当的训练或上下文和域发生变化，也表现得非常差。这样的算法受到这样一个事实的限制：他们只能处理他们可以看到的信息。然而，语言是一种系统，其中所有术语都相互依赖，其中一个术语的价值是其他术语同时存在的结果。(De Saussure, 1916)

作为人类文本处理器，我们看到的不仅仅是我们看到的东西（Davidson, 1997）其中，每个单词都激活一系列语义相关的概念，从而能够以一种快速、轻松的方式完成复杂的nlp任务，如词义消歧、文本包含和语义角色标记。

概念是把我们的精神世界保持在一起的胶水(Murphy, 2004)，如果没有概念，首先就不会有精神世界(Bloom, 2003)。不用说，将知识组织到概念中的能力是人类心理的一个定义特征。一个真正的智能系统需要关于物体行为的物理知识，关于人们如何互动的社会知识，关于事物外观和味道的感官知识，关于人思考的心理学知识。然而，拥有数以百万计的常识事实的数据库对于计算自然语言的理解是不够的：我们需要教nlp系统如何处理这些知识 (IQ)，而且解释情感(EQ)和文化细微差别(CQ)。

Jumping NLP Curves: A review of NLP research （翻译）相关推荐

NLP：《NLP Year in Review 2019NLP_2019_Highlights》2019年自然语言处理领域重要进展回顾及其解读
NLP:<NLP Year in Review 2019&NLP_2019_Highlights>2019年自然语言处理领域重要进展回顾及其解读导读:2019年是自然语言处理(N ...
斯坦福NLP名课带学详解 | CS224n 第15讲 - NLP文本生成任务（NLP通关指南·完结）
作者:韩信子@ShowMeAI,路遥@ShowMeAI,奇异果@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://ww ...
斯坦福NLP名课带学详解 | CS224n 第12讲 - NLP子词模型（NLP通关指南·完结）
作者:韩信子@ShowMeAI,路遥@ShowMeAI,奇异果@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://ww ...
NLP学院网：李斌NLP关键执行：由谁去给猫挂铃铛？
NLP学院网:李斌NLP关键执行:由谁去给猫挂铃铛? 来源:NLP学院网李斌NLP关键执行:由谁去给猫挂铃铛? 猫和老鼠是天敌,老鼠每次行动时猫都会讯速前来,有一天老鼠开会,讨论怎样应对猫的袭击.一 ...
Computer vision for solid waste sorting: A critical review of academic research 机器视觉垃圾分选综述翻译
Computer vision for solid waste sorting: A critical review of academic research 应用于固体废弃物分类的计算机视觉:批判性 ...
斯坦福NLP名课带学详解 | CS224n 第10讲 - NLP中的问答系统（NLP通关指南·完结）
作者:韩信子@ShowMeAI,路遥@ShowMeAI,奇异果@ShowMeAI 教程地址:https://www.showmeai.tech/tutorials/36 本文地址:https://ww ...
【NLP】一文概览NLP算法(Python)
一.自然语言处理(NLP)简介 NLP,自然语言处理就是用计算机来分析和生成自然语言(文本.语音),目的是让人类可以用自然语言形式跟计算机系统进行人机交互,从而更便捷.有效地进行信息管理. NLP是人 ...
【NLP】FedNLP: 首个联邦学习赋能NLP的开源框架，NLP迈向分布式新时代
文 | 阿毅两周前,南加大Yuchen Lin(PhD student @USC and ex-research intern @GoogleAI)所在的团队在Twitter官宣开源首个以研究为导向 ...
nlp gpt论文_GPT-3：NLP镇的最新动态
nlp gpt论文什么是GPT-3? (What is GPT-3?) The launch of Open AI's 3rd generation of the pre-trained langu ...

Jumping NLP Curves: A review of NLP research （翻译）

第2章

第3章重叠NLP曲线

第4章论句法曲线

4.1 关键词识别

4.2 词汇亲和力

4.3 统计NLP

5 浏览语义曲线

5.1 内源NLP

5.2分类NLP

5.3 抽象NLP

6、预测语用学曲线

7 讨论

8 结论

Jumping NLP Curves: A review of NLP research （翻译）相关推荐

最新文章

热门文章

Jumping NLP Curves: A review of NLP research （翻译）

第2章

第3章 重叠NLP曲线

第4章 论句法曲线

4.1 关键词识别

4.2 词汇亲和力

4.3 统计NLP

5 浏览语义曲线

5.1 内源NLP

5.2分类NLP

5.3 抽象NLP

6、预测语用学曲线

7 讨论

8 结论

Jumping NLP Curves: A review of NLP research （翻译）相关推荐

最新文章

热门文章

第3章重叠NLP曲线

第4章论句法曲线