点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

常识是一类高级知识，是人的认知神经状态的内化反应。根据中科院曹存根教授在《A Survey of Commonsense Knowledge Acquisition》、纽约大学Ernest Davis教授《Commonsense Reasoning and Commonsense Knowledge in Artificial Intelligence》和陆汝铃院士在《世纪之交的知识工程与知识科学》这些科学文献中的描述，常识知识具有“共享”、“基础”、“隐含”、“大规模”、“开放域”、“默认”等多个显著特点。在当前阶段，我们如何定义并获取这类知识？如何使机器理解这类知识并进行知识推理，使其变得更加智能？

12月11号，AI TIME组织了Ph.D. Debate第八期，题为“迈向常识知识的高级语义理解”的研讨活动，特别邀请了重庆大学的助理研究员盛泳潘、南加州大学的博士林禹臣、香港科技大学的博士方天庆、中科院自动化所的博士王晨皓作为嘉宾，由清华大学的博士生郑建宇担任主持人。

01

如何定义常识知识? 为什么实施常识推理很重要？

对于常识的研究不能脱离常识的定义。嘉宾们首先对如何定义常识知识进行了一番探讨。方天庆列举出一些AI先贤对常识的理解。

• John McCarthy: 对事件以及事件结果的基本事实，知识以及如何获取知识的事实等。 （Includes the basic facts about events (including actions) and their effects, facts about knowledge and how it is obtained, facts about beliefs and desires）

• Marvin Minsky: 好的判断。（Good Judgement）

• Ernest Davis: 7岁小孩对世界的认知（what a typical seven year old knows about the world"）

总体而言， 大家对常识的定义是比较宽泛的。具体到AI相关的研究，大家可能会把常识拆分为不同的研究领域。

• 社会领域：我是你的好朋友，我忘记了你的生日，你可能会生气。（人是社会动物，人希望被珍视 —— 一些社会心理学的基础）

• 物理常识：我扔一个苹果，它会向下掉落而非飘向天空。（物理规律）

• 实体：苹果是甜的，柠檬是酸的。鸟有两条腿，鸟会飞，狮子一般比猫要大。（attribute, entity, numerical）

• 时间：我这两年都在香港。那我去年在哪？自然也是在香港。（temporal commonsense. “这两年”包含了”去年”）

• …

王晨皓认为，大多数人都知道、一般人能共享的知识是常识。常识可能也有非单调性（non-monotonic）、只在默认情况下成立的特点。例如，“我们开车去某个地方“，”发生车祸“和”到达目的地“都是可能发生的时间。然而，显然后者的概率更高，车祸是个小概率事件。常识推理也具有可废止性（defeasible）。例如，“鸟会飞”、“人有两条腿“可被视为常识，但是在一些极端情况发生时，这些断言是不一定成立的，例如，企鹅是鸟但它不会飞，残疾人可能只有一条腿，等等。

林禹臣表示，除了物理世界和心理世界的常识，最近还有一些研究者也在关注和不同文化相关的常识。例如，美国总统选举是4年一届，但有些国家可能是5年、6年一届，这些是和文化、国家背景相关的常识。常识同样具有不确定性，它可被理解为我们在没有具体上下文的情况下会默认的事情，例如，鸟会飞。

盛泳潘表示，实体、状态和事件的属性和概念也包含在常识之中。

有一位观众提出问题：如何把握推理机制及其结果的正确性？机器是否能理解常识？

方天庆认为，目前主流的推理机制是把常识推理转化为文本蕴含（textual entailment）问题，例如转换成文本分类的问题。所以，推理机制的正确性就会被转化为深度学习模型、语言模型的能力与性能。对于推理结果的正确性衡量就被转化为如何评估深度学习的任务，例如，分类、问答等任务的准确性。

林禹臣认为，衡量正确性的常见方式是把解空间限制到很小，例如变成多选题等。在设计问题的时候，会让某个选项的可能性比其他几个选项更加符合常识。目前也有更进一步的设计，例如，在要求模型正确回答多选题问题的同时，还能正确给出解释，或者明确它用到了哪些知识。

02

如何获取并存储常识知识？

王晨皓认为，常识知识首先存在于人的脑海中，常识知识获取相当于从人脑中获取我们的知识，这是一个困难的过程。在多年来的常识研究中，传统的常识获取主要分两类，第一类是直接采取人工标注、人工编写（例如早期的工作Cyc），第二类是从人类产生的语料库中自动挖掘。对于第一类，现在更多的是采用众包的方式，让大量普通人参与到常识知识的构建过程。目前也有一些工作是使用互动游戏的方式来收集常识。对于第二类，即使有一种观点，认为常识知识是隐含的、不在文本中出现的，但是其实通过一些特殊手段还是可以挖掘到常识的。近期又有第三类常用的方法，就是从预训练模型中挖掘常识。

大家对通过游戏获取常识比较感兴趣。ConceptNet (其中的Open Mind Common Sense)，CommmonsenseQA 2.0，Comm2Sense等数据，都或多或少是通过与人类互动的方式来完成的。林禹臣提到，可用常识来生成验证码。

林禹臣继续探讨了常识知识的存储。三元组（知识图谱）的存储方式上限不是很高，它受限于知识的数量。用文本的形式去关注常识可能是更灵活的方式。AI2的GenericsKB, 德国马普所的ASCENT，都是不错的例子。

盛泳潘继续探讨常识知识的正确性，他认为知识的正确性比较难衡量。如果需要人工衡量的话，那么知识的范围一定是比较小的。这也是之后可能要注意的研究方向。林禹臣补充到，马普所之前的有些工作确实是关注常识知识的显著性的。

03

常识推理的方法有哪些？

常识推理与逻辑推理有什么区别？

盛泳潘先对常识推理的整体过程进行概述。早期的常识推理主要是基于符号推理，目前多使用知识表示学习的方法。逻辑推理非常复杂并且难以大规模应用。因此，目前主流的研究思路都是先将推理任务转化为类似分类这样的、机器比较容易理解的任务，然后，再通过机器学习方法当成分类、回归任务进行处理。但是，转换为机器学习的常见任务可能并不真正契合常识推理任务本身，常识推理需要精确度与泛化能力。

林禹臣对盛泳潘的观点表示赞同。然后，继续探讨目前基于机器学习的常识推理是怎么逐步进行优化的。其中重要一点是提高机器学习任务的难度，例如，在SWAG这个数据集上继续使用一些对抗过滤的方法来提高难度。目前的CommonsenseQA 2.0主要使用交互式的方法来生成更难的测试集。

为什么不做形式化的逻辑推理，这主要是因为常识知识的包含范围太广，我们甚至很难将常识知识直接逻辑化。从数据集到逻辑形式并不简单，除非这个数据集本身就是从逻辑的角度出发来构造完成的，例如，WinoLogic。盛泳潘提出，是否能用逻辑做模板来产生大量的、精确的常识知识。这个思路在KBQA里面比较常见，但是在常识领域，相关的研究工作还比较少。AI2也有一个将常识问题分解的工作（对应数据集的名称为Break）。例如，想知道什么可以减缓温室效应，这就得先理解温室效应的原因是什么，什么会达成这个原因等。对以上问题的拆分实际上就是一个逻辑推理的过程。

关于如何看待基于神经-符号化的常识推理。林禹臣认为，这个研究方向的主要难点在于符号化的过程很难建立。目前的一些基于多跳的常识推理方法，可能主要是针对一些定义在关系数据库上的简单问题。例如，问一个人的爸爸的爸爸是谁这种形式。

04

在常识知识领域，还有哪些有潜力的研究方向？

如何开展后续研究工作？

目前主流的常识知识相关工作都集中在NLP领域，但实际上常识和我们真实生活的体验更加相关。多模态理应是理解常识的下一步。如何和传统NLP任务结合也是一个很有趣的研究方向。

王晨皓表示，和常识紧密结合的任务有因果检测。因为常识其实描述的是普遍的因果/关系，加入常识知识后，模型可能可以更好地理解因果。

林禹臣提到，在机器翻译或者更广泛的自然语言生成任务中，可能可以用常识知识对生成的语言做一个限制，让生成的语言更加符合常识。

盛泳潘也提到，在视频描述和视频问答这种多模态情景下，常识提供的因果关系也十分重要。

林禹臣提到了AI2发表在今年ACL上的工作，即PIGLeT，用于探索3D世界中的常识知识。它用物理引擎来模拟agent做的动作，将常识推理融入现实生活的场景。在交互式的任务中，常识应该被应用到哪个部分呢？目前的这种交互式数据集，场景的设计可能并没有考虑到常识。在这些场景中，物体的摆放位置可能比较随机。但如果是真实的现实场景，我们可以自己定义一些符合常识的物体位置的分布。例如，苹果可能更会被放在桌子上、盘子里，而不是抽屉里。在交互式场景中，常识知识同样可用来弥补不完备的指令信息的。例如，指令“加热牛奶”，我们需要通过常识知识来知道牛奶可能在冰箱里，牛奶要倒到被子里才能加热，牛奶要在微波炉里加热，等等。

如果能在脑信号脑科学领域去研究常识可能会更有意思。例如，常识知识在人脑中的信号和普通知识信号表达有什么区别，等等。

提

醒

点击“阅读原文”，即可观看本场精彩回放

整理：方天庆

审核：盛泳潘、林禹臣、王晨皓

直播预告

1月19日 19:30  青年科学家-15 

《如何通过极弱监督来完成海量文本的结构化？》——加州大学圣地亚哥分校 (UCSD) 计算机系和数据科学学院助理教授商静波

1月20日 19:30  青年科学家-16

《原始数据中的反绎知识归纳》——英国帝国理工学院计算机系副研究员戴望州

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

关于AI TIME

2019年，清华大学人工智能研究院院长张钹院士、唐杰教授和李涓子教授等人联合发起“AI TIME science debate”，希望用辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

AI TIME是清华大学计算机系一群关注人工智能发展，并有思想情怀的青年学者创办的圈子。AI TIME旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法、场景、应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家与爱好者，打造成为全球AI交流与知识分享的聚集地。

我知道你

在看

哦

~

点击 阅读原文 查看回放！