在2019年11月1日上午的北京智源大会“智能信息检索与挖掘专题论坛”中，ACM Fellow、美国伊利诺伊大学香槟分校（UIUC）计算机系、生物信息研究所、信息科学学院及统计系教授翟成祥进行了题为《增强人类智能：从搜索引擎到智能任务代理》的主题演讲。

演讲比较分析了大数据应用于AI的两种途径：完全取代人类的自制型智能，和拓展人类智能的辅助型智能；翟成祥将后者视作智能信息检索和数据挖掘的主要研究方向，并根据文本数据的独特优势，提出了一个基于人机合作的智能分析引擎——文本透镜（TextScope），清晰地勾勒了拓展人类智能所需的逻辑流程、核心技术等。可以说，这篇报告如一部提纲挈领、系统严谨的指南，为我们思考、预测从搜索引擎到智能代理等信息检索技术历史和应用的演变逻辑，提供了一个清晰的参考谱系。

下面是翟成祥演讲的精彩要点介绍。

整理：刘布楼

编辑：王炜强，常政

01

自制 VS 辅助：数据拓展人类智能

目前大数据和人工智能的关系，可以通过人工智能对大数据应用途径的不同概括为以下两类：

1.将大数据作为训练数据。通过机器学习、深度学习等监督学习方法，运用智能系统模拟人类智能并代替人类完成工作，例如无人驾驶汽车代替人类驾驶员、客服机器人代替客服人员。该方法为社会带来了巨大的变革，解放了劳动力，降低了企业人力成本。

2.将大数据作为对世界系统或特定子系统（如医疗系统、金融系统）的观察方式。通过非监督学习的方法，从数据中获取智能，人类借此可以发现未知事物，或对已知事物有更清晰的理解。该方法发挥辅助性作用，运用大数据拓展人类智能，使人类的智能进一步得到增强。

图1 大数据应用于人工智能的两种途径

虽然二者都来源于大数据技术，但在应用的领域上有所区别。前者称为自制型智能(Autonomous AI)，它的应用领域有一定局限性，需要满足两个要求：首先是任务简单，对于太复杂的任务，靠目前的技术很难取代人类；其次是足够的数据量，能够支持模型的训练。后者称为辅助型智能(Assistive AI)，应用范围较为广泛，因为该方法对数据的数量和质量要求较低，各种类型的数据（如文本、非文本等）均可使用，其价值在于构造类似于显微镜或望远镜的智能系统从而拓展我们的视野，帮助我们更好地完成预测、决策工作。辅助性智能的局限性存在于其在简单的任务不能发挥较大作用，主要应用于复杂、决策性强的领域。

从能力的角度对比，自制型智能虽然在聊天机器人、无人驾驶中有所应用，但是由于智能从数据中产生，且数据来自于人，智能的效果很难超过人类的表现；而辅助型智能往往不被人们认为是智能，但是与人的结合可以超越人本身的智能，比如望远镜不被认为是智能的工具，但是它却能拓展了人类在军事方面的智能。

人类进化的过程也是拓展自身智能的过程，我们通过发明工具拓展了我们的物理能力和思维能力，提高了预测决策的水平。所以大数据与人工智能的发展，能给人类带来新的机遇，促成新工具的诞生，从而增强人类的智能。

智能信息检索与挖掘正是典型的拓展人类智能的应用。百度、谷歌等搜索引擎拓展了我们的感知能力，让我们获取更多的信息，从而依据更多的观点做出决策。但是现在的检索引擎只支持搜索，而我们往往需要通过多次搜索并组合消化信息以完成决策，当前没有支持整体工作流程的系统，类似于军事中只有望远镜而没有完整的军事行动决策工具。所以如何扩充搜索引擎，打造完整的智能任务辅助系统，从而更好地扩展人类的智能是亟待解决的问题，也是智能信息检索和挖掘专题中最主要的问题。

图2 当前搜索引擎的使用流程

02

大数据时代文本数据的价值和机遇

大数据时代，文本数据由于其特殊的价值获得了独有的应用机遇，而把握机遇的关键在于人机合作。搜索引擎处理的数据大部分是文本信息，它是人类在某一视角下对世界的观察，并通过某种自然语言描述而产生的数据。在这个角度下，人类类似于主观智能“传感器”，以文本形式输出观察的内容。而人类本身的特点，赋予了文本数据在大数据时代特殊的应用价值：

1.对所有大数据应用都有应用价值：人类涉及到的领域均会产生文本数据，因此文本数据在所有应用中都存在价值。通过和非文本数据的配合使用，文本数据或作为辅助信息，或作为主要信息，辅助人类完成预测、决策等工作。

2.特别有助于挖掘有关人的行为、心态、观点的知识：人类和普通传感器的区别在于人的主观性，该特性使得人类在数据中留下的痕迹可以作为分析人的行为偏好或特点的依据。例如某人写下的所有评论都是负面的，可以推断出他自身带有负面的情绪。但人的主观性又导致文本数据存在不准确性和虚假性，从而影响决策，所以信息的可靠性是重要的研究问题。

3.质量高带来小数据应用价值：由于人类本身具有智能，人类表达出的信息蕴含丰富的知识，所以知识密度相比于非文本数据更大，我们通过大量非文本挖掘得到的结果只需要通过少量的文本数据分析就可分析得出。例如对流感病毒爆发的预测，阅读专家发表的观点相比于分析大量网络数据更简便快捷。这在一定程度上要求自然语言处理技术也要有快速的进步和发展。

图3 人是一种“主观智能传感器”

文本数据的特殊价值，带来了文本挖掘的新机遇。文本挖掘的过程是反推人类观察和表达的过程，包括挖掘语言规则（同义词、语义相关性等）、分析事件内容、研究观察者的属性特点以及推断世界上的其他有关变量。最后一点尤为关键，由于文本数据在所有领域都有应用价值，我们可以通过文本信息推断现实世界的一些情况，从而辅助决策。例如人类聊天过程中并不一定会直接出现股票的价格，但是聊天文本信息可以辅助推断现实世界发生的事件，从而了解影响股市价格的变量。

图4 文本挖掘应用的新机遇

另外，如何对文本与非文本数据进行共同分析也是重要的研究课题。在不同任务上，文本数据和非文本数据的作用大小有所不同。例如股票价格的预测上，使用文本数据的预测能力远远小于使用股市本身数据的能力，而产品销售领域中，产品评论的价值可能大于产品销售的历史数据。此外，非文本数据为文本分析提供了语境（例如时间、地点等），有助于提升文本分析的效果。

把握文本挖掘机遇的关键是人机合作。目前自然语言理解技术发展仍不成熟，若需将不完善的技术转化为完善的产品，我们必须把智能系统放在人的环境中，优化人和机器结合的智能而非机器单独的智能。这种思路来源于信息检索，检索是为人类服务而非其本身具有智能，但是通过人机合作增强了人类智能。

03

文本透镜：基于人机合作的智能分析引擎

畅想未来的人机合作图景，翟成祥设计了一个名为文本透镜(TextScope)的智能分析工具，它是基于人机合作、集成了多种工具的智能分析引擎(Analysisengine)，并且代表了拓展人类的智能的前沿应用，也是搜索引擎到智能任务代理的实现桥梁。文本透镜的检索功能类似于军事望远镜，定位我们想看的内容；过滤器和分类器根据个人偏好设定感兴趣的题目，呈现不同的内容，该系统可以训练多个过滤器和分类器供使用者选择；在交互式工作流程管理区内，使用者可以记录感兴趣的内容；主题分析、观点分析、预测等功能帮助我们看到更细粒度的内容（例如文章有哪些主题、观点是正面还是负面等），更加清晰地呈现内容，拓展我们的感知能力；推荐功能类似于雷达，筛选使用者关心的内容，提高使用者效率（例如向研究者推荐论文使他们更快发现新的课题）；摘要、可视化等功能帮助我们更快捷、更清晰地了解重点信息。目前各部分的技术已经日趋成熟，但是系统的搭建尚缺乏合理的工程构造方法。

图5 文本透镜工作平台界面构想

人机交互的决策支持是文本透镜的关键。基于收集的文本数据、非文本数据，文本透镜使用决策模型主要实现两个目标：发现当前隐性的事实（例如安全问题）和通过对过去的观察以预测未来。该系统通过自然语言处理、交互式信息检索、分析多种形式数据、集成数据挖掘算法和各领域知识完成决策任务。翟成祥指出，文本透镜属于辅助型智能，整个过程最强调的是人发挥主导作用，我们要根据自身的需要调整分析的方向；另外，从机器学习的角度来看，该系统如何学习与人交互也存在很多需要研究的课题。

图6 文本透镜动态决策支持流程

据翟成祥介绍，目前已经有一些文本透镜的应用：

1.航空安全的分析。文本透镜可以根据故障报告辅助航空系统管理人员分析飞行故障重复出现的原因、多发的时间地点等重要信息。典型方法是应用topic cube技术，通过不同分辨率的视角分析文本数据和非文本数据，从而观察不同地区异常分布情况差异等信息，探究造成异常的根本原因（例如通信因素、物理因素）或其他更深入的问题。在该应用上，系统的处理速度是一大挑战。

2.消费趋势的分析。文本透镜可以根据产品评论辅助市场研究员分解产品的评分、深入了解产品特点和市场偏好。评论数据可以解释评分高低的原因（例如酒店的地理位置、服务、价格等），拓展了市场研究人员的感知能力。此外，深入的研究可以挖掘各单词在正负评论中的分布、发现不同旅馆的优劣势、实现个性化的推荐等，能够惠及买卖双方。

3.股市的预测。文本透镜可以定位文本数据中和股票相关的段落与主题，并从同样的文本数据中，抽取出对应于不同股票的主题等。

翟成祥认为文本透镜未来的发展方向，是集成为支持所有应用的通用系统，该任务难点在于取舍(trade-off)智能程度提升带来的其他方面的损失。首先是智能程度和原始检索信息之间的取舍，完全智能的系统试图推测用户的意图，并自动对信息进行处理，以最大限度地去代替用户的劳动，直接提供问题的解决方案。这样的系统智能程度很高，但它们也可能因为对用户意图的理解不完全准确，而导致提供的方案有误或不可行，给用户带来额外劳动；在这种情形下，为用户提供原始信息更为合适。该取舍类似于提供一盘做好的菜与提供原材料之间的取舍：做好的菜可以直接吃，很方便，但口味不合时，也许不如自己做菜更合适，虽然后者需要花费一些时间和精力。其次是智能程度和泛化能力之间的取舍，完全智能的系统往往只能解决特定的问题，不能提供给人类解决更多问题的选择，而智能程度较低的系统（如搜索引擎）虽然应用范围广，但是无法全自动化解决问题。该取舍类似于桌餐和自助餐的对比，前者无需人的劳动，但内容固定，没有选择，后者虽然需要人本身付出一定的努力，但有很大的选择空间。如何优化这些取舍往往取决于智能算法的可靠性和具体应用的难度，所以一个通用的文本透镜系统必须能灵活地支持这些取舍，使用户能随时进行必要的调整。

图7 智能程度和其他损失之间的两种取舍

文本透镜的最终目标是最大化人机合作的总智能，翟成祥将这样的人机系统称为智能任务代理(Task Agent)，指出如果要将它发展为超越人类的自制型智能并代替人类完成决策，目前还存在很多挑战：如何最小化人类的劳动、最小化机器的能耗、对人的因素建模（写入目标函数）、对决策任务建模、优化与人的交互、并保证系统的安全性和可靠性等等。

结语

翟成祥的演讲向我们展示了大数据时代下用于文本分析与挖掘的工具谱系——文本透镜，详解了其拓展人类智能、辅助现实世界决策的实例。通过翟成祥呈现的分析图谱，我们可以看到“人类劳动最小化、智能最大化”的人机协作系统将是未来的重要研究方向和发展趋势，这为我们思索人工智能技术创新脉络、以及它可能的各种社会影响等问题提供了重要的思想基点。

- 往期文章 -