如何判断一个对话机器人有多智能？

有些对话机器人总让人崩溃，也许是智能级别不够高。本文，就来一起看看如何判断一个机器人的智能程度。

随着智能对话技术的发展，对话机器人越来越多地出现在人们的日常工作和生活中。

从企业的角度，在合适的业务场景中使用对话机器人，能够极大地提升服务效率和用户体验。因此，引入对话机器人逐渐成为每个企业数字化和智能化转型过程中的重要战略。

那么，我们应该如何来评判一个对话机器人的能力，或者更具体一点，如何判断一个对话机器人的智能程度呢？

本文介绍一种对话机器人的分级，让我们可以更清楚地了解不同等级的对话机器人分别具有什么能力，适用于什么场景。

对话机器人的分级

目前业界并没有一个成熟的对话机器人分级体系，但自动驾驶的分级能够给我们一些启发。

根据行业标准，自动驾驶能力被分为L1到L5共5个等级（L0代表完全人类驾驶，不算在5个等级之内），等级越高代表自动驾驶能力越强。比如，L1代表辅助驾驶，L5代表完全自动驾驶。

在不同的级别下，驾驶员和车辆所扮演的角色有所不同，级别越高驾驶员需要对车辆的控制越少（如下图所示）。

图片来源[1]

参考国外开发者社区对于智能助手的分级[2]，我们从对话机器人能够解决的问题及其应用场景出发，将对话机器人的能力也进行分级，分为L1到L5共5个等级，等级越高代表对话机器人的能力越强（如下图所示）。

下面我们分别介绍这5个等级。

L1 单向推送

机器人可向用户推送消息，但没有对话能力。

L1级别的对话机器人，只具备向用户单向推送的能力。今天，我们所使用的App、微信公众号都会使用这种方式与用户交互。

这种方式的好处是受众广，效率高；缺点是用户只能被动接收推送，无法和机器人进行对话交互。因此，L1级别的机器人在严格意义上不能被称为“对话机器人”。

L2 单轮问答

机器人能回答用户的常见问题，但没有上下文理解能力，无法主动与用户交互。

L2级别的对话机器人开始具备对话交互能力，具体体现在它能够回答用户的常见问题。最典型的应用场景是简单的问答型客服机器人，即用户问一个问题，机器人回答答案。

这类对话机器人通常基于一个特定的知识库，当用户提出问题后，机器人需要对用户的问题进行语义理解，并从知识库中找到对应的答案回复给用户。

因此，评价L2级别对话机器人的效果，主要看召回率和准确率这两项指标。其中，召回率等于有多少用户的问题能够被机器人回答，准确率等于机器人回答的问题中有多少回答正确。

关于L2级别对话机器人背后使用的技术，感兴趣的读者可以阅读之前的文章《对话机器人平台智能问答技术拆解》。

综合来看，L2级别的对话机器人适合比较简单的客服场景，机器人能准确回答用户的问题，用户问完即走。

L3 多轮对话

机器人能理解上下文，和用户进行多轮对话，帮用户完成任务。

L2级别的对话机器人经过训练后虽然能够准确地回答用户的问题，但仍然存在两个明显的缺陷：

它没有上下文理解的能力，即机器人在回答一个用户问题时，不会考虑用户之前所说的内容；
它只能被动地回答用户的问题，无法主动发起与用户交互，导致机器人的应用场景相对受限。

因此，我们需要更加智能的L3级别对话机器人。

我们以快递领域的客服机器人为例，通过两个具体的例子来说明L3级别对话机器人和L2级别的差别。

L2级别对话机器人无法理解上下文

因为缺少上下文理解能力，当用户问“星期天开门吗”时，缺少了主语 “中关村的门店”，L2级别的对话机器人无法理解用户其实是在问“中关村的自提点星期天开门吗”，导致机器人无法回答这个问题。

对于L3级别的对话机器人，它能够理解上下文，从而补全了用户问题的主语，这样一来便可以回答出这个问题。

L3级别对话机器人能够理解上下文

有些时候，机器人在满足用户需求时，不仅要听懂用户在说什么，还需要主动向用户发问，来获取相关的信息。

我们来看另一个例子。

L2级别对话机器人能够回答问题，但无法解决问题

上面的例子中，在机器人回复的消息里，“预约取件”是一个可点击的链接，需要用户点击后在一个新的图形化用户界面（GUI, Graphical User Interface）中输入取件时间、取件地址、取件电话等信息完成预约取件，这种需要在CUI和GUI之间来回切换的交互方式显然不够高效。

L2级别的对话机器人之所以要这样，对话机器人并不知道取件时间、取件地址、取件电话等信息，没有这些信息的情况下，机器人只能提供一个链接让用户自己操作。也就是说，L2级别的对话机器人有时候虽然回答了用户的问题，但并没有真正帮用户解决问题。

理想情况下，我们希望机器人能够通过对话直接帮助用户完成任务，这要求机器人能够通过多轮对话去理解和澄清用户的意图。

L3级别对话机器人通过多轮对话解决用户问题

综上所述，L3级别对话机器人的核心能力有两点：

能够理解上下文；
能够通过主动交互澄清用户意图，并通过多轮对话帮助用户完成任务。

因此，在准确率和召回率之外，任务完成率是L3对话机器人的重要指标。

L3级别的对话机器人适合更加复杂的业务场景，尤其是需要机器人通过主动对话收集用户信息的场景，例如营销获客等。

L4 个性化对话

机器人能基于用户标签，为用户提供个性化的对话体验。

理想情况下，对话机器人在和用户交互时，不仅需要理解用户在说什么，也需要知道用户是谁。

具体而言，机器人可以基于用户标签，即用户的属性、兴趣等，为用户提供更个性化的对话体验，也提升交互的效率。

我们继续以预约上门取件为例，L4级别的对话机器人会以这样的方式来进行对话。

L4级别对话机器人基于用户标签提升对话效率

上面的例子中，机器人曾经服务过这个用户，所以它已经记录了用户的取件地址和取件电话。在这次对话中，机器人无需再向用户询问取件地址、取件时间、取件电话，大大提升了交互效率和用户体验。

对于L4级别的对话机器人，其核心在于能够为用户打标签，并在对话过程中灵活使用用户标签来提升对话效率和体验。当然，如果个性化的对话体验如果处理得不恰当，可能会给用户带来困扰，甚至伤害用户的体验。

因此，对于L4级别的对话机器人，用户满意度是一个非常重要的指标。

L4级别的对话机器人则更适合机器人和用户保持长期关系的场景，例如智能助手等。

L5 多机器人协作

多机器人相互协作，满足更复杂的用户需求。在某些情况下，用户的需求无法被单一的对话机器人满足。

以预订餐厅为例，用户可以对一个智能助手说出需求，智能助手通过对话的方式收集到了用户要订哪家餐厅、什么时间、就餐人数等信息。此时，智能助手需要再调动另一个电话机器人给餐厅打电话进行预订。

我们可以发现，这个需求的满足过程涉及到智能助手和电话机器人这两个对话机器人的协作，未来会有更多的场景和需求需要多机器人协作。

另一方面，对话机器人只是一种形态的智能机器人，还有更多种不同类型的智能机器人。比如，机器人流程自动化（RPA）就是一种能够控制软件自动完成特定任务流程的机器人。对话机器人和RPA机器人也有很多可以结合的场景。

还是回到预订餐厅的例子，如果餐厅提供在线预订的网站，那么可以由对话机器人完成信息的收集，由RPA机器人完成预订的操作。

未来趋势

未来，无论是企业还是个人用户，都可以根据自己的业务场景，使用L2到L4级别的对话能力，来提升交互的效率和体验。

注：

[1] SAE关于自动驾驶的分级，了解一下？网址为“http://www.lilunpai.com/w/466”

[2] Conversational AI: Your Guide to Five Levels of AI Assistants in Enterprise. 网址为“https://blog.rasa.com/conversational-ai-your-guide-to-five-levels-of-ai-assistants-in-enterprise/”