现有大语言模型(ChatGPT)的上下文理解能力还是假象吗？

人工智能的一个重要方面是人机交互智能，人机交互智能的核心在于机器对自然语言的理解，而机器翻译是衡量这种理解的有效方式。

按照目前LLM的技术路线，仅仅靠计算语言形式的概率能否产生人类式理解还是未知，但我们知道人类式理解是能够反语言形式概率的，这可以作为LLM是否理解语言的评估标准，也可以作为图灵测试的评估标准。

反概率的一种表现形式是，人类具有质疑自己所相信的并将注意力重新聚焦到与第一印象不相符的部分的能力。
下面就是一个典型的反语言形式概率的翻译错误案例。

全国“江”姓比“楚”姓的人口多几百万，上面的江大桥市长即使小学生都能理解的非常准确，因为人类式理解是能轻松反语言形式概率的。而google翻译，微软翻译，百度翻译等都不能准确翻译，即使最新的大型语言模型chatGPT也没有表现出任何明显的改善，不理解发表讲话的含义，还错误地纠错“北京市市”，也要翻译为 “长江大桥”。
下图是ChatGPT问答的截图

从训练数据中的先验概率来讲，要想让系统自动纠正 “长江大桥” 的巨大权重的确是不容易的，需要理解上下文才能做到，而各种深度学习或大模型技术在反概率的上下文理解上还没有显现出任何能力，何谈AGI呢？

还可以设计各种反概率的测试用例，例如“如果汁一样好喝”，"如果"的巨大权重也会导致翻译或理解出错。只要是需求和问题中含有反概率时GPT就一定会出错，这是因为基于概率计算的GPT只能做出概率式理解。截图如下：

通过设计各种测试，还会发现GPT在从前向后顺序理解的表现比传统翻译要好一些，这也正符合GPT的从前向后的解码训练机制，说明GPT的概率计算策略在从前向后的概率式理解上还是取得了一些效果。

语言是形式与思想的交融，目前的机器学习模型包括大语言模型能力仍局限于形式语言方面，而这些能力的形塑基础就是语言形式的频率和概率。
语言形式只包含给定语言规则和模式的知识，语言功能则需要在现实世界中理解和使用语言所需的一系列认知，这些认知涵盖了几乎所有的人类思想领域，如形式推理、世界知识、情态建模和社会认知。

基于语言形式的概率计算能产生人类式的理解吗？这在今天已经完全成为了一门实验科学。

基于注意力机制的概率计算使得GPT表现出了很强的语义理解能力的表象，尽管不同于人类式基于概念认识的理解能力，形式不同，但并不妨碍目标一致。并且理论上的多注意力机制是有可能做到反概率理解的。

希望2023年LLM能反概率理解一个句子内的上下文，在这之前，所有在语言形式概率之内的上下文理解都可能是假象。

还希望我们能发现超越概率的可计算基础，而不是只依赖改进概率计算的策略。

现有大语言模型(ChatGPT)的上下文理解能力还是假象吗？相关推荐

大语言模型的多语言机器翻译能力分析
来自:南大NLP 进NLP群->加入NLP交流群 01 研究动机以ChatGPT为代表的大语言模型(Large Language Models, LLM)在机器翻译(Machine Trans ...
《预训练周刊》第61期：谷歌prompt双向语言模型、prompt的理解能力
No.61 智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息,<预训练周刊>已经开启"订阅功能",以后我们会向您自动推送最新版的&l ...
ChatGPT的朋友们：大语言模型经典论文一次读到吐
作者 | 菜人卷整理 | NewBeeNLP https://zhuanlan.zhihu.com/p/620360553 大家好,这里是 NewBeeNLP. 要说2023刷屏最多的词条,Chat ...
NLP领域大语言模型汇总
目录 1.OpenAI ChatGPT GPT4 2.清华大语言模型 GLM-130B 千亿基座模型 3.Meta-LLaMA LLaMA 4.百度文心一言 5.Google PaLM API Pa ...
“超越”(MMCU)中文通用大语言模型测试集预发布
近期,中文大语言模型蓬勃发展,但却一直没有出现可应用于评测大模型能力的测试.甲骨易AI研究院提出一种衡量中文大模型处理多任务准确度的测试,并在此基础上制作了一套适配测试中文大模型的数据集,并将其命名为 ...
自学大语言模型之Bert和GPT的区别
Bert和GPT的区别起源 2018 年,Google 首次推出 BERT(Bidirectional Encoder Representations from Transformers).该模型是 ...
ChatGPT 类大语言模型为什么会带来“神奇”的涌现能力？
作者 | 张俊林责编 | 王子彧出品 | CSDN(ID:CSDNnews) 如今,大语言模型已经彻底改变了自然语言处理 (NLP)的研发现状.众所周知,增加语言模型的规模能够为一系列下游 ...
全面提升AI语言理解能力，达摩院自研语言模型体系登顶6大权威榜单
8月26日,阿里达摩院语言技术实验室取得一系列突破,斩获自然语言处理(NLP)领域6大权威技术榜单冠军.据介绍,参与竞赛的6项自研AI技术均采用模仿人类的学习模式,全方位提升了机器的语言理解能力,部分 ...
张俊林：由ChatGPT反思大语言模型（LLM）的技术精要（2）
原文:张俊林:由ChatGPT反思大语言模型(LLM)的技术精要(2) 02 学习者:从无尽数据到海量知识从目前研究结果看,Transformer是足够强大的特征抽取器,尚不需要做特别的改进.那么通 ...

现有大语言模型(ChatGPT)的上下文理解能力还是假象吗？

现有大语言模型(ChatGPT)的上下文理解能力还是假象吗？相关推荐

最新文章

热门文章