张钹院士：迈向第三代人工智能 |论文学习总结

2020/11/1
记录：第一次参加黄老师项目的工作报告暨学习老师分享《迈向第三代人工智能》论文总结。

写在前面：本文主要记录老师分享论文时ppt的内容，供学习和自己复习。**表示**：原论文并未如此论述，个人理解。

论文背景与主要贡献

人工智能成为工业界和学术界的追逐对象
1. 媒体大力宣传“人工智能时代”的观念
2. 大量的技术成果落地
3. 中小学开设相关课程，高校成立人工智能学院或专业
如果站在一个更高的层面，应当如何看待这个领域的发展现状？
论文主要贡献在于：
1. 客观、理性地分析了人工智能领域的现状，梳理了主要脉络。
2. 思考通往“触及人类真正的智能之路”的技术挑战。
3. 提出了“单空间模型”和“双空间模型”的思路和解决方案。

第一代人工智能：符号AI

符号AI的理论基础是认知心理学，把符号系统作为人类高级心智活动的模型。
优点：由于符号的可组合型，符号AI具有可解释性和容易理解。
缺点：
缺乏数学基础, 除数理逻辑之外,其他数学工具很难使用。
表现能力有限, 难以刻画复杂和不确定的知识, 推理也只限于逻辑推理等确定性的推理方法。
目前已有的方法只能解决完全信息和结构化环境下的确定性问题。
1. 完全信息及结构化环境的代表：国际象棋
2. 不完全信息代表：*自然语言*
3. 非结构化环境的代表：*根据用户的消费记录、个人喜好和生理属性等推测金融风险。*

第二代人工智能：连接主义AI

四大理论支柱以及后继的算法改进开启了以深度学习为基础的第二代AI。
优点：
1. 坚实的数学基础。
2. 超越人类性能成果的取得 , 并不需要领域知识的帮助。（如AlphaGo-Zero）
缺点：
1. 深度学习容易受攻击, 被欺骗和不安全。
1 获取的数据通常不完备或含有噪声。
2. *难以确定神经网络结构的最优选择。*
2. 黑盒模型难以被解释，难以发现具有语义的部件。

第三代人工智能

目标：全面反映人类智能。

1. 建立鲁棒与可解释的 AI 理论与方法。
2. 发展安全、可信、可靠与可扩展的 AI 技术。

思路：把第一代的知识驱动和第二代的数据驱动结合起来 , 通过同时利用知识、数据、算法和算力等 4 个要素。
1. 双空间模型：符号空间模拟大脑的认知行为 , 亚符号 ( 向量 ) 空间模拟大脑的感知行为。
3. 单空间模型：克服深度学习所带来的缺陷。
2. 三空间模型：融合双空间与单空间两种模型。

双空间模型：知识与推理

“危险边缘”智力竞赛的挑战在于理解自然语言当中的非结构化信息，并且进行复杂的推理。
1. 仅仅依靠关键字和关系数据库难以进行准确的推理。
2. 如下图所示，仅根据关键字cosmic、one moment、creatures等，机器会推理出“the Big Bang”的答案，但实际上正确答案是“Apollo 11”。
IBM Watson在智力竞赛的获胜（2011年）展示了机器在知识表示和推理方法上取得的成果。

双空间模型：IBM Watson的主要贡献

从大量非结构化文本（比如Wiki）自动生成结构化知识。
如下图中，生成SCIENTISTS win PRIZES ：
在应用“结构化知识”时，会根据知识的来源进行打分，评估知识的质量。
使用多达百种的推理机制（有些是针对智力竞赛特别设计的）。

双空间模型：从“向量特征空间”到“符号语义空间”

如何将符号与物理世界联系起来，论文认为这是深度学习的任务，但目前的深度学习还不能完成这个任务。

1. 深度学习所处理的空间是特征空间 , 与语义空间差别很大 , 它只能学到没有明确语义的 “ 局部片段 ”, 这些片段不具备可组合性。
2. 论文认为，机器必须通过自我学习获取 “ 物体 ” 的语义部件 , 如 “ 狗 ” 的腿、头、尾等 , 才有可能通过这些部件的组合形成 “ 狗 ” 的不变 “ 内在语义 ”。

（说明：一张猫的图片在AlexNet的第一层（左图）和第五层（右图）的可视化结果）

示例：迫使神经网络选择最具代表性的特征。
1. 如下图，神经网络的输出层分别出现代表人脸、小汽车、大象和鸟等类别的神经元。
2. 即提取了“整个物体”的语义信息。
但这种语义仍然不具备可组合性

双空间模型：强化学习

前面是作者关于如何获取基本知识、如何感知的思考，作者接下来思考如何获取常识概念。
作者认为，强化学习通过与环境的交互，即亲身经验之后 "获得超越基本知识（概念）以外的“常识概念”。
目前已经取得成功的围棋、视频游戏，从本质上来说是相对简单的（环境完全可观察，反馈确定、规则明确、数据量大等）。
未来的挑战主要出现在不确定性、不完全信息、数据或者知识匮乏的场景。
AlphaStar的论文，是一个很好的开端，尤其是与博弈论的结合，让多智能体之间竞争和合作。

单空间模型：深度学习方法的改进

作者认为，深度学习将所有的处理都放在亚符号 ( 向量 ) 空间 , 这显然是为了利用计算机的计算能力 , 提高处理速度。
1. 这种说法似乎暗示着计算机系统结构限制了AI的想象力？
2. 这让我联想起最近清华发表的关于类脑计算完备性的论文，也许新体系结构反而能够启发上层建筑的设计？
目前的挑战及方向
1. 可解释性问题
1. 模型的后解释技术：通过可视化、交互技术等方式 , 分析给定模型的工作机理 , 为其决策结果寻找解释途径
2. 可解释模型：发展新的网络架构、损失函数、训练方式等 , 发展具有内在可解释性的新型人工智能模型
2. 鲁棒性问题：增强深度学习模型自身的安全性 , 发展相应的深度学习防御算法。

单空间模型：贝叶斯深度学习

深度神经网络没有考虑数据观测的不确定性 , 这种不确定性的存在 , 以及对于数据背后物理背景的无知 ,使我们对深度学习结果的正确性难以判断。
用贝叶斯方法更好地学习深度神经网络包括计算预测的不确定性、避免过拟合等
用深度神经网络作为非线性函数变换定义更加丰富灵活的贝叶斯模型
应用：给定一个标签，产生高质量的自然图片或人脸。

单空间模型：不同语义之间的计算

示例：视觉问答需要根据给定的图片回答问题（即看图说话）

根据给定的图片 , 回答以下问题 , “ 在大陆地壳下面有多少层 ( 类型 )?”

挑战：
既有图像又有文本 , 需要在单一的向量空间中同时处理 , 涉及单一空间模型的使用，存在一定的难度。

小结与思考

作者认为，为了实现第三代 AI 的目标 , 最好的策略是同时沿着两条路线前进，既最大限度地借鉴大脑的工作机制 , 又充分利用计算机的算力。
关注那些还未被解决的挑战，每一步改进都将推动AI向前发展

张钹院士：迈向第三代人工智能 |论文学习总结相关推荐

张钹院士：第三代人工智能的特点、发展现状及未来趋势
来源:探臻科技评论本文约6100字,建议阅读13分钟. 本文为中国科学院张钹院士关于人工智能发展趋势的分析判断,主要回顾人工智能发展的历史,以及系统阐释第三代人工智能的特点.发展现状及未来趋势. 作 ...
【ICCSIP2021大咖观点】张钹院士——《第三代人工智能》
第六届认知系统和信息处理国际会议线上主论坛--产.学.研各领域大咖齐聚首,交流创新发展实践经验,共话AI 时代下的智造新思维. 会议现场,中国科学院院士.清华大学人工智能研究院院长张钹发表主旨演讲,演 ...
张钹院士：制约人工智能发展的最大困难是什么？
出品:新基建访谈采访:张楠整理:广胜脑科学被誉为自然科学研究的"终极疆域",脑科学的发展不仅直接关系人类对于意识诞生机制的探索,也对推动当前 AI 技术发展具有重要意义. 对 ...
人物| 张钹院士：中国人工智能奠基者
开篇语 <人民日报>海外版于2021年8月30日刊发了中国人工智能主要奠基者和发展推动者--张钹院士在人工智能领域奋斗不息.矢志不移.创新不止.诲人不倦的历程.以下全文转发: 当前,全球科 ...
张钹院士专访：人工智能永远在路上
来源: 瑞莱智慧RealAI 新一代人工智能蓬勃兴起,各类应用加速落地,"人工智能"的本质到底是什么?今天,以数据驱动的人工智能在"奔跑"的道路又会遭遇哪些瓶颈 ...
AI TIME 发起人张钹院士：中国人工智能奠基者
点击蓝字关注我们 AI TIME欢迎每一位AI爱好者的加入! 本文原载于:<人民日报海外版> (2021-08-30 09版) 张钹院士近影张钹(左1)在实验室与博士生讨论(1995年 ...
张钹：走向第三代人工智能
6月24日,由人民网研究院编撰的移动互联网蓝皮书<中国移动互联网发展报告(2019)>正式发布.报告指出,人工智能与产业结合推动爆发式增长,是未来我国移动互联网发展的重大趋势之一.人工智能 ...
张钹院士：可解释、可理解是人工智能研究的主攻方向 | CCF-GAIR 2018
作者:刘鹏摘要:张钹院士历经了中国人工智能的从无到有,从弱到强,因而他也最能清楚地针对中国人工智能近年来的不同发展状态,发表适合的看法和提出正确的建议. 2017 年末清华大学举办的「从阿尔法 Go ...
张钹院士：场景是当前AI产业化最大问题
张钹院士:场景是当前AI产业化最大问题 https://mp.weixin.qq.com/s/TLdoi9cnY-Crr0FVp2ah6g 在世界机器人大会"青年创新创业专题论坛" ...
清华张钹院士专刊文章：迈向第三代人工智能（全文收录）
来源:清华大学人工智能研究院作者:张钹.朱军.苏航人工智能(ArtificialIntelligence,简称 AI)在 60 多年的发展历史中,一直存在两个相互竞争的范式,即符号主义与连接主义( ...

张钹院士：迈向第三代人工智能 |论文学习总结

张钹院士：迈向第三代人工智能 |论文学习总结相关推荐

最新文章

热门文章