Part1 脑科学

1、脑科学与类脑研究概述*

摘要

脑科学和类脑智能技术(Q1)是两个重要的前沿科技领域
脑科学：脑科学研究对大脑认知神经原理的认识。
类脑智能技术：提升了人类对自身的理解和脑重大疾病的诊治水平，也为发展类脑计算系统和器件、突破传统计算机架构的束缚提供了重要的依据。
两者如何结合（Q2）

引言：

理解大脑的结构与功能是 21 世纪最具挑战性的前沿科学问题，理解认知、思维、意识和语言（脑功能）的神经基础，是人类认识自然与自身的终极挑战。
脑科学的意义：脑科学对各种脑功能神经基础的解析，对有效诊断和治疗脑疾病有重要的临床意义；脑科学所启发的类脑研究可推动新一代人工智能技术和新型信息产业的发展。
脑科学与认知科学研究的战略规划：脑功能的细胞和分子机理（生物），脑重大疾病的发生发展机理（医疗），脑发育、可塑性与人类智力的关系，学习记忆和思维等脑高级认知功能的过程及其神经基础，脑信息表达与脑式信息处理系统，人脑与计算机对话（脑科学与认知科学）等。
我国将启动“脑科学与类脑研究”国家科技重大专项：侧重以探索大脑认知原理的基础研究为主体，以发展类脑人工智能的计算技术和器件及研发脑重大疾病的诊断干预手段为应用导向。

1 国际脑科学和类脑研究的回顾与前瞻

1.1 脑科学的回顾:现代神经科学的起点是神经解剖学和组织学对神经系统结构的认识和分析。

要理解神经系统处理信息的工作原理，必须先具有神经元层面的神经联结结构和电活动信息。
20 世纪在神经元层面从下而上的研究也有了一些标志性的突破：经信息以动作电位的频率来编码信息的幅度。从动作电位的离子机制，发现各种神经递质及其功能。各种视觉神经元从简单到复杂的感受野特性，发现突触的长期强化和弱化现象，发现对特定空间定位有反应的神经元。
但是这些神经元的特性是如何通过局部环路和长程环路产生的，我们的理解还十分有限。问题的关键是，我们对脑功能相关的神经环路结构和神经信息处理机制的解析仍极不清楚。

1.2 脑科学领域的重大问题：从图谱制作到机制解析

全脑图谱的制作已成为脑科学必须攻克的关口。核磁共振等脑成像技术大大推动了人们在无创条件下对大脑宏观结构和电活动的理解。但是，由于这些宏观成像技术的低时空分辨率，目前急需有介观层面（Q3）细胞级分辨率（微米级）神经网络图谱和高时间分辨率（毫秒级）的****载体神经元集群电活动图谱。
完整的全脑图谱制作的过程中，对每个脑区神经元种类的鉴定是必要的一步-单细胞深度RNA测序技术。利用在这些神经元亚型特异表达的分子作为标记，可以绘制各脑区各种类型神经元的输入和输出联接图谱。对一个神经元亚型的最好的定义是连接和功能的定义：接受相同神经元的输入并对相同脑区的相同神经元有输出的一群神经元。
描叙各个神经联接在进行脑功能时的电活动图谱，这就需要有对神经元集群在体内的观测手段。

上述三类脑图谱——神经元种类图谱、介观神经联接图谱、介观神经元电活动图谱的制作将是脑科学界长期的工作。脑结构图谱制作的进展速度很大程度上依赖于介观层面观测新技术的研发。

值得注意的是，在全脑神经联接图谱未完成前，神经科学家针对特定脑功能的已知神经环路(Q4)，对其工作机制(Q5)已作出了许多有意义的解析。
基本脑认知功能：感觉和知觉、学习和记忆、情绪和情感、注意和抉择。
高等脑认知功能：共情心、思维、意识、语言。

1.3 脑健康领域的重大问题：脑疾病的早期诊断和干预

神经发育疾病是一类由脑部生长和发育缺陷导致的疾病，表现为情绪、认知等功能的异常。三类重大脑疾病——幼年期自闭症和智障、中年期抑郁症和成瘾、老年期的退行性脑疾病。早期诊断和早期干预将是对脑疾病最有效的医疗方式。在完全理解机理之前，急需研发出有效的脑重大疾病预警和早期诊断的各种指标。

1.4 人工智能发展的回顾

应用于心智建模的认知体系结构 SOAR 与 ACT-R 都是在 Newell 直接领导下或受其启发而发展起来的，并以此为基石实现了对人类各种认知功能的建模：动作电位模型、神经元之间的突触计算模型、微观（Q6）神经元及其微环路建模、特定脑区内皮质柱的计算模拟，以上工作要真正实现认知功能的模拟还有很大鸿沟需要跨越。
人工智能符号主义研究的出发点是对人类思维、行为的符号化高层抽象描述。
以人工神经网络为代表的联接主义的出发点正是对脑神经系统结构及其计算机制的初步模拟。
人工神经网络：感知器（Perceptron）是浅层人工神经网络的代表，由于其权值自学习能力引起了巨大关注。反向传播算法的提出解决了多层感知机学习的难题。误差反向传播算法、深度学习算法、卷积神经网络、随着 GPU 并行计算的推广和大数据的出现，在大规模数据上训练多层神经网络成为可能，从而大大提升了神经网络的学习和泛化能力。
在人工神经网络的研究中，大多数学者主要关心提升网络学习的性能，Poggio 及其合作者的工作是人工神经网络向更类脑方向发展的典范，Bengio 及其合作者融合了脑的基底神经节与前额叶的信息处理机制，提出了类脑强化学习，由 Hawkins 提出的分层时序记忆（Hierarchical Temporal Memory）模型更为深度地借鉴了脑信息处理机制。
从问题求解目标讲，几乎所有的人工智能系统都需要首先进行人工形式化建模，转化为一类特定的计算问题（如搜索、自动推理、机器学习等）进行处理，因而人工智能系统都被称为专用人工智能系统。

1.5 类脑人工智能发展的重大问题：具有自主学习能力的智能系统

智能机器人
（1）目前的人工智能技术缺乏通用性：语音识别、图像处理、自然语言处理、机器翻译等采用不同的模型和不同的学习数据，两种不同的任务无法采用同一套系统进行求解，不同任务之间知识也无法共享。而人脑却采用同一个信息处理系统进行自动感知、问题分析与求解、决策控制等。
（2）目前基于深度学习方法已经在人工智能领域取得了很大的成功，然而其代价是高耗能：
因此，受脑信息处理机制启发，借鉴脑神经机制和认知行为机制发展类脑智能已成为近年来人工智能与计算科学领域的研究热点。新一代人工智能需要在上述脑研究启发下，以多脑区、多模态和多任务协同为核心，研究神经网络微观刺激调控和宏观动态演化、视听触感认知通道及协同、长
时短时记忆与决策、运动视觉与规划控制等，建立具有生物和数学基础的计算模型与学习方法，实现具有自主学习能力的智能系统。

2 国际大型脑研究计划概述

2013美国-通过推动创新型神经技术开展大脑研究计划（Brain Research through Advancing Innovative Neurotechnologies，BRAIN）
9 项优先发展的领域和目标-1、鉴定神经细胞的类型并达成共识；2、绘制大脑结构图谱；3、研发新的大规模神经网络电活动记录技术；4、研发一套调控神经环路电活动的工具集；5、建立神经元电活动与行为的联系；6、整合理论、模型和统计方法；7、解析人脑成像技术的基本机制；8、建立人脑数据采集的机制；9、脑科学知识的传播与人员培训
2013欧盟-人脑计划 （Human Brain Project，HBP）
2014日本-“脑智（Brain/MIND）计划”，国家脑计划的目标是“使用整合性神经技术制作有助于脑疾病研究的大脑图谱”

3 中国脑计划

以理解脑认知功能的神经基础为研究主体，以脑机智能技术和脑重大疾病诊治手段研发为两翼，在未来 15 年内使我国的脑认知的神经基础研究、类脑研究与脑机智能技术和脑重大疾病研究达到国际先进水平，并在部分领域起到引领作用。
一些未来研究的重点内容：
在脑认知的神经基础原理领域：
1、基本脑认知功能（感觉和知觉、学习和记忆、情绪和情感、注意和抉择等）以及高等脑认知功能（同理心、思维、自我意识、语言等）的神经环路和工作机理。2、人脑宏观神经网络和模式。3、动物介观神经网络的结构性及功能性全景式图谱的绘制。
在类脑计算与脑机智能技术领域：
1、类脑计算理论。2、新一代人工神经网络计算模型。3、类神经形态的处理器和类脑计算机。4、脑计算系统所需要的软件环境和应用平台。5、可自我学习和能适应环境而成长的机器人。6、脑机接口和脑机融合的新模型和新方法。7、脑活动（电、磁、超声）调控技术等。
脑重大疾病与健康领域：~

4 中国脑科学和类脑智能技术的优势领域

我国在计算机视觉、语音识别、机器翻译和自然语言理解等领域已达国际先进水平。同时我国也在深度学习芯片体系架构方面有所创新，并在类脑智能机器人方面率先进行了布局。

5 中科院脑科学与智能技术卓越创新中心

5个部门：

脑认知神经基础研究部：感觉输入对本能行为的调控 神经振荡与多感整合 适应性行为核心环路的运行原理 记忆储存提取的功能和机构可塑性
脑研究新技术研究部：单神经细胞分子生物学技术 神经环路示踪与成像技术 神经电信号和化学信号检测技术 生物光子学技术 宏观脑成像技术
类脑模型与智能信息处理研究部：全脑网络数据分析 类脑多尺度神经网络计算模型 多模态感知计算模型 语言与知识处理计算模型
类脑器件与系统研究部：类神经计算芯片 新型神经计算器件 类脑智能机器人 人机协同和智能生长

5 个领域：

（1）在“脑认知功能的环路基础”领域，中心将研究感觉输入是如何启动
和调节动物的本能行为、神经元震荡活动在多感觉信息处理和整合中的作用、记忆储存与提取的神经机制、适应性行为和高级认知功能（如自我意识、共情心和语言等）的神经环路基础。
（3）在“脑研究新技术”研究方向，中心正在完善鉴别神经元类型的单细胞基因分析方法、病毒感染示踪标记神经环路的方法、记录电信号和化学信号的微电级阵列技术，以及各种观测脑结构和功能的光学、磁共振影像新技术。（4）在“类脑模型与智能信息处理”研究方向，中心在介观和宏观水平对光学
和磁共振成像数据进行全脑联结组分析，研发多感觉模态感知和能准确辨认图像、语音并理解语义的信息计算模型。
（5）在“类脑器件与系统”研究方向，中心正在研发类神经元计算芯片、新一代的神经网络计算器件、类脑智能机器人以及人机协同的智能训练和生长环境。

6中科大类脑智能技术及应用国家工程实验室

支持开展类脑认知与神经计算、类脑多模态感知与信息处理、类脑芯片与系统、量子人工智能、智能机器人等技术的研发与工程化。

2、神经科学和类脑人工智能发展*

摘　要 ：

对 2020—2050 年我国经济社会发展面临的战略需求、实施相关重大科技研发计划的必要性和可能组织形式、神经科学和类脑人工智能布局和发展步骤以及具体目标。
建议我国神经科学和类脑人工智能未来规划布局可在国家重大科技项目“脑科学与类脑研究”和“人工智能 2.0”主题的基础上，细分为 3 大重点方向 ( 基础神经生物学、神经精神性疾病、类脑人工智能 ) 和 2 大支撑性领域 ( 变革性神经科学技术、支撑平台 )

1　我国未来经济社会发展对神经科学和类脑人工智能的需求：面向2020—2050年

1.1　神经科学、人工智能技术演进与基本应用形态总体预测

到2020年，神经科学蓄积变革基础，现有人工智能技术独领风骚，人类社会全面进入**“弱”人工智能时代**。目前，人工智能技术和神经科学基本上还属于两个独立的学科领域，在相关领域的融合应用也处于初级阶段。
到2030年，神经科学和类脑人工智能将迎来第一轮重大突破，革新原有人工智能的算法基础，人类社会初步进入**“强”人工智能时代**。在神经感知和神经认知理解方面出现颠覆性成果。这一时期，类脑人工智能和神经科学将相互促进。
到2050年，神经科学和类脑人工智能将迎来第二轮重大突破、类脑人工智能进入升级版，人类社会将全面进入强人工智能时代。在情感、意识理解方面出现颠覆性成果，神经科学和类脑人工智能融为一体。

3　面向我国2020—2050年的重大科技布局初步建议：“3+2+2”模式

以 3 大重点方向 ( 基础神经生物学、神经精神性疾病、类脑人工智能 )、2 大支撑性领域 ( 变革性神经科学技术、支撑平台 ) 为核心内容，2 大产业 ( 神经生物医药及生物工程、人工智能产业 )。

3.1　基础神经生物学

3.1.1　脑图谱绘制
3.1.2　神经发育研究
3.1.3　神经环路解析
3.1.4　认知的神经基础

1. 多模态感知整合研究2) 学习与记忆机3) 人类抉择行为的神经机制4) 意识的神经机制

3.3　类脑人工智能

一方面充分利用神经科学领域的丰硕研究成果，促进神经科学与人工智能的深度融合，产生原始创新的理论和方法 ； 另一方面进一步加强人工智能技术与产品的研发、应用和产业化发展，反过来助力神经科学研究与创新。

3.3.1　充分利用神经科学研究成果，开发新理论、新算法

中短期发展目标 ： 1) 进一步开发基于深度学习和生物识别的新型类脑算法，初步构建与之相应的新一代人工神经网络模型，对脑信息传递、自我学习、记忆等高级功能进行简单模拟 ； 2) 突破深度学习的理论和技术局限，结合脑认知机制，构建统计关联与特征关联相结合的新型学习理论，实现“知识驱动”与“语义驱动”关联统一。
2030—2050 年的发展目标 ： 1) 构建融合深度学习与强化学习、演化计算、主动学习、毕生学习等仿生和自然计算理论的新型理论框架 ； 2) 实
现大规模并行神经网络、进化算法和其他复杂理论计算 ； 3) 对大脑原始能力 ( 即理解和物种生存相关联的生物行为等 ) 有了深入理解，从而实现高级的机器逻辑能力。

3.3.2　重点部署深度学习，探索和模拟脑信息处理机制

中短期发展目标 ： 1) 对视觉、听觉、躯体觉等感知觉的神经机制进行模拟，实现模式识别的优化与创新，获得进一步优化和通用的虚拟现实技术、
人机交互技术等 ； 2) 神经网络、认知计算模型和智能系统的自适应能力大幅度提升，通用性人工智能技术获得突破 ； 3) 开发出能够同时完成语音识别、图像处理、自然语言处理、机器翻译等任务的通用性的人工智能系统。
2030—2050 年的发展目标 ： 1) 突破智能系统在感知、认知、控制等方面的巨大瓶颈，开发出具有自主学习能力的智能系统 ； 2) 建立类人学习
机制的认知结构，大幅度提高机器学习鲁棒性，提高机器人的认知能力和主动学习能力 ； 3) 建立在材料、物理等相关技术突破的基础上，开发出新型供能系统，智能系统耗能降低至通用水平。
3.3.3　重视大数据技术和新一代互联网技术等基础技术支撑

3.3.4　开发类脑芯片、类脑智能器械、脑机接口等智能产品

中短期发展目标 ： 1) 神经计算电路模块的通用性进一步提高，脑芯片等类脑元器件和硬件系统获得技术突破 ； 2) 研发出综合性类脑人工智能软硬件系统 ； 3) 脑电信号检测、传感、编译、转换等技术有所突破，高性能、高传输速度、高兼容性脑机接口得以推向应用。
面向 2030—2050 年的发展目标 ： 1) 类脑人工智能软硬件系统耗能和成本大幅度降低，通用性显著提高 ； 2) 将人类识别能力与计算机高速运算能力相结合的“人 - 机”协作系统在安全、医疗、工业等领域广泛应用 。

3.3.5　推动类脑智能机器人的研发和应用

面向 2030—2050 年的发展目标 ： 1) 机器人智能性大幅度提高 ； 2) 开发出应用于民生、减轻社会负担和家庭负担的民用机器人，如具有情绪感知和抚慰能力的老年服务机器人等 ； 3) 工业领域的基本操作全面“机器人化” ，民用、军用领域简单工种50% 被机器人替代。

Part2 类脑智能技术

3、类脑智能研究的回顾与展望*

摘要：

实现人类水平的智能系统（协同多种不同的认知能力、对复杂环境具备极强的自适应性、对新事物新环境具备自主学习能力）是人工智能学科探索的长期目标。随着脑与神经科学、认知科学的发展，在不同尺度下观测各种认知任务的脑神经网络的部分活动并获取相关数据已成为可能，人脑信息处理过程不再仅凭猜测，人脑工作机制也更具可靠性。因此发展类脑智能成为了人工智能和计算科学领域的热点。类脑智能是受脑神经机制和认知行为机制启发并通过软硬件协同实现的机器智能（可理解成根据人脑认知功能的神经机制，利用计算机模拟人脑的认知功能）。文中将从脑科学、认知科学、人工智能研究交叉的视角回顾类脑智能研究的历史、现状与研究焦点，展望该领域的发展方向、可能的应用领域及其深远影响。

1 引言：

经过近 6O 年的发展 ，人工智能学科已经奠定了若干重要的理论基础 ，并取得了诸多进展。 但在多认知功能协同和通用性智能方面，机器还与人类有明显差距。现有人工智能系统通用性较差与其计算理论基础和系统设计原理有密不可分的关系。
从计算基础角度（计算方式）讲，受制于图灵机与冯诺依曼体系结构，目前的智能系统在感知、认知、控制等多方面都存在巨大瓶颈。未来急需突破这种输入与处理形式相对固定的计算方式，取而代之的将是更为灵活的、更类人的信息处理与计算模式。
从问题求解原理角度讲，目前的人工智能系统都需要首先进行人工形式化建模，转化为一类特定的计算问题（如搜索、自动推理、机器学习等）进行处理。而人脑采用同一个信息处理系统进行自动感知、问题分析与求解、决策控制。
深度学习算法的提出，推动了很多特定领域机器智能水平的快速发展。但是深度学习的优越性仍然限于特定领域，依赖大量的标记样本，主要是离线学习，环境迁移和自适应能力较差。
大数据的兴起，给信息处理和智能技术提供了创新空间和发展前景。因为数据往往是非结构化的，目前机器对于这些数据的分析、理解和有效利用的能力仍然较弱，所以说大数据给智能技术带来了巨大的机遇和新的挑战。
人脑是如此的美妙：“除了人脑以外，没有任何一个系统具有对新环境新挑战的自适应能力、新信息与新技能的自动获取能力、在复杂环境下进行有效决策并稳定工作的能力。没有任何系统能够在多处损伤的情况下保持像人脑一样的鲁棒性，在处理同样复杂的任务时，没有任何人工系统能够媲美人脑的低能耗性。”因此，借鉴人脑的信息处理原理，发展类脑智能计算技术是实现人工智能创新的重要源泉。

2 类脑智能的历史

20世纪50年代，有学者初步论述了计算机与人脑信息处理机制的异同。
从脑信息处理机制出发推动人工智能研究最优的途径应当是受脑启发、借鉴其工作机制，而不是完全的模仿。
从借鉴脑信息处理机制的角度，下述工作可以看做是类脑智能的前期探索：

2.1 认知科学中类脑智能研究的萌芽

Newell 的具体探索是如何在计算机系统上重现人类思维。其探索被认为是以认知心理学为核心，对类脑智能的早期探索，其思想和成果汇聚为认知体系结构。两个重要的认知体系结构-SOAR 、ACT-R：
SOAR-产生式系统，以认知统一理论为基石实现对人类各种认知功能的建模。
ACT-R-加入了认知神经科学研究关于脑信息处理机制的成果，基于脑影像技术的发展，ACT-R能够对不同认知功能的脑区环路进行计算建模，能够支持特定任务下脑区活动的预测。

2.2 计算神经科学中类脑智能研究的萌芽

Marr 不仅仅是计算机视觉的开拓者，他还在计算神经科学领域，奠定了神经元群之间存储、处理、传递信息的计算基础，特别是对学习与记忆、视觉相关环路的计算建模做出了重要贡献。
Hodgkin&Huxley创建了第一个精细的动作电位模型，Tsodysks构建了神经元之间的突触计算模型，是神经网络信息传递的计算基础。传统的计算神经科学更为关注神经系统表现出来的物理现象和微观尺度的建模，BBP计划试图通过计算模拟的方法在计算机上重建完整的脑模型，主要专注于极为精细的微观神经元及其微环路建模，目前较为完整地完成了特定区域内皮质柱的计算模拟。

2.3 人工智能中的神经网络研究

以人工神经网络为代表的连接主义的出发点正是对脑神经系统结构及其计算机制的初步模拟，早期的人工神经网络主要借鉴神经元、突触连接这些基本概念，而具体神经元的工作原理、突触的形成原理、网络结构则与脑神经网络存在巨大差异。
在人工神经网络的研究中，大多数学者主要关心提升网络学习的性能，部分学者使人工神经网络向更类脑的方向发展。过去在智能系统的实现机理上接近脑神经机理的重要成果并不多。

3 类脑智能的现状

3.1 类脑模型与类脑信息处理

人工神经网络
深度神经网络的优缺-CNN RNN LSTM
SPAUN语义指针架构统一网络-该脑模拟器是多脑区协同计算领域的标志性工作，实现了基于多脑区协同的能够实现多个特定任务的神经网络。
分层时序记忆模型-更为深度的借鉴了脑信息处理机制，该模型适用于处理带有时序信息的问题。

3.2 类脑芯片与计算平台

借鉴神经元信息处理机制（脑信息处理机制）发展类脑芯片与计算平台实在硬件层面发挥类脑智能优势的一大趋势。动机是通过借鉴脑神经系统的工作原理，实现高性能、低功耗的计算系统，终极目标还是达到高智能。
IBM的TrueNorth芯片
完全基于忆阻器的神经网络芯片
高通的神经处理器NPU
国内的DianNao深度学习系列芯片

4 类脑智能的未来

理想的智能系统应该具备：多模态协同感知与信息处理的能力、对复杂环境的自适应能力、对新事物新环境的自主学习能力。信息处理机制类脑、认知能力全面类人。

4.1认知脑计算模型的构建

传统人工智能系统的设计与实现思路是：从待解决问题相关数据的特点与问题目标的角度出发，从计算的视角设计算法。这使得所实现的智能系统只适用于解决某一类问题。
类脑智能研究的长期目标是实现通用智能系统，首要任务是集成科学界对于人脑多尺度结构及其信息处理机制的重要认识，构建模拟脑认知功能的认知脑计算模型。特别需要关注人脑如何协同不同尺度的计算组件，进行动态环路的组织，完成不同的认知任务。
在未来认知脑计算模型的研究中，需要基于 多尺度脑神经系统数据分析结果 对 脑信息处理系统 进行计算建模，构建类脑多尺度神经网络计算模型。
下述研究内容将对脑认知计算模型的发展至关重要：
1）多尺度、多脑区协同的认知脑计算模型：认知脑计算模型的多尺度计算组件、多脑区协同模型
2）认知行为的类脑学习机制：多模态协同与联想的自主学习机制，概念形成、交互式学习、环境自适应的机制。
3）基于不同认知功能协同实现复杂智能行为的类脑计算模型：通过计算建模实现哺乳动物脑模拟系统，实现具备感知、学习和记忆、知识表示、注意、推理、决策与判断、联想、语言等认知功能及其协同的类脑计算模型。
在认知脑计算模型的研究中处于最核心位置的是学习与记忆的计算模型。
脑神经网络的突触形成与信息传递有特定的生物工作机理支撑，所有认知任务的相关脑区中，学习与记忆遵循相同的法则：赫布学习法则、脉冲时序依赖的突触可塑性（STDP）。以往的人工神经网络模型大多没有采纳这些机制或者过于简化。
未来认知脑计算模型的研究应依据这些学习与记忆环路结构及相关学习理论构建多尺度的学习与记忆框架。

4.2 类脑信息处理

需要在认知脑计算模型的基础上进一步抽象，选取最优的策略和信息处理机制，建立类脑信息处理理论与算法。
类脑信息处理的研究目标：构建高度协同视觉、听觉、触觉、语言处理、知识推理等认知能力的多模态认知机。
类脑信息处理的关键研究内容：
1）类脑信息特征表达与语义识别模型：针对视觉（图像和视频）、听觉（语音和语言）、触觉等感知数据的分析和理解，借鉴脑神经机理和认知机理研究结果，研究感知信息的基本特征单元表示与提取方法、基于多层次特征单元的感知信息语义识别模型与学习方法、感知中的注意机制计算模型、结合特征驱动和模型驱动的感知信息语义识别方法。
2）多模态协同自主学习理论与方法：人脑的环境感知是多模态交互协同的过程，同时感知特征表示和语义识别模型在环境感知过程中不断地在线学习和进化。实现这种多模态协同的自主学习计算模型，对提高机器的多模态感知能力具有重要意义。实现的一种途径是结合多种特征表示和学习方法进行动态自适应的在线学习，同时对多种特征表示和语义识别模型进行适应。
3）多模态感知大数据处理与理解的高效计算方法：基于类脑信息特征表达与识别模型，研究面向感知大数据处理的新型计算模式与方法。如多层次特征抽取和识别方法，结合特征和先验知识、注意力机制的高层次高效学习、识别与理解等。
4）类脑语言处理模型与算法：借鉴人脑语言神经环路的结构和计算特点，实现类脑语言处理神经网络模型与算法。

4.3 类脑芯片与类脑计算体系结构

基于纳米等新型材料研制类脑忆阻器、忆容器、忆感器等神经计算元器件，从而支持更为复杂的类脑计算体系结构的构建。目前已经研发的神经芯片只是借鉴了脑信息处理最基本单元的最基本计算机之，而不同尺度的信息处理单元之间的机制尚未融入到类脑计算体系结构的研究中。

4.4 类脑智能机器人与人机协同

未来发展的趋势是基于认知脑计算模型、类脑信息处理的研究来构建机器脑，发展中枢神经系统和外周神经系统高度协同的、具有多模态感知、类人思维、自主学习与决策能力的类脑智能机器人。
类脑智能机器人的研究不但要机理上使其多尺度地接近人类，还要构建机器人自主学习与人机交互平台，使机器人在与人及环境自主交互的基础上实现智力水平的不断发育，最终甚至能够通过语言、动作、行为等与人类协同工作。

4.5 类脑智能的应用

适合于人类相对计算机更具优势的信息处理任务，如多模态感知信息处理、语言理解、知识推理、类人机器人与人机协同等。具体而言，类脑智能可用于机器的环境感知、交互、自主决策、控制等。

Q&A

1、三个领域如何交叉研究，如何利用计算科学、神经科学、认知科学发展类脑智能，又是如何相互促进的？
2、类脑智能技术的发展现状，将来的发展方向、可能的应用领域？
3、以图灵机和冯诺依曼体系为基础的计算方式是什么样的，更类人的计算方式又是什么样的？
4、人脑是如何用同一个系统进行多种模态感知以及对这些信息进行处理的？
5、深度学习算法地出现对于类脑智能发展有什么具体的影响，以及其不足之处？
6、什么是离线学习？
离线学习是指训练模型时的batch data都必须是可用的，先利用已有数据集训练好模型之后才能使用模型。缺点是不能利用实时数据更新模型。
在线学习按照顺序处理数据。先产生一个模型，并把这个模型放入实际操作中，而不需要在一开始就提供完整的的训练数据集。随着更多的实时数据到达，模型会在操作中不断地更新。
7、什么是认知心理学、计算神经科学？
8、神经元信息处理机制具体是什么？
9、什么是人脑不同尺度的计算组件？尺度如何定义？什么是动态环路？
多尺度（神经元、突触、神经微环路、皮质柱、脑区）
10、什么是感知信息的基本特征单元？什么是感知信息的语义-（如视觉中的场景、文字、物体、行为等）

4、类脑计算芯片与类脑智能机器人发展现状与思考 *

摘要：

首先分析了类脑器件与计算系统中的类脑芯片和类脑机器人的发展现状和应用前景，重点探讨了类脑芯片在模拟人脑神经元模型和认知计算方面、类脑机器人在感知控制和智能生长方面的研究内容。未来研究在仿人运动模型、类人神经运动控制、人机协同的智能机器人控制等方面有望取得重大突破。

引言：

忆阻器的出现使得类脑计算芯片的研究有了突飞猛进的发展，它可有效实现可调节突触强度的生物神经突触和神经元之间的互联，为类脑计算芯片的快速发展奠定基础。

1、类脑芯片

广义上讲，“类脑芯片”指模仿人脑神经元结构和人脑感知认知方式来设计的芯片。
类脑芯片的一个方向是“神经形态芯片”，侧重于模仿神经元模型及其组织结构来设计芯片结构。例如IBM开发的TrueNorth芯片
类脑芯片的另一个方向是“参考人脑感知认知模型，设计能支持认知计算算法的芯片”，如神经网络算法。例如“寒武纪”芯片
类脑芯片可以同时参考神经元组织结构并支撑成熟的认知计算算法，这并不矛盾。

2、类脑智能机器人的仿生结构与感知控制

仿肌肉驱动器是其中的重要部分，可以分为材料类、机械类和生物类。除了行为上类人，在认知上也要类脑，使机器人能够以类脑的方式实现对外界的感知和自身的决策控制。与类脑智能机器人相关的技术，如脑机接口、神经假体等，近几年也取得了积极地进展。脑机接口关键在于神经解码，把神经信号转化为对外部设备的控制信号，又分为侵入式脑机接口（在脑中植入电极阵列）、非侵入式脑机接口（用紧贴头皮的电极采集脑电图信号）。神经假体通过向脑区植入芯片，以达到恢复或者改变脑认知功能的目的，如视觉神经假体、运动神经假体等。

3、类脑机器人的智能生长

发展历程：离线状态下的人机交互->实时交互->类脑交互（认知合作）。
智能机器人行业将是未来“脑科学”和“脑认知和类脑计算”研究成果的重要产出方向。建立基于交互的学习及智力发育认知模型，使计算机能够在与人和环境的交互过程中实现智能增长。MIT人工智能实验室增量人机协同研究组采用增强学习让人与机器人在未知环境自由协作，在共同决策完成任务的同时，机器人也通过交互过程自主学习，实现智力发育。DeepMind提出了neural turing machine方法，利用深度增强学习，实现了靠不断试错学习获得提高的游戏人工智能。

4、中科院B类先导专项下的类脑芯片与机器人研究工作

机器人智力发育方面取得的积极进展：
1）模仿大脑在单样本或极少量样本条件下的基于交互学习的目标分类能力，构建新型类脑机器学习和认知模型，采用特征分析、无监督聚类、合并归纳等推理方法，实现单样本或极少量样本条件下同一物体的再次准确识别。
2）在机器人从零学习模型的基础上，采用语音交互和手势交互的模式教授计算机目标与环境知识，使得计算机具有从错误中学习新知识的能力。
3）在机器人基于交互的错误辨识纠正与记忆模型基础上，构建面向视觉、听觉、言语感知的多通道信息融合智能模仿模型，实现计算机借助视听觉方式对外界环境的智能增长学习，并具有一定模仿能力。

5、基于类脑芯片与类脑智能机器人研究的进一步思考

1）类脑计算芯片方面：发展类脑神经元计算模型，通过改变控制参数，使相同神经元电路模块能完成不同的神经元功能，增强神经计算电路模块的通用性。还需要迫切解决类脑芯片的功耗问题，需要研究建立神经网络处理器相关的功耗模型。
2）类脑智能机器人方面：需要研究心得机器人感知、交互和动作计算模型，从根本上提高机器人的智能型。尤其需要解决类人运动机构带来的类脑运动神经控制、人机融合环境带来的机器人多模态信息融合、交互式学习控制和双目可动摄像头带来的摄像头高速在线校准问题。
主要是类脑智能机器人比较火

5、类脑智能与深度学习的几个问题与思考＊

1、深度学习的优缺

在一些特定任务中取得了很大的飞跃，达到甚至超越人类水平，相关技术也已逐渐成熟落地到生活的多个方面，是现阶段人工智能的主流技术。其工作机理为依赖人类筛选出的训练数据，基于多层非线性变换来准确刻画和记忆数据，在封闭的环境下为特定的任务找到有用的数据模型。缺点是：
1）模型阐释困难：获得的每个特征与总体决策之间的关系如何，以及什么是提升深度学习系统的核心，这些问题仍然不具备可解释性。
2）模型认知缺陷：在知识抽象、自主学习、渐进学习、直觉与遗忘等认知智能层面的能力较弱。
3）模型学习瓶颈：学习算法的一致性收敛、稳定性、经验风险的泛化、梯度和驻点的属性，以及网络深度、宽度、大小等架构参数和网络权重参数等对算法收敛的影响等一系列问题，至今仍不明确。由于其深层的结构与庞大的参数，导致模型学习过程非常微妙，并且需要精细、耗时、耗力的超参数搜索、调试。这些问题都是模型学习中的瓶颈。
4）模型资源限制：大量资源消耗、大规模的标记数据，其训练和应用需要耗费大量的存储资源和计算资源。此外，现有的深度模型全局更新机制导致其配置与计算成本非常昂贵，无法在开放和泛在环境下获得实时的处理结果。

2、未来类脑智能发展思考

1）认知建模
2）模块装配
3）意识先验：有意识状态-可以用一个低维向量表示，无意识状态-可看作是一个高维但稀疏的向量。意识先验能够从无意识状态中提取出意识状态的少量要素，因此在认知建模过程中可以使用意识先验。
4）自主演化：自主学习以适应不断变化的环境，该能力来源于人脑中除了基本的兴奋与抑制性神经递质外，还有众多的神经调质。脑网络可能处于一个临界转态附近，通过对这一状态的微调，可以迅速调解网络功能，以适应变化的环境。
5）协同学习：大脑的协同机制为更高效实用的类脑模型提供了生物基础，深入分析微观、介观、宏观多尺度脑结构，实现协同学习的类脑智能计算模型。实现跨尺度机制的融合、多功能多模块的协同学习。

6、多模态学习方法综述*

摘要

大数据是多源异构的，多模态数据已经成为近来数据资源的主要形式。研究多模态学习方法，赋予计算机理解多源异构数据的能力具有重要的价值。本文归纳了多模态的定义与多模态学习的基本任务，介绍了多模态学习的认知机理和发展过程。在此基础上，重点综述了多模态统计学习方法与多模态深度学习方法。此外，系统归纳了基于对抗学习的跨模态匹配与生成技术（应用）。并对多模态学习未来可能的研究方向进行思考与展望。

引言

本文结合大数据形态，重点综述了多模态统计学习方法、深度学习方法与对抗学习方法。

1、多模态学习的定义、基本任务与发展过程

1.1 多模态学习的定义
相较于图像、语音、文本等多媒体数据划分形式，模态是一个更为细粒度的概念，同一媒介下（比如说都是图像数据）可存在不同的模态。（该定义从模态和多媒体数据的定义的区别出发）“多模态”有三种形式：
1）描述同一对象的多媒体数据
如互联网环境下描述某一特定对象的多媒体数据，例如描述下雪场景（特定对象）的视频、图像、语音、文本等数据，这就是典型的多模态信息形式。
2）来自不同传感器的同一类媒体数据
如医学影像学中不同的检查设备对于同一对象所产生的不同的图像数据（都属于图像数据，属于同一媒体），包括B超、CT、核磁共振等。
3）描述同一对象的具有不同的数据结构特点、表示形式的表意符号与信息
如描述同一对象的结构化、非结构化的数据单元；描述同一数学概念的公式、逻辑符号、函数图及解释性文本等；描述同一语义的词向量、词袋、知识图谱等。
数据类型有图片、数值、文本、符号、音频、时间序列，或者集合、树、图等不同数据结构所组成的复合数据形式。
多模态学习（mutimodal machine learning）可以被理解为对于多源异构数据的分析挖掘。
1.2 多模态学习的基本任务
多源数据分类：
多模态情感分析：本质也是分类问题，情感分类问题所提取的特征往往带有明确的情绪信号。
多模态语义计算：语义分析是对数据更为高层次的处理，理想状态下，计算机能够处理一个特定场景下不同数据的概念关系、逻辑结构，进而理解不同数据中隐含的高层语义。
跨模态样本匹配：现阶段，最常见的跨模态样本匹配即为图像、文本的匹配。
跨模态检索：除了实现匹配外，还要求快速的响应速度以及正确的排序。多模态信息检索通过对异构数据进行加工，在有效特征匹配的情况下对图像采用基于内容的自动检索形式。哈希方法：将不同模态的高维数据映射到低维的海明空间，有效减小了数据存储空间。
跨模态样本生成：目前由图像到文本、图像到图像的生成较为成熟，由文本到图像的生成任务较为新颖。
多模态人机对话：在基本对话（文本模态）生成任务的基础上，进一步对人的表情、语调、姿势等多模态信息采集，采用模态融合的方法对多模态信号进行分析处理。
多模态信息融合：常见的信息融合方式有物理层融合、特征层融合、决策层融合几个类型。物理层融合指在传感器层级对采集到的数据进行融合处理，即多传感器信息融合，在工业生产场景中最常见的信息融合方法。特征层融合指在特征抽取和表达的层级对信息进行融合，例如对不同摄像头采集到的图像数据采用相同的特征表达形式，进而进行相应的叠加计算。决策层融合指对不同模态的感知模型所输出的结果进行融合，这种融合方式对传感器性能和种类要求相对不高，但具有较大的信息损耗。
1.3 多模态机器学习的发展-从符号计算到深度学习

2 多模态统计学习方法

广义的统计学习方法即采用统计学的理论，赋予计算机处理数据能力的机器学习方法。数据建模-预设数据符合某种分布形式，进而进行参数估计和假设推断；算法建模-通过算法去直接寻找映射函数以达到预测输出的目的。统计学习方法处理的样本往往是中小规模的数据集，需要人为的提取特征。本节将结合多模态数据的特点，对相应的统计学习方法进行介绍：

2.1 核学习方法与多核学习

核学习方法是将低维不可分样本通过核映射的方式映射到高维非线性空间，实现对样本有效分类的方法，任何半正定函数都可以作为核函数。
多核学习方法为不同模态的数据和属性选取不同的核函数，进而采用特定方法对不同核函数进行融合。多核学习方法可以较好地处理异构数据的分类和识别问题，早期的多核数据融合方法多采用对不同核进行线性叠加组合的形式，还可以采用核组合的方式解决该问题。

2.2 典型相关性分析

CCA被广泛地应用于度量两种模态信息之间的相关特征，并在计算中尽可能保持这种相关性，其本质是一种线性映射。

2.3 共享子空间学习

对于底层的特征表示，不同来源的数据往往具有较大差别，共享子空间学习对多源数据的相关关系进行挖掘，得到多模态特征的一致性表示。共享子空间学习可通过投影的方式实现，最常见的投影方法即CCA方法及其改进形式。对不同模态的特征进行映射、表示和整合。绝大多数深度学习多源信息处理方法将不同模态的数据通过深度学习网络特征学习映射到了同一个共享子空间，因此深度学习方法也被视为共享子空间学习。

2.4 协同训练方法

大致思想为分别采用两个模态的有标签数据训练两个分类器，进而用这两个分类器对各自模态内的无标签数据进行处理。在此基础上，将分类结果中达到一定置信度的样本作为训练集的补充，扩大训练集规模，进一步对分类器进行训练。在满足一定停止条件之后，将两个分类器的训练数据进行交换，即采用X1模态中的数据对分类器2进行训练，用X2模态中的数据对分类器1进行训练。

3 多模态深度学习方法

3.1 卷积神经网络与图像处理
3.2 循环神经网络与自然语言理解
3.3 面向多模态数据的深度学习
始于《Multimodal Deep Learning》，发展过程参看几篇文献（原文中）

4 多模态对抗学习方法

跨模态迁移和跨模态生成是多模态学习的常见任务。
4.1 基于对抗学习的跨模态迁移与域适应
4.2 基于对抗学习的跨模态生成
Q&A
1 表意符号与信息指什么？
2 什么是图像文本匹配任务？度量一幅图像和一段文本的相似性，现有方法按照对图像文本对应关系建模方式的不同主要可以被分为两大类：1)一对一匹配和2)多对多匹配

Part3 与类脑智能技术相关的学科

1 生物脑科学、计算机科学

2 神经科学neuroscience

（又称为神经生物学，是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学）

3 认知科学cognitive science

（对于什么是认知科学，还存在着很大的分歧。认知科学定义为“关于智能实体与它们的环境相互作用的原理的研究”。沿着两个方向展开这一定义：第一个是外延的，列举了人认知科学的分支领域以及它们之间的交叉联系，列举的分支领域有计算机科学、心理学、哲学、语言学、人类学和神经科学。第二种展开是内涵的，指出共同的研究目标是“发现心智的表征和计算能力以及它们在人脑中的结构和功能表示”。）wiki

4 认知神经科学cognitive neuroscience

（旨在探讨认知历程的生物学基础。主要的目标为阐明心理历程/认知功能的神经机制，也就是大脑的运作如何造就心理或认知功能。认知神经科学以认知科学的理论以及神经心理学、神经科学及计算机模型的实验证据为基础）wiki

5 计算神经科学

（计算神经科学是使用数学分析和计算机模拟的方法在不同水平上对神经系统进行模拟和研究，为一种跨领域科学，包含神经科学、认知科学、信息工程、计算机科学、物理学及数学。旨在从计算的角度解析脑的认知功能，以计算建模为手段，研究脑神经信息处理原理，通过多尺度计算模型的方法验证各种认知功能的脑信息处理模型。）来自百度百科
没有一流的计算神经科学， 就不可能获得一流的类脑智能技术创新。计算神经科学侧重对脑系统的理论建模和计算仿真， 通过该学科严谨的理论、建模和统计分析， 从而对复杂的、 非线性的大脑系统进行深入剖析和建模分析， 尤其是大尺度的认知功能脑系统计算模拟、 跨层次机制分析， 计算神经科学搭建起了计算机科学和脑科学之间的桥梁， 这将为类脑智能、 脑机接口和人工智能的发展起到关键作用。

6 认知心理学cognitive pyschology

（是心理学的分支。研究人的高级心理过程，主要是认知过程，如注意、知觉、表象、记忆、思维和语言等。与行为主义心理学家相反，认知心理学家研究那些不能观察的内部机制和过程，以信息加工观点研究认知过程是现代认知心理学的主流，可以说认知心理学相当于信息加工心理学。）博客：初试认识心理学
其中计算神经科学与认知神经科学最为重要。

7计算神经科学在脑认知与脑疾病中的研究

脑科学和类脑智能技术综述学习笔记相关推荐

1. 计算机神经科学与类脑智能,“脑科学与类脑智能”专题发布----中国科学院

   <中国科学院院刊>发表"脑科学与类脑智能"专题 介绍脑科学与类脑智能规划及最新研究进展 2016-07-21自动化研究所 [字体:大 中 小] 语音播报 2016年第7 ...

2. 【人工智能】人工智能院士高峰论坛~蒲慕明院士《脑科学与类脑智能研究》

   我正在参与CSDN200进20,希望得到您的支持,扫码续投票5次.感谢您! (为表示感谢,您投票后私信我,我把我总结的人工智能手推笔记和思维导图发送给您,感谢!) 新一代人工智能院士高峰论坛2019年 ...

3. 人工智能的未来--神经科学启发的类脑计算综述

   [转]人工智能的未来--神经科学启发的类脑计算综述 1. 类脑计算与神经网络的发展过程 2. SNN的模型.结构以及在机器学习中的应用 3. 类脑计算与人工智能的研究趋势 4. 参考文献 随着近几年深 ...

4. 国拨经费约31.48亿！科技部发布科技创新2030 —“脑科学与类脑研究”重大项目2021年度项目申报指南

   来源:科技部 科技部关于发布科技创新 2030 -"脑科学与类脑研究"重大项目 2021年度项目申报指南的通知 国科发资[2021]265号 各省.自治区.直辖市及计划单列市科技厅 ...

5. 国拨经费约31.48亿！科技部发布科技创新2030 —“脑科学与类脑研究”重大项目2021年度项目申报指南...

   来源:科技部 科技部关于发布科技创新 2030 -"脑科学与类脑研究"重大项目 2021年度项目申报指南的通知 国科发资[2021]265号 各省.自治区.直辖市及计划单列市科技厅 ...

6. CCAI2018演讲实录 | 蒲慕明：脑科学与类脑机器学习

   来源:人工智能前沿讲习班 摘要:7月28-29日,由中国人工智能学会和深圳市罗湖区人民政府共同主办,马上科普承办的"2018 中国人工智能大会(CCAI 2018)"完美收官. 大 ...

7. 基于神经网络的机器阅读理解综述学习笔记

   基于神经网络的机器阅读理解综述学习笔记 一.机器阅读理解的任务定义 1.问题描述 机器阅读理解任务可以形式化成一个有监督的学习问题:给出三元组形式的训练数据(C,Q,A),其中,C 表示段落,Q 表示 ...

8. python面向对象编程中方法和属性_Python面向对象编程中关于类和方法的学习笔记...

   Python面向对象编程中关于类和方法的学习笔记 类与类方法是面向对象的编程语言中必不可少的特性,本文总结了Python面向对象编程中关于类和方法的学习笔记,需要的朋友可以参考下 类和实例 pytho ...

9. 行人重识别综述学习笔记

   文章目录 <行人重识别研究综述> 摘要: 1 行人重识别概述 1.1 背景与研究意义 1.2 研究现状 1.3 评价标准 2 基于图像的行人重识别研究(传统+深度) 2.1 特征表达方法 ...

10. 点云综述学习笔记（一）

    论文链接:Deep Learning for 3D Point Clouds: A Survey 参考博客http://www.huangli.com/?d 作者及团队:Yulan Guo∗, Han ...

最新文章

1. 【NLP招聘动态】太难啦！面试官盘点NLP近五年招聘动态
2. Python基本语法_基本数据类型_序列类型详解
3. 如何学习linux编程（转载)
4. namespace命名空间的理解C++
5. LNMP架构环境搭建之PHP、Nginx源码编译安装及其简单配置应用
6. 【笔记】c++中opencv的使用
7. 使用 monitor 命令查看 redis 请求日志
8. flask找不到css_Flask干货：访问数据库——Flask-SQLAlchemy初始化
9. 2021年度最全面JVM虚拟机，类加载过程与类加载器
10. 一切为了开放科学！Papers with Code新增CS、物理、数学、统计学等多个学科
11. 安卓案例：注册用户免启动时的广告页面
12. 天龙八部手游显示与服务器断开连接,天龙八部手游怎么设置 游戏设置方法（图文详解）...
13. 从零开始搭建系统2.4——Jenkins安装及配置
14. 华为机试HJ42：学英语
15. DXperience GridControl 根据内容动态显示图标
16. 几款不错的屏幕键盘软件~
17. ssh远程登录阿里云服务器
18. 记一次使用screw 生成MySQL数据库文档
19. html语言实现两数相加,HTML(2)
20. V2X测试系列——V2X应用场景仿真及开发流程

热门文章

1. python寻找所有三位数素数_寻找所有的素数的python实现
2. ae合成设置快捷键_这些AE技巧，相见恨晚
3. W806开发板环境搭建
4. Linux的nc,局域网文件互传
5. 锐取电视墙服务器型号,锐取录播系统 CL4000系列多媒体录播一体机--投影时代产品专区...
6. 如果以后找不到工作了，应该干点啥？
7. 条形码扫描模块的作用是什么？有什么应用意义？
8. 使用 HTML、CSS 和 JS 创建在线音乐播放器(含免费完整源码)
9. 问题G：卡布列克常数
10. minmax()函数