「弹性权重巩固（EWC/Elastic Weight Consolidation）」。

研究领域是记忆（memory），

特别是如何将神经网络的决策智能和有关复杂结构化数据的存储、推理能力结合起来的难题。」

神经网络的连续学习（Continual Learning），让计算机程序可以不忘记之前学习过的内容并渐进式地学习新内容。

结合了生物学、突触弹性理论，并讨论了突触不仅存储权重还存储这一权重不确定性的理论。

可能将为能被更轻松地应用于多种任务的人工智能系统开启新的道路，

它也应该可以提升人工智能系统在任务之间迁移知识的能力和

掌握一系列互相链接的步骤的能力。

随着一个网络在一项特定任务上的训练的进行，其参数也将逐渐适应此任务的解决。而当引入一个新任务的时候，新的适应过程会改写该网络之前已经获得的知识。这种现象在认知科学领域被称为「灾难性遗忘（catastrophic forgetting）」，这也被认为是神经网络的基本限制之一。

神经科学家已经识别出了

大脑之中的两种巩固（consolidation）方式：

系统巩固（systems consolidation）和

突触巩固（synaptic consolidation）。

系统巩固是指这样一个过程：将我们大脑中的快速学习部分已经获得的记忆印刻到慢速学习的部分。

这种印刻过程被认为是通过有意识或无意识的回忆实现的

而对于第二种机制——突触巩固，

是指如果一些突触连接在之前所学到的任务中是很重要的，那么它们被改写的可能性就更小。

在学会一个任务之后，我们计算每个连接对于该任务的重要程度。当我们学习一个新任务时，我们按照连接对旧任务的重要程度，按比例地对连接进行修改保护。

我们可以将我们为每个连接所施加的保护看作是通过一个弹簧链接到之前的保护值，其刚度（stiffness）正比于其连接的重要程度。为此，我们将我们的算法称为「弹性权重巩固（EWC/Elastic Weight Consolidation）」。

「弹性权重巩固（EWC/Elastic Weight Consolidation）」。相关推荐

弹性云服务器（Elastic Cloud Server，ECS）
弹性云服务器(Elastic Cloud Server,ECS) https://support.huaweicloud.com/ecs/index.html 弹性云服务器(Elastic Cloud ...
如何利用 C# 爬取「当当 - 计算机与互联网图书销量榜」！
前段时间我们介绍了如何利用 C# 语言来爬取"京东 - 计算机与互联网图书销量榜" 网页的方法,通过该方法,我们能够获得"京东"的图书销售排行榜数据. 可是,读 ...
如何利用 C# 爬取「猫眼电影：热映口碑榜」及对应影片信息！
我们生活在一个快节奏的时代里,每天除了辛苦的提升自己,为生活打拼之外,偶尔的放松去看场电影也是必要的.可是能够抽出的时间有限,选择看哪部电影就是一个挠头的问题了. 幸好,有类似猫眼电影.豆瓣电影.淘票 ...
「绩效领导力：聚焦战略目标有效落地」沙龙圆满落幕
"6月17日下午,由互次方科技和菜根发展联合主办的「绩效领导力:聚焦战略目标有效落地」沙龙活动在中国(杭州)人工智能小镇举行." 2021年,疫情余波未平,对各行各业都造成了一定冲 ...
阿里云 OAM 入选「2020中国技术力量年度榜单」，定义云原生应用交付标准
2020 年 11 月 19 日,备受关注的「2020 中国技术力量年度榜单」评选结果终于揭晓.在该榜单设立的「年度开源新锐项目」.「开源杰出贡献人物」.「云原生行业落地典范」三大分项中,阿里云云原生 ...
「AI在左，营销在右」互动营销创意破圈，这事儿不难
写在篇首营销创意是个「体力活」,考验的是N次改稿中依然振作起来的体力和毅力:从业10年的资深广告人在面对Z世代的脑洞需求时,只能说:套路无效:创意方案从PlanA-PlanZ可以绕字母表一个循环但可 ...
vue中向数组去重_「前端剑指offer第3期」来，手写一下数组去重
数组去重一般来说就这么几种方法,理解代码,记住就好!Map.Set.reduce.filter~ 方法1 .Map 创建一个Map对象,把数组的值作为Map对象的索引,再获取所有的索引. const ...
8cm等于多少像素_「前端剑指offer第5期」物理像素、逻辑像素、CSS像素、PPI、设备像素比是什么...
# 提问物理像素.逻辑像素.CSS像素.PPI.设备像素比是什么? # 回答物理像素代表屏幕上有多少个点,比如1080x2340表示屏幕一排包含1080个物理像素点. 逻辑像素表示屏幕展示物体的视 ...
android 使用shell模拟触屏_Appium常用操作之「微信滑屏、触屏操作」
坚持原创输出,点击蓝字关注我吧作者:清菡博客:oschina.云+社区.知乎等各大平台都有. 目录一.滑屏操作 1.访问之后,马上就滑屏可以吗? 2.连续实现 2 次滑屏 3.代码二.模拟触屏 ...
用 powershell 脚本 .ps1 写一个自动化的「编译-＞链接-＞运行C++文件」脚本
│ abc.cpp │ main.cpp │ test.ps1 │ └─.vscodec_cpp_properties.jsonsettings.json 我这人有个毛病:一定要用 VS Code 写 ...

「弹性权重巩固（EWC/Elastic Weight Consolidation）」。

「弹性权重巩固（EWC/Elastic Weight Consolidation）」。相关推荐

最新文章

热门文章