记忆与遗忘机制笔记

2024-04-22 07:24:45

可遗忘数据

[ICLR2019] An Empirical Study of Example Forgetting during Deep Neural Network Learning

当神经网络在 t+1 时刻给出误分类、而在 t 时刻给出了准确的分类时，

就称为发生了遗忘事件（forgetting event）。

(时刻指梯度下降迭代次数)

对于不会经历遗忘事件的样本，称之为不可遗忘样本（unfogettable example）。

MNIST 中 91.7%、permutedMNIST 中 75.3%、CIFAR-10 中 31.3% 以及 CIFAR-100 中 7.62%

的数据属于不可遗忘样本。

随着图像数据集的 多样性和复杂性 上升，神经网络遗忘更多的样本。

操纵可遗忘数据

不可遗忘样本编码了绝大部分的冗余信息。

将样本按其不可遗忘性（unforgettability）进行排序，就可以通过删除绝大部分的不可遗忘样本，对数据集完成压缩。

在 CIFAR-10 中，

30% 的数据 可以在不影响测试集准确率的情况下移除，

而删除 35% 的数据 则会产生 0.2% 的微小测试准确率下降。

如果所移除的 30% 数据 是随机挑选而非基于不可遗忘性，那么就会导致约 1% 的显著下降。

Hebbian theory

When an axon(轴突) of cell A is near enough to excite a cell B
and repeatedly or persistently takes part in firing it,

some growth process or metabolic change takes place in one or both cells such that

A’s efficiency, as one of the cells firing B, is increased.[1]

（强化连接）

Mathematical

Learn by epoch

Volume learning

The compound most commonly identified as fulfilling this retrograde transmitter role is nitric oxide（一氧化氮）, which, due to its high solubility and diffusibility（溶解度和扩散性）, often exerts effects on nearby neurons.

保持记忆

Memory Aware Synapses: Learning what (not) to forget

between training,

use these unlabeled samples to update importance weights for the model parameters.

Data that appears frequently, will have a bigger contribution.

This way, the agent learns what is important and should not be forgotten.

（LLL： Lifelong learning ～=不间断迁移学习）

局部近似为hebb学习

知道的太浅了

记忆与遗忘机制笔记相关推荐

2020-03-22阅读笔记-考虑遗忘机制的企业隐性知识传播SIR模型研究
本文系阅读上海工程技术大学杨湘浩等人发表在***中国管理科学*期刊上<考虑遗忘机制的企业隐性知识传播SIR模型研究>**所做的笔记,由于本人水品有限,如理解存在偏差,还请批评指正. 1.文 ...
北京大学纳家勇治研究组在《美国国家科学院院刊》发文阐明时序记忆的神经机制
来源: 北京大学心理与认知科学学院官网概要:记忆是核心认知功能之一,使得人和动物能够根据经验改变自己的行为模式. 近日,<美国国家科学院院刊>(Proceedings of the Na ...
毕设（一）：正则化极限学习机（RELM）、在线学习的极限学习机（OS-ELM）、带遗忘机制的在线学习极限学习机（FOS-ELM）
前言终于要毕业了,毕业设计也做完了,我的毕设是<极限学习机和强化学习在单一资产交易中的应用>,本质上用以极限学习机为值函数逼近器的一类强化学习算法去对一个资产进行交易.既然毕设也做完了, ...
《神经科学：探索脑》学习笔记（第24章学习和记忆的分子机制）
<神经科学:探索脑>第二版中文版学习笔记(合集) https://altli.blog.csdn.net/article/details/106306300
长短期记忆网络(LSTM)学习笔记
文章目录 0 前言 1 LSTM与RNN的异同 2 LSTM结构细节 2.1 细胞状态 2.2 遗忘门 2.3 输入门 2.4 输出门 3 总结 4 LSTM的变体 4.1 Adding " ...
html5记忆播放,记忆以及遗忘规律 — 如何才能学好HTML5
HTML5学堂:你有没有在学习的过程中发现学到的东西很容易遗忘?发现很多东西在学习或者初次接触的时候是能够理解的,但是过不了多久脑子里似乎已经没有什么东西了? 对于前端开发工程师来说,自身所拥有的技术 ...
java 反射机制视频_【视频笔记】Java反射机制笔记
Java 语言的反射机制在Java运行时环境中,对于任意一个类,可以知道这个类有哪些属性和方法.对于任意一个对象,可以调用它的任意一个方法. 这种动态获取类的信息以及动态调用对象的方法的功能来自于J ...
学会记忆--学会遗忘
人的脑袋就像一个大型的数据库. 容量很大..人可能只有开发了其中的很小的部分. 但是当我们把任何东西都往里面塞的时候, 这个时候特定的表.里面存储的东西就会很大.. 查询起来的时候就非常忘... 久 ...
长短期记忆网络LSTM-读书笔记
文章目录 1. 长短期记忆网络 LSTM 1.1 原理概述 1.2 图解结构 1.3 代码描述 1.3.1 lstm 从零开始实现 1.3.2 lstm 简洁实现 1.4 网络小结 2. 深度循环神经 ...

最新文章

热门文章