Hebbian principle理解
http://blog.csdn.net/mao_xiao_feng/article/details/53350798
Hebbian principle
目前图像领域的深度学习，是使用更深的网络提升representation power，从而提高准确率，但是这会导致网络需要更新的参数爆炸式增长，导致两个严重的问题：
1、网络更容易过拟合，当数据集不全的时候，过拟合更容易发生，于是我们需要为网络feed大量的数据，但是制作样本集本身就是一件复杂的事情。
2、大量需要更新的参数就会导致需要大量的计算资源，而当下即使硬件快速发展，这样庞大的计算也是很昂贵的
解决以上问题的根本方法就是把全连接的网络变为稀疏连接（卷积层其实就是一个稀疏连接），当某个数据集的分布可以用一个稀疏网络表达的时候就可以通过分析某些激活值的相关性，将相关度高的神经元聚合，来获得一个稀疏的表示。
这种方法也呼应了Hebbian principle，一个很通俗的现象，先摇铃铛，之后给一只狗喂食，久而久之，狗听到铃铛就会口水连连。这也就是狗的“听到”铃铛的神经元与“控制”流口水的神经元之间的链接被加强了，而Hebbian principle的精确表达就是如果两个神经元常常同时产生动作电位，或者说同时激动（fire），这两个神经元之间的连接就会变强，反之则变弱（neurons that fire together, wire together）
Hebbian principle理解相关推荐
- Hebbian principle
转自:https://blog.csdn.net/mao_xiao_feng/article/details/53350798 目前图像领域的深度学习,是使用更深的网络提升representation ...
- 从LeNet到GoogLeNet：逐层详解，看卷积神经网络的进化
「免费学习 60+ 节公开课:投票页面,点击讲师头像」 作者 | MrCharles 来源 | CSDN原力计划获奖作品 (*点击阅读原文,查看作者更多文章) 前言 深度学习的兴起使卷积神经网络在计算 ...
- 深度学习CV领域必读论文
深度学习CV领域必读论文 01 深度学习CV领域划时代论文具有里程碑意义 期刊日期: NIPS-2012,Alexnet 论文名称: <ImageNet Classification with ...
- CNN基础论文 精读+复现----GoogleNet InceptionV1 (一)
文章目录 前言 第1页 摘要与引言 第2页 文献综述 第3-4页 第4-5页 inception模块细节 第5-7页 GoogLeNet 第8页 训练细节 第8-10页 ILSVRC 2014 inc ...
- GoogleNet - Going deeper with convolutions
CVPR 2015 本文针对 ILSVRC14 提出了一个名叫 Inception 的深度卷积网络架构,主要是通过充分利用网络内的计算资源来提升网络性能,具体是通过在增加网络的宽度和深度同时控制住计算 ...
- DL之GoogleNet：GoogleNet(InceptionV1)算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之GoogleNet:GoogleNet(InceptionV1)算法的简介(论文介绍).架构详解.案例应用等配图集合之详细攻略 目录 GoogleNet算法的简介 GoogleNet算法的架构详 ...
- DNN结构演进History—CNN-GoogLeNet ：Going Deeper with Convolutions
抄袭了一片文章,进行少量修改:http://www.gageet.com/2014/09203.php 作者:Christian Szegedy( google ) 刘伟(北卡罗来纳 ...
- 读文献——《Going deeper with convolutions》
Going deeper with convolutions 其实这篇文献是在上一个BN那篇文献之前读的,读完这篇日常百度看看相关的时候看到有人推荐四篇相关的文章才去读的BN和ReNet.现在刚看完R ...
- 图像分类经典卷积神经网络—GoogLeNet论文翻译（中英文对照版）—Going Deeper with Convolutions（走向更深的卷积神经网络）
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[GoogLeNet纯中文版] Going Deeper with Convolution ...
最新文章
- Ubuntu 安装配置 MySql
- Android ndk之Check that/ndk/openssl/crypto/libsfk.so exists or that its path is corret
- 【CF1100F】 Ivan and Burgers （分治+线性基）
- hive学习07-常见的优化
- 我，1 倍开发者，有 20 条软件工程的经验法则
- 扩容效率提升10倍，腾讯云发布一站式资源运维利器TIC
- 导线电感、走线电感、过孔电感计算公式
- 盐城范围内野外钓鱼好去处（不是塘钓哟）
- R语言课上笔记（第1-4天）
- 百度网盘限速的解决办法
- 半边数据结构【Half Edge】
- CTF网络安全比赛简介
- scau csapp复习
- rabbitMQ系列高级整合应用rabbitTemplate
- ReflectASM =＞ Java 高性能反射
- Java Swing设置图标Icon
- AI：神经网络IMDB电影评论二分类模型训练和评估
- 金山毒霸大型义卖活动启动 ‘512’爱心版正式上线
- 如何不用串口线进行连接其他交换机
- 可以表白的生日祝福（附源码与修改教程）