Winner-Take-All Autoencoders （ WTA-AE 赢者通吃自编码器）

Alireza Makhzani, Brendan Frey

2015 NIPS

论文地址：http://papers.nips.cc/paper/5783-winner-take-all-autoencoders.pdf

这个模型在传统的稀疏自编码的空间稀疏性约束之外，又增加了一个lifetime sparsity，利用的是mini-batch的统计特性。

这个模型的改进主要就是为了解决无监督学习中，我们在没有标签的情况下学到的representation是不是powerful的。作者给出了两个模型，fully-connected全连接的，以及convolutional 卷积的，winner-take-all model。赢者通吃，顾名思义，就是只保留最大的，其他的直接被抑制掉。

Fully-Connected Winner-Take-All Autoencoders

Fully-Connected Winner-Take-All (FC-WTA)

传统的对于稀疏性的penalty用KL散度进行表示，也就是lambda KL(rho||hat{rho})，其中hat rho是hidden unit marginal，而rho是target sparsity probability。这样的稀疏约束一方面对于lambda的选取很困难，另一方面主要是针对sigmoidal的激活函数的输出，因为KL散度计算的是概率（确切的说，是每个神经元在整个训练集上的平均激活率的一个限制，因为KL散度是计算两个bernoulli分布的差异的）。

FC-WTA是本文的稀疏自编码在全连接网络的实现，训练速度快，仅仅略慢于standard ae，也没有超参数，比如上面的lambda。

In the feedforward phase, after computing the hidden codes of the last layer of the encoder, rather than reconstructing the input from all of the hidden units, for each hidden unit, we impose a lifetime sparsity by keeping the k percent largest activation of that hidden unit across the mini-batch samples and setting the rest of activations of that hidden unit to zero. In the backpropagation phase, we only backpropagate the error through the k percent non-zero activations.

上面可以看出，训练过程中，对于一个mini batch中的sample，只保留k%的激活最大的神经元，正向传播时把其他的置零，BP的时候也不更新除了k%以外的神经元。

At test time, we turn off the sparsity constraint and the output of the deep ReLU network will be the final representation of the input. 测试时候的策略。

对于大的sparsity level，倾向于学到local 的信息，而小的sparsity level 容易获得可以用于分类的全局信息，当然如果太小也会导致对input不进行分解，也是不期望的。

WTA的模式还可以用于RBM网络

Convolutional Winner-Take-All Autoencoders

Convolutional Winner-Take-All (CONV-WTA) autoencoders 是通过enforce WTA 的 spatial 和 lifetime 稀疏约束来实现的。

A non-regularized convolutional autoencoder learns useless delta function filters that copy the input image to the feature maps and copy back the feature maps to the output.

也就是autoencoder的一个缺陷，如果不加入约束或者正则的话，那么很有可能学出来的就是delta function，也就是尖脉冲，因为尖脉冲可以直接把图像输入复制到fm，然后在复制到输出。

上面就是一个栗子，filter都是近似的delta function，而fm都是某种复制。这样的问题用dropout等正则是没法解决的，因为即使dropout了某些filter，由于其它的还是delta function，所以也能恢复出来，因此需要加更强的约束，强制使得网络学到有代表性的特征。

本文的网络结构如下：(128conv5-128conv5-128deconv11）

在训练的时候用了两种 winner-take-all 的稀疏约束： spatial 稀疏 和 lifetime 稀疏

spatial sparsity

In the feedforward phase, after computing the last feature maps of the encoder, rather than reconstructing the input from all of the hidden units of the feature maps, we identify the single largest hidden activity within each feature map, and set the rest of the activities as well as their derivatives to zero.

是在feature map中找到 single largest hidden activity。

lifetime sparsity

lifetime sparsity是在feature map中进行选择，由上面的fm的控件稀疏约束可以得到，每个fm都是只有一个点有值。在mini-batch训练的过程中，对于每个fm，都对应有batch_size个，每个都是一个单点的尖脉冲，那么就有batch_size个尖脉冲，那么我们要做的就是在这些尖脉冲里面，再选择k%个最大值，其他的都置零。

其它

另外，作者还提到，这个CONV-WTA还可以用来做building block，级联起来，从而form a hierarchy。

2018年05月10日15:55:03

上班明明是为别人赚大钱，最后竟要谢他给你工作机会，一个人怎么能享受这种鸟日子呢？ —— 诗人，查尔斯布考斯基

Winner-Take-All Autoencoders （ 赢者通吃自编码器）相关推荐

  1. 赢者通吃自编码器（WTA-AE）

    参考: 1. 论文:winner-take-all-autoencoders.pdf 2. 代码: a. full connect WTA-AE b. Conv-WTA-AE 简单理解:       ...

  2. 大话商学院(3)--有一种网络效应叫赢者通吃

    盒仔最近一直被一个棘手的问题所困扰,盒仔的团队最近开发了一个功能非常全面的旅游APP,可以查阅各个航班的信息,也可以购买机票及旅游景点的打折票,但是让他费解的是用户粘性很差,但竞争对手推出新的功能或者 ...

  3. 周小川最新演讲：Libra可能会导致“赢者通吃”的局面（万字长文）

    本文为中国人民银行原行长.中国金融学会会长周小川做客上海交通大学上海高级金融学院建院十周年系列活动的发言实录. 他认为,如果 Libra 成功的话,对弱势货币.不可兑换货币.发展中国家货币将有替代作用 ...

  4. 这个社会是“赢者通吃”！

    发现找工作真的是累,反反复复要去 apply,review,fill table .      公司总是问你过去干了什么,有什么成功的经历?取得了什么职位,有什么出色的成就? 成功的人面对更多的机遇, ...

  5. TWS耳机行业现状：苹果想通吃，微软欲入局

    2010年6月,苹果发布iPhone 4,高速发展的手机行业出现拐点,功能机时代逐渐转向智能机时代.再回看iPhone 4,无论是iOS系统.触摸屏,还是个人助手.视频通话,都奠定了之后智能手机发展的 ...

  6. Instagram赢家通吃照片社交市场 对手一个个只有关门大吉

    在PC互联网时代,赢家通吃是商业准则之一,在移动互联网时代,这一法继续生效. 在移动照片分享和社交市场,Facebook旗下的Instagram已经成为一家独大,更多的对手正在选择关门. 据美国科技新 ...

  7. illegal base64 character 3a_双11华硕多款产品再送豪礼 高端硬件通吃最新3A大作

    原标题:双11华硕多款产品再送豪礼 高端硬件通吃最新3A大作 11月里,除去已经宣布跳票的<赛博朋克2077>这款作品,包括<刺客信条:英灵殿><极品飞车:热力追踪> ...

  8. 如何用Python一门语言通吃高性能并发、GPU计算和深度学习

    [CTO讲堂]如何用Python一门语言通吃高性能并发.GPU计算和深度学习 发表于2016-01-04 15:11| 4374次阅读| 来源CSDN| 4 条评论| 作者蒲婧 CTO俱乐部CTOCT ...

  9. 2020云计算，是四强争霸还是赢家通吃？

    来源 | 架构师技术联盟 责编 | Carol 出品 | CSDN云计算(ID:CSDNcloud) 近日,谷歌母公司Alphabet首次公布了谷歌云计算业务的数据,这一举动将云计算行业重新推到了聚光 ...

  10. 32核心板怎么样使用stlink_终极调试工具 EventRecorder 使用方法，各种 Link 通吃

    Event Recorder 简介 之前使用过SEGGER 的 RTT 功能来替代串口打印,比较方便.只是这种方 法限制用户必须使用 JLINK 才可以.而使用 Event Recorder 的话,无 ...

最新文章

  1. RPM vs SRPM
  2. 结构体、类的成员对齐
  3. 未能找到类型或命名空间名称_命名空间详解
  4. 历史性胜利！纽约曼哈顿充电站数量超过加油站
  5. 在Linux（ubuntu server）上面安装NodeJS的正确方法
  6. OpenCV —数据持久化: FileStorage类的数据存取操作与示例
  7. php+js实现弹幕,jquery.barrager.js-专业的网页弹幕插件
  8. 服务器调用税务数字系统失败,终于等到你！网上报税常见问题解决方案大集锦！！！...
  9. 读coco数据集的代码接口了解segmentation的处理方法
  10. SAP中MIGO采购订单收货项目默认OK小技巧
  11. 宏碁暗影骑士擎安装双系统踩坑记录
  12. AD域账号日常维护常用操作
  13. EMV技术学习和研究（九）终端行为分析
  14. java魔法师_RxJava魔法师app
  15. Python算法--查找兄弟单词
  16. 优达学城无人驾驶工程师——P5车辆检测功能
  17. word内多级列表标题变成黑块解决办法
  18. LeetCode 558. 四叉树交集
  19. 普通容器、系统容器和安全容器
  20. Matlab删除NAN所在行或列

热门文章

  1. 美国贷款买饭的房屋保险
  2. 快速幂都能做什么？小小的算法也有大大的梦想
  3. matlab三个坐标,[MATLAB基础] 画有一个有xyz三个坐标的图
  4. Sutton and Barto 教材中多臂老虎机（k-armed bandit testbed）模拟
  5. dell服务器idrac配置
  6. android studio实现视频聊天,实现视频通话
  7. 【Android】canScrollVertically和canScrollHorizontally
  8. 安全是我们的生命线，将时刻保持敬畏心
  9. 苹果产品介绍合集（加广告语和官方介绍）第二版--由Apple_VM_Xiaoqie整理（微信，抖音同号）
  10. umoocs外语慕课答案_umoocs答案怎么查,中国高校外语慕课平台(UMOOCs)答案公众号