深度学习(三)denoise autoencoder的Python实现

本章主要讲述autoencoder另外一种改进，denoise autoencoder，Python的编写也是在深度学习(一)autoencoder的Python实现（2）基础上，进行改造的，具体的修改的地方，将会单独贴出来。

正如上篇深度学习(二)sparse autoencoder的Python实现所述，我们看懂一段话，并不需要每一个句子或每一个词，只有几个词是关键的，剩下的都可以通通过滤掉，而denoise也类似sparse，滤掉一些节点的影响，来模拟我们大脑对信息的采集和挑选。在这里，denoise相比于sparse更加直接，以一定概率，直接令某一层的一些节点的值为0。比如神经网络的第i<script type="math/tex" id="MathJax-Element-113">i</script>层有4个节点，每一个节点本来都有值，该层为[1，3，-1，-3]，然后我们令小于0的节点值归零，那么在训练的时候该层节点的值则为[1，3，0，0]

在bean.py的nn类增加一个成员变量，denoise参数，当节点值大于denoise时，保持，小于的话，则将值置为0

# 设置denoise参数self.denoise = 0.2

最后修改util.py中节点值的修改

#前馈函数
def nnff(nn,x,y):layers = nn.layersnumbers = x.shape[0]# 赋予初值nn.values[0] = xfor i in range(1,layers):nn.values[i] = sigmod(np.dot(nn.values[i-1],nn.W[i-1])+nn.B[i-1])# 当有denose时，即要进行dropout(增加)for j in range(1,layers-1):nn.values[j] = nn.values[j]*(np.random.random(nn.values[j].shape)>nn.denoise)# 最后一层与实际的误差nn.error = y - nn.values[layers-1]nn.loss = 1.0/2.0*(nn.error**2).sum()/numbersreturn nn

最后进行测试
测试数据为

最后结果为

基本符合要求

深度学习(三)denoise autoencoder的Python实现相关推荐

推荐系统遇上深度学习(三十九)-推荐系统中召回策略演进！
推荐系统中的核心是从海量的商品库挑选合适商品最终展示给用户.由于商品库数量巨大,因此常见的推荐系统一般分为两个阶段,即召回阶段和排序阶段.召回阶段主要是从全量的商品库中得到用户可能感兴趣的一小部分候选 ...
深度学习三巨头共获 2018 年图灵奖（经典重温）！
整理 | 琥珀出品 | AI科技大本营(ID:rgznai100) 2019 年 3 月 27 日,ACM 宣布,深度学习三位大牛 Yoshua Bengio.Yann LeCun.Geoffrey ...
深度学习三十年创新路
深度学习三十年创新路编者注:深度学习火了,从任何意义上,大家谈论它的热衷程度,都超乎想象.但是,似乎很少有人提出不同的声音,说深度学习的火热,有可能是过度的繁荣,乃至不理性的盲从.而这次,有不同的想 ...
深度学习的过去、当下与未来！深度学习三巨头发文展望
点击上方"机器学习与生成对抗网络",关注星标获取有趣.好玩的前沿干货! 来源:ACM 新智元编辑:Priscilla Emil [导读]2018图灵奖获得者Yoshua Ben ...
百度深度学习paddlepaddle7日打卡——Python小白逆袭大神学习心得
百度深度学习paddlepaddle7日打卡--Python小白逆袭大神学习心得 7日学习总结第一天作业第二天作业第三天作业第四天作业第五天作业 7日学习总结通过这7日打卡课程的学习,从小 ...
深度学习三巨头也成了大眼萌，这个一键转换动画电影形象的网站竟因「太火」而下线...
机器之心报道作者:魔王.杜伟想不想在动画电影中拥有自己的角色?这个网站一键满足你的需求,不过竟因流量太大成本过高而下线. 近期热映的电影<花木兰>总是让人回想起 1998 年上映的同名 ...
2020届 AAAI Fellow名单新鲜出炉！！！深度学习三巨头终于齐聚
点击上方"深度学习技术前沿",选择"星标"公众号资源干货,第一时间送达 AAAI 是国际人工智能领域最权威的学术组织,Fellow 是该学会给予会员的最高荣誉 ...
利用深度学习(Keras)进行癫痫分类-Python案例
目录癫痫介绍数据集 Keras深度学习案例本分享为脑机学习者Rose整理发表于公众号:脑机接口社区 QQ交流群:903290195 癫痫介绍癫痫,即俗称"羊癫风",是由多种 ...
【深度学习】基于Torch的Python开源机器学习库PyTorch卷积神经网络
[深度学习]基于Torch的Python开源机器学习库PyTorch卷积神经网络文章目录 1 CNN概述 2 PyTorch实现步骤2.1 加载数据2.2 CNN模型2.3 训练2.4 可视化训练 ...

深度学习(三)denoise autoencoder的Python实现

深度学习(三)denoise autoencoder的Python实现相关推荐

最新文章

热门文章