Tensorflow自编码器及多层感知机

（1）Xavier初始化权重：让权重满足0均值，方差为2 / (fan_in+fan_out)，分布可以用均匀分布或高斯分布。

　　以均匀分布为例：均匀分布方差D（x）=（b-a）²/ 12。具体推导查书吧。

　　 fan_in为输入节点，fan_out为输出节点。

　　 a，b都是fan_in，fan_out的映射，假设a，b关于原点对称且a<0<b，b = -a

　　 2/(fan_in+fan_out) = (b-a)²/12

且 b= -a

　　解得：b= sqrt(6/(fan_in+fan_out))

a= -b

　　此时满足Xavier条件。tf.random_uniform创建（a,b）范围内的均匀分布，方差满足2 / (fan_in+fan_out)。

1 def xavier_init(fan_in, fan_out, constant = 1):
2     low = -constant * np.sqrt(6.0 / (fan_in + fan_out))
3     high = constant * np.sqrt(6.0 / (fan_in + fan_out))
4     return tf.random_uniform((fan_in, fan_out), minval=low, maxval=high, dtype= tf.float32)

转载于:https://www.cnblogs.com/eclipSycn/p/7171205.html

Tensorflow自编码器及多层感知机相关推荐

TensorFlow HOWTO 4.2 多层感知机回归（时间序列）
4.2 多层感知机回归(时间序列) 这篇教程中,我们使用多层感知机来预测时间序列,这是回归问题. 操作步骤导入所需的包. import tensorflow as tf import numpy a ...
TensorFlow HOWTO 4.1 多层感知机（分类）
4.1 多层感知机(分类) 这篇文章开始就是深度学习了.多层感知机的架构是这样: 输入层除了提供数据之外,不干任何事情.隐层和输出层的每个节点都计算一次线性变换,并应用非线性激活函数.隐层的激活函数是 ...
TensorFlow实现多层感知机函数逼近
TensorFlow实现多层感知机函数逼近准备工作对于函数逼近,这里的损失函数是 MSE.输入应该归一化,隐藏层是 ReLU,输出层最好是 Sigmoid. 下面是如何使用 MLP 进行函数逼近的 ...
TensorFlow实现多层感知机MINIST分类
TensorFlow实现多层感知机MINIST分类 TensorFlow 支持自动求导,可以使用 TensorFlow 优化器来计算和使用梯度.使用梯度自动更新用变量定义的张量.本文将使用 Tenso ...
TensorFlow多层感知机实现MINIST分类
import tensorflow as tf import tensorflow.contrib.layers as layers from tensorflow.python import deb ...
基于Tensorflow实现多层感知机网络MLPs
正文共1232张图,1张图,预计阅读时间7分钟. github:https://github.com/sladesha/deep_learning 之前在基于Tensorflow的神经网络解决用户流失 ...
TensorFlow实现多层感知机
一.感知机的简介在前面我们实现了一个softmax regression,也可以说是一个多分类问题的logistic regression.它和传统意义上的神经网络最大的区别就是没有隐藏层.在一个神 ...
TensorFlow基础之模型建立与训练：线性回归、MLP多层感知机、卷积神经网络
TensorFlow基础之模型建立与训练模型建立与训练:简单的线性回归 MLP多层感知机数据获取.预处理模型搭建训练与评估卷积神经网络高效建模 Keras Sequential高效建模 F ...
Tensorflow实战（黄文坚）——多层感知机代码实现
刚入门tensorflow,最近在看黄文坚的<Tensorflow实战>,看到"Tensorflow实现多层感知机"这节,就手动把代码实现了一下. 导入mnist数据集 ...
深度学习框架 TensorFlow：张量、自动求导机制、tf.keras模块(Model、layers、losses、optimizer、metrics)、多层感知机(即多层全连接神经网络 MLP)
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 安装 TensorFlow2.CUDA10.cuDNN7.6. ...

Tensorflow自编码器及多层感知机

Tensorflow自编码器及多层感知机相关推荐

最新文章

热门文章