HSIC不用反向传播也能解决梯度问题

import numpy as npdef hsic(Kx, Ky):Kxy = np.dot(Kx, Ky)n = Kxy.shape[0]h = np.trace(Kxy) / n**2 + np.mean(Kx) * np.mean(Ky) - 2 * np.mean(Kxy) / nreturn h * n**2 / (n - 1)**2# 产生两组独立无关的随机变量
x = np.random.randn(1000)
y = np.random.randn(1000)
Kx = np.expand_dims(x, 0) - np.expand_dims(x, 1)
Kx = np.exp(- Kx**2) # 计算核矩阵Ky = np.expand_dims(y, 0) - np.expand_dims(y, 1)
Ky = np.exp(- Ky**2) # 计算核矩阵print(hsic(Kx, Ky)) # 计算HSIC

得到的结果大约为0.0002

x = np.random.randn(1000)
y = x + 0.1 * np.random.randn(1000)

得到的结果约为0.092
说明x，y关系强。HISC可以当作一个互信息系数。

HSIC不用反向传播也能解决梯度问题相关推荐

使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播
使用反向传播算法计算参数的梯度并用python实现加法和乘法节点的反向传播一.what is 反向传播二.乘法节点的反向传播三.加法节点的反向传播四.加法层和乘法层混合应用一.what is ...
AI大事件 | Geoffrey Hinton决定抛弃反向传播，预期策略梯度算法
大数据文摘作品编译 | 宁云州呜啦啦啦啦啦大家好呀,又到了本周的AI大事件时间了.过去的一周中AI圈都发生了什么?大佬们互撕了哪些问题?研究者们发布了哪些值得一读的论文?又有哪些开源的代码和数据库 ...
不用反向传播的HSIC Bottleneck到底讲了啥，及其keras实现
机器之心上周介绍了一篇论文,说是不用BP也能训练神经网络,论文叫做<The HSIC Bottleneck: Deep Learning without Back-Propagation> ...
Lesson 11.1-11.5 梯度下降的两个关键问题反向传播的原理走出第一步：动量法开始迭代：batch和epochs在Fashion—MNIST数据集熵实现完整的神经网络
在之前的课程中,我们已经完成了从0建立深层神经网络,并介绍了各类神经网络所使用的损失函数.本节课开始,我们将以分类深层神经网络为例,为大家展示神经网络的学习和训练过程.在介绍PyTorch的基本工具A ...
反向传播算法推导、激活函数、梯度消失与爆炸
目录反向传播算法定义推导过程激活函数定义性质常用的激活函数 Sigmoid Tanh ReLU softmax 梯度消失与梯度爆炸起因出现的原因表现解决方案参考文档反向传播算 ...
bert pytorch源码_【PyTorch】梯度爆炸、loss在反向传播变为nan
点击上方"MLNLP",选择"星标"公众号重磅干货,第一时间送达作者丨CV路上一名研究僧知乎专栏丨深度图像与视频增强地址丨https://zhuanla ...
损失函数与优化器理解+【PyTorch】在反向传播前为什么要手动将梯度清零？optimizer.zero_grad()
目录回答一: 回答二: 回答三: 传统的训练函数,一个batch是这么训练的: 使用梯度累加是这么写的: 回答一: 一句话,用来更新和计算影响模型训练和模型输出的网络参数,使其逼近或达到最优值,从而 ...
ztree在刷新时第一个父节点消失_从反向传播推导到梯度消失and爆炸的原因及解决方案（从DNN到RNN，内附详细反向传播公式推导）...
引言:参加了一家公司的面试和另一家公司的笔试,都问到了这个题!看来很有必要好好准备一下,自己动手推了公式,果然理解更深入了!持续准备面试中... 一. 概述: 想要真正了解梯度爆炸和消失问题,必须手推 ...
「机器学习速成」训练神经网络：反向传播、梯度爆炸消失Dropout
https://www.toutiao.com/a6706075530187244045/ 2019-06-24 20:38:02 大家好,今天我们学习[机器学习速成]之训练神经网络. 我们马上学 ...

HSIC不用反向传播也能解决梯度问题

HSIC不用反向传播也能解决梯度问题相关推荐

最新文章

热门文章