Gradient descent拙见

一开始是用学习速率来乘以偏微分来进行梯度下降，但是这种方式所在逼近最低点的左右下降速率并不科学，于是引入方差，用学习速率来除以方差来作为新的偏微分前的乘的玩意，这样的学习速率较快，总之，gradient descent所带来的的计算量是我的电脑所不能承受的，慎用！！！

import numpy as np
from sympy import *
arr_x=[1,2,3,4,5,6,7,8,9,10]
arr_y=[2,3,4,5,6,7,8,9,10,11]
w=symbols("w")
b=symbols("b")
value_w=2
value_b=2
sum=0
for i in range(10):sum+=(w*arr_x[i]+b-arr_y[i])**2
pastdiff_w=diff(sum,w,1).subs({w:value_w,b:value_b})
pastdiff_b=diff(sum,b,1).subs({w:value_w,b:value_b})
while sum.subs({w:value_w,b:value_b})>1:value_w=value_w-(0.01/sum.subs({w:value_w,b:value_b}))*pastdiff_wvalue_b=value_w-(0.01/sum.subs({w:value_w,b:value_b}))*pastdiff_bpastdiff_w=value_wpastdiff_b=value_bprint(value_w,value_b)

自己写的笔记，就不要有读者看了吧。。。

Gradient descent拙见相关推荐

Gradient Descent和Back propagation在做什么？
Gradient Descent梯度下降实际上你要用一个Gradient Descent的方法来train一个neural network的话你应该要怎么做? 到底实际上在train neural ...
机器学习中的梯度下降（ Gradient Descent）算法
前言梯度下降(Gradient Descent,GD)算法主要分为三种:批量梯度下降(Batch Gradient Descent,BGD)算法.随机梯度下降(Stochastic Gradient ...
Gradient Descent梯度下降（透彻分析）
----------首先了解什么是梯度? 官方解释: 梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为 ...
201-3-19李宏毅机器学习视频笔记七（游戏解释Gradient Descent）
视频部分: 视频7:使用帝国时代游戏解释Gradient Descent 李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili https://www.bilibili.co ...
梯度下降（BGD）、随机梯度下降（SGD）、Mini-batch Gradient Descent、带Mini-batch的SGD
原文:http://blog.csdn.net/llx1990rl/article/details/44001921 梯度下降(BGD).随机梯度下降(SGD).Mini-batch Gradient ...
UA MATH567 高维统计专题3 含L1-norm的凸优化6 Stochastic Gradient Descent简介
UA MATH567 高维统计专题3 含L1-norm的凸优化6 Stochastic Gradient Descent简介 Stochastic Gradient Descent的思想 Varian ...
UA MATH567 高维统计专题3 含L1-norm的凸优化2 Proximal Gradient Descent
UA MATH567 高维统计专题3 含L1-norm的凸优化2 Proximal Gradient Descent Proximal Gradient Descent的公式推导 Proximal O ...
UA MATH567 高维统计专题1 稀疏信号及其恢复4 Basis Pursuit的算法 Projected Gradient Descent
UA MATH567 高维统计专题1 稀疏信号及其恢复4 Basis Pursuit的算法 Projected Gradient Descent 前三讲完成了对sparse signal recove ...
Gradient descent --梯度下降（to be continued）
1.资料 An overview of gradient descent optimization algorithms

Gradient descent拙见

Gradient descent拙见相关推荐

最新文章

热门文章