基于python的梯度下降法的实现代码

基于python的梯度下降法的实现

代码：

def _numerical_gradient_no_batch(f, x):h = 1e-4  # 0.0001grad = np.zeros_like(x)for idx in range(x.size):tmp_val = x[idx]x[idx] = float(tmp_val) + hfxh1 = f(x)  # f(x+h)x[idx] = tmp_val - hfxh2 = f(x)  # f(x-h)grad[idx] = (fxh1 - fxh2) / (2 * h)x[idx] = tmp_val  # 还原值return grad
def numerical_gradient(f, X):if X.ndim == 1:return _numerical_gradient_no_batch(f, X)else:grad = np.zeros_like(X)for idx, x in enumerate(X):grad[idx] = _numerical_gradient_no_batch(f, x)return graddef gradient_descent(f,init_x,lr=0.01,step_num=100):## 梯度下降法求函数的最小值# f:要优化的函数# init_x：自变量的初始位置# lr:学习率# step_num:重复的次数x = init_xa = []b = []for i in range(step_num):grad = numerical_gradient(f,x)x = x - lr *grada.append(x[0])b.append(x[1])plt.scatter(a,b,color='black')plt.show()return xdef function_2(x):return np.sum(x**2)if __name__ == '__main__':gradient_descent(f=function_2, init_x=np.array([-3.0, 4.0]), lr=0.3, step_num=100)

运行结果：

基于python的梯度下降法的实现代码相关推荐

用Numpy搭建神经网络第二期：梯度下降法的实现
https://www.toutiao.com/a6696699352833851908/ 大数据文摘出品作者:蒋宝尚小伙伴们大家好呀~~用Numpy搭建神经网络,我们已经来到第二期了.第一期文摘 ...
大白话5分钟带你走进人工智能-第十一节梯度下降之手动实现梯度下降和随机梯度下降的代码（6）...
第十一节梯度下降之手动实现梯度下降和随机梯度下降的代码(6) 我们回忆一下,之前咱们讲什么了?梯度下降,那么梯度下降是一种什么算法呢?函数最优化 ...
基于“FFD形变+梯度下降优化”图像配准的一种加速方法
前文我们讲过FFD形变与梯度下降优化算法的原理: 梯度下降法详解图像配准系列之基于B样条的FFD自由变换原理与C++实现图像配准系列之基于FFD形变与梯度下降法的图像配准 1. "FFD ...
基于python的音频播放器_基于python实现音乐播放器代码实例
基于python实现音乐播放器代码实例,一首,函数,按钮,布局,音乐基于python实现音乐播放器代码实例易采站长站,站长之家为您整理了基于python实现音乐播放器代码实例的相关内容. 核心播放 ...
python开发语音录入_基于python实现语音录入识别代码实例
这篇文章主要介绍了如何通过python实现语音录入识别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下一.介绍 1.第一步录音存入本地 2.调用百度 ...
python 物理实验_基于Python和梯度下降算法的物理实验数据一元线性拟合方法
基于 Python 和梯度下降算法的物理实验数据一元线性拟合方法关毅铬 ; 程敏熙 [期刊名称] < <物理通报> > [年 ( 卷 ), 期] 2019(000)010 ...
两行代码完成特征工程-基于Python的特征自动化选择代码（提供下载）
本文介绍一个特征选择神器:特征选择器是用于减少机器学习数据集的维数的工具,可以傻瓜式地进行特征选择,两行代码即可搞定!! 来源:Will Koehrsen 代码整理及注释翻译:黄海广代码和数据下载地 ...
梯度下降算法和牛顿算法原理以及使用python用梯度下降和最小二乘算法求回归系数
梯度下降算法以下内容参考微信公众号 AI学习与实践平台 SIGAI 导度和梯度的问题因为我们做的是多元函数的极值求解问题,所以我们直接讨论多元函数.多元函数的梯度定义为: 其中称为梯度算子,它作 ...
梯度下降，随机梯度下降，代码实现
分治法-可能会错过更好的取值.如果数据集或者维度大,代价也大. 我们要找一个更好的算法-梯度下降算法. 梯度:gradient,本文将用g代替. 所以: 梯度下降总是朝着下降速度最快的方向. 如果不都 ...

基于python的梯度下降法的实现代码

基于python的梯度下降法的实现

基于python的梯度下降法的实现代码相关推荐

最新文章

热门文章