梯度下降法求解方程的极值

1.方法一：

利用梯度下降算法求解y=x^2的极值。

注意：此种方法，除了x的更新之外，还有一点需要注意，那就迭代停止的条件。可以设置一个阈值a，比较x更新前后的y的差的绝对值与阈值a的大小，即Δy与a的大小。当Δy＜=a时，停止迭代。

import numpy as np
def f(x):return x**2
def h(x):return 2*xx = 2 #初始点（初始横坐标）
step = 0.8#（步长）f_change = f(x)
f_current = f(x)
count = 0#迭代次数
while f_change>1e-10:#停止迭代的条件，差值小于10^-10的时候停止迭代x = x-step*h(x)#更新xtmp = f(x)#更新x之后的f(x)的值，用另一个变量接收f_change = np.abs(f_current-tmp)#x更新前后的y的差值f_current =tmp#将更新的f(x)传入下一次的迭代count+=1#增加一次迭代次数
print('迭代了：%d次'%count,'\n''求得x为：',x,'\n''求得y为：',f_current)

----------------------------------------------------------------------------------------------------------------
运行结果为：
迭代了：25次
求得x为： -5.686057605985963e-06
求得y为： 3.233125109859082e-11

# 梯度下降求函数极值点方法（二）
# 梯度下降求y=(x-2)^2的极值点
# 原理：因为位于极值点附近的时候导数（梯度）趋近于0，自变量的变化速度也会变小。
# 当自变量的更新前后的差值达到设定的阈值的时候，则停止迭代#导包
import numpy as np
#原函数
def f(x):return x**2-4*x+4
#导数
def h(x):return 2*x-4a = 16 #初始点（初始横坐标）
step = 0.1#（步长）
count =0#记录迭代次数
deta_a = 16#a更新前后的差值（初始值设定为起始点）
error_rate = 1e-5#给定的阈值
while deta_a>error_rate:a = a-step*h(a)deta_a = np.abs(deta_a - a)count+=1
y = f(a)print('迭代次数%d'%count)
print(a)
print(y)
print('极值点为（%f,%f）'%(a,y))

迭代次数49
2.0002497683462233
6.238422667337318e-08
极值点为（2.000250,0.000000）

'''
梯度下降求函数极值点方法（三）
梯度下降求y=(x-2)^2的极值点
原理：因为位于极值点，函数的导数（梯度）=0。当函数的梯度的变化值达到设定的阈值的时候，则停止迭代
'''#导包
import numpy as np
#原函数
def f(x):return x**2-4*x+4
#导数
def h(x):return 2*x-4a = 16 #初始点（初始横坐标）
step = 0.1#（步长）
count =0#记录迭代次数
deta_h = h(a)#a更新前后的差值（初始值设定为起始点，也可以设置为大于阈值的任意的数）
error_rate = 1e-5#给定的阈值
while deta_h>error_rate:b = a-step*h(a)#更新a，用新的变量接收deta_h = np.abs(h(b)-h(a))count+=1a = b-step*h(b)
y = f(b)print('迭代次数%d'%count)
print(a)
print(y)
print('极值点为（%f,%f）'%(a,y))

运行结果为：

迭代次数31
2.0000137311600463
2.9460078820875424e-10
极值点为（2.000014,0.000000）

梯度下降法求解方程的极值相关推荐

深度学习基础之-2.2用梯度下降法求解w,b
用梯度下降法求解w,b. 预设函数 Hypothesis Function z=wx+bz = wx+bz=wx+b 损失函数 Loss Function J(w,b)=12(z−y)2J(w,b) ...
梯度下降法求解多元线性回归 — NumPy
梯度下降法求解多元线性回归问题使用梯度下降法求解一元线性回归的方法也可以被推广到求解多元线性回归问题. 这是多元线性回归的模型: 其中的 X 和 W 都是 m+1 维的向量. 下图为它的损失函数: ...
梯度下降法求解线性回归
梯度下降法求解线性回归通过梯度下降法求解简单的一元线性回归分别通过梯度下降算法和sklearn的线性回归模型(即基于最小二乘法)解决简单的一元线性回归实际案例,通过结果对比两个算法的优缺. 通过最 ...
Python实现多元线性回归方程梯度下降法与求函数极值
梯度下降法梯度下降法的基本思想可以类比为一个下山的过程. 假设这样一个场景:一个人被困在山上,需要从山上下来(找到山的最低点,也就是山谷).但此时山上的浓雾很大,导致可视度很低:因此,下山的路径就无 ...
python实现牛顿法和梯度下降法求解对率回归_最优化问题中，牛顿法为什么比梯度下降法求解需要的迭代次数更少？...
多图预警本文讲你肯定能懂的机器学习多维极值求解,主要讲梯度下降和牛顿法的区别应该能够完美的回答题主的问题事先说明本文面向学习过高等数学统计学和线性代数基础知识的本科生,并假设读者拥有基本的矩阵运 ...
【统计学习】随机梯度下降法求解感知机模型
1. 感知机学习模型感知机是一个二分类的线性分类问题,求解是使误分类点到超平面距离总和的损失函数最小化问题.采用的是随机梯度下降法,首先任意选取一个超平面w0和b0,然后用梯度下降法不断地极小化目标 ...
单变量线性回归中的梯度下降法求解代价函数的最小值
1. 什么是代价函数在线性回归中我们有一个像这样的训练集,m代表了训练样本的数量,比如 m = 47.而我们的假设函数, 也就是用来进行预测的函数,是这样的线性函数形式, 则代价函数可以表示为: 我 ...
利用梯度下降法求解一元线性回归和多元线性回归
文章目录原理以及公式 [1]一元线性回归问题 [2]多元线性回归问题 [3]学习率 [4]流程分析(一元线性回归) [5]流程分析(多元线性回归) 归一化原理以及每种归一化适用的场合一元线性回归代 ...
【Python】梯度下降法求解一元二次函数的波谷
import random''' drd notes: 使用梯度下降法求y=3x^2 + 7x - 10波谷时x的值 '''def my_function(x):# drd notes:y = 3x ...

梯度下降法求解方程的极值

梯度下降法求解方程的极值相关推荐

最新文章

热门文章