ML之UliR：利用非线性回归，梯度下降法(迭代十万次)求出学习参数θ，进而求得Cost函数最优值

输出结果

代码设计

输出结果

更新……

代码设计

import numpy as np
import random       def genData(numPoints,bias,variance):  x = np.zeros(shape=(numPoints,2)) y = np.zeros(shape=(numPoints))  for i in range(0,numPoints):    x[i][0]=1                x[i][1]=i                  y[i]=(i+bias)+random.uniform(0,1)%variance return x,ydef gradientDescent(x,y,theta,alpha,m,numIterations): xTran = np.transpose(x)         for i in range(numIterations):hypothesis = np.dot(x,theta) loss = hypothesis-y      cost = np.sum(loss**2)/(2*m) gradient=np.dot(xTran,loss)/mtheta = theta-alpha*gradient print ("Iteration %d | cost :%f" %(i,cost))return thetax,y = genData(100, 25, 10)  #100行，
print ("x:")
print (x)
print ("y:")
print (y)m,n = np.shape(x)
n_y = np.shape(y)  print("m:"+str(m)+" n:"+str(n)+" n_y:"+str(n_y))numIterations = 100000
alpha = 0.0005
theta = np.ones(n)
theta= gradientDescent(x, y, theta, alpha, m, numIterations)
print(theta)

相关文章
ML之UliR：利用非线性回归，梯度下降法(迭代十万次)求出学习参数θ，进而求得Cost函数最优值

ML之UliR：利用非线性回归，梯度下降法(迭代十万次)求出学习参数θ，进而求得Cost函数最优值相关推荐

机器学习-算法-有监督学习：EM（最大期望值算法）＜=＞ MLE（最大似然估计法）【关系类似“梯度下降法”＜=＞“直接求导法”】【EM“梯度下降”：先初始化一个随机值，然后通过迭代不断靠近真实值】
机器学习-算法-有监督学习:EM(最大期望值算法)<=> MLE(最大似然估计法)[关系类似"梯度下降法"<=>"直接求导法"][EM& ...
Mini batch梯度下降法（吴恩达深度学习视频笔记）
深度学习并没有在大数据中表现很好,但是我们可以利用一个巨大的数据集来训练神经网络,而在巨大的数据集基础上进行训练速度很慢,因此进行优化算法能够很大程度地增加训练速度,提升效率. 本节,我们将谈谈Min ...
【Machine Learning 六】梯度下降法（基于Matlab 求函数最小值）
算法原理梯度下降法是一个最优化算法,可以用来求一个函数的最小值,最大值等,也常用于人工神经网络中更新各个感知器之间的权值,求出cost function的最小值等,应用广泛. 其原理简单,就求函数 ...
使用牛顿迭代的方法求出方程的实根（MATLAB）
<计算方法>有一题使用牛顿迭代求解方程实根的题目. 查阅资料,发现判断方程有几个实根的方法太复杂,为了有效求出方程的实根,可以每次使用牛顿迭代求出一个根"p"后,将原方 ...
回归与梯度下降法及实现原理
回归与梯度下降回归在数学上来说是给定一个点集,能够用一条曲线去拟合之,如果这个曲线是一条直线,那就被称为线性回归,如果曲线是一条二次曲线,就被称为二次回归,回归还有很多的变种,如locally we ...
机器学习之数学系列（二）梯度下降法(参数更新公式的由来)
一.引言下山问题如下图所示,假设我们位于黄山的某个山腰处,山势连绵不绝,不知道怎么下山.于是决定走一步算一步,也就是每次选个方向往山下走一步,这样一步一步走下去,一直走到觉得我们已经到了山脚. ...
ML重要概念：梯度（Gradient）与梯度下降法（Gradient Descent）
引言机器学习栏目记录我在学习Machine Learning过程的一些心得笔记,涵盖线性回归.逻辑回归.Softmax回归.神经网络和SVM等等,主要学习资料来自网上的免费课程和一些经典书籍,免费课 ...
利用梯度下降法实现线性回归--python实现
利用梯度下降法代替最小二乘法,求线性回归方程. 首先引用库 import numpy as np import matplotlib.pyplot as plt 定义相应的x和y np.random. ...
机器学习知识点(五)梯度下降法Java实现
梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代(步长)能使待优化的目标函数逐步减小.梯度下降法是2范数下的最速下降法,用来求解函数的最小值,无约束优化. 看数学定义都晦涩,网 ...

ML之UliR：利用非线性回归，梯度下降法(迭代十万次)求出学习参数θ，进而求得Cost函数最优值

输出结果

代码设计

ML之UliR：利用非线性回归，梯度下降法(迭代十万次)求出学习参数θ，进而求得Cost函数最优值相关推荐

最新文章

热门文章