梯度下降法思路就是，开始随机选择参数组合，计算代价函数，寻找到下一个能让代价函数下降最快的参数组合(对某一参数的偏导方向)，然后不断重复这一过程，直到找到一个局部最小值。因为并没有计算过所有的参数组合，所以并不知道局部最小值是否是全局最小值。所以选择不同的初始参数组合，可能会找到不同的局部最小值。

可以做一个形象的比喻：把曲面图想象成一座山，你正站在山上的某点。在梯度下降算法中，我们要做的就是环绕四周，看看在那个方向上，用小碎步能尽快下山。然后到新的点，再看看哪个方向小碎步下山最快，不断重复，直到接近局部最低点。

批量梯度下降算法公式里面的α是学习率(步长)，学习率越大，迈出的步子就越大。并且同时让所有的参数减去学习速率乘以代价函数的偏导。α的取值一般需要我们自己来取一个相对合适的值。如果太小每一次步长会很小，造成迭代次数过多。如果过大，那么很容易造成过拟合的情况。

并且随着迭代次数的增加，代价函数的导数会自动变小，相当于每迭代一次步长会变小，所以没有必要另外减小α，这也可以防止过拟合情况的出现。

在线性回归算法中，用到的梯度下降算法一般是批量梯度下降，就是在求偏导过程中需要求和运算。因此在每一个单独的梯度下降过程中，我们都需要对所有的样本求和。不过也有一些其他类型的梯度下降法，并不考虑整个数据集，而是关注训练集中一些小的子集，这称为随机梯度下降法。

梯度下降代码实现思路

首先定义一个输入函数，来负责输入特征和目标变量。还有一个预测函数负责输入训练集，返回预测结果。然后再定义一个实现梯度下降算法的函数，需要先设定好迭代次数和学习率，规定好参数的初始值(一般为0)。并且计算好数据长度。然后在有限的迭代次数内进行梯度下降。这里我们已经算出了梯度下降算法的结论，所以直接代公式进行累加操作，同时更新两个参数。

import numpy as np

class linear():

def __init__(self):

self.b = 0

self.k = 0

def cost(self,x_data, y_data, b, k):#计算损失函数

m = float(len(x_data))

sum = 0

for i in range(0, len(x_data)):

sum += (y_data[i] - (k*x_data[i] + b))**2

return sum / 2.0*m

def gradient(self,x_data, y_data):#进行梯度下降

lr = 0.001#学习步长

k = 0#斜率

b = 0#截距

epochs = 3000 #最大迭代次数

#计算总数量

m = float(len(x_data))

#循环epochs次

for i in range(epochs):

k_gradient = 0

b_gradiet = 0

#计算梯度总和再求平均

for j in range(0,len(x_data)):

k_gradient += (1/m)*((x_data[j] * self.k + self.b) - y_data[j])

b_gradiet += (1/m)*((x_data[j] * self.k + self.b) - y_data[j]) * x_data[j]

#更新k和b

self.k -= lr * k_gradient

self.b -= lr * b_gradiet

return self.k,self.b

#输入数据集，输出截距和斜率

def fit(self,x_data,y_data):

self.k,self.b = self.gradient(x_data, y_data)

print('loss =:',self.cost(x_data, y_data, self.b, self.k),'b =:',self.b,'k =:',self.k)

return self.k,self.b

#返回预测结果

def predict(self,x_test):

y_predict = self.k*x_test+self.b

return y_predict