一、 关于回归

在分类中问题中，如果给定一个输入，其所产生的输出是一个布尔值，那么这是是与否型的答案；而在输出是数值型的值下，我们所希望的学习结果不是C={0, 1}，而是一个连续的函数。我们倾向于将数值的输出写成关于输入的函数，数值输入称为自变量，数值输出称为因变量。我们希望通过对训练数据集学习后得出一个类似下面的函数关系式(这里以简单线性为例)。

在二元分类中，我们需要一个这样的函数：它能够接收所有的输入并能预测类别，即0或1。Sigmoid函数正是我们需要的函数，

sigmoid函数它具有以下性质：

a、函数输入为0时，Sigmoid结果为0.5。

b、随着输入x值的增大，Sigmoid函数接近1，随着x的减小，其值接近于0。

我们将上面拟合得到函数g(x)代入Sigmoid函数中，若g(x)输出值大于0时，Sigmoid函数结果大于0.5，g(x)值小于0时，Sigmoid函数小于0.5。这样Sigmoid函数把g(x)函数值转为为后验概率，也即Sigmoid函数大于0.5概率时，我们将X类标标记为1，而概率小于0.5时，X类标记为0。

sigmoid函数值越大，我们越有把握将X正确地分类。

二、寻找最佳拟合曲线

针对g(x)函数回归系数的求解，我们使用梯度上升优化法多次迭代求出最佳参数。

所谓梯度是指多元函数在某一点处的一阶偏导数向量。一个梯度应用直观理解的例子是热传导问题，物体温度沿着各个方向传播速度是不相同的，那么沿着哪条方向温度变化率是最小或最大的呢？还有是在爬山过程中，我们朝着哪个方向迈出一步上升的幅度最大呢？答案是沿着梯度的方向，温度变化率最大、迈出一步上升幅度最大。梯度上升法用于求解最大值，梯度下降法用于求解最小化问题。

基于上面提到的理论，我们在训练数据集中经过多次迭代后求解出最佳拟合参数，之后便能够在测试数据集中预测类别。

三、公式推导

四、更新回归系数

根据以上计算得出的梯度公式，我们每次迭代更新回归系数W公式为：

更新回归系数

alpha为学习因子(learning factor)或者称为步长(stepsize)，该参数决定每次沿梯度方向移动多少。alpha值选择很重要，如果alpha值偏大，则可能导致函数摆动甚至发散，如果偏小，使得函数收敛速度很慢，计算开销偏大。同时，运用梯度方法求解最优化问题，最终结果可能不一定是全局最优，可能只是局部最优解。因为，在使用梯度方法优化过程中，它寻找的是最近的一个极值点，因此来说，函数仅存在一个极值点时才能达到全局最优。

求解最优化问题，梯度方法较为简单，但结果相当有效。我们还需注意的是标准梯度上升法在每次更新回归系数W时，都要遍历整个数据集，当数据规模很大情况下，内存开销和计算量很大。下面介绍一种在线学习算法--随机梯度上升法。

随机梯度上升法基本思想是：在每一次迭代更新回归系数时，其不是遍历整个数据集，而是一次仅用一个样本点来更新回归系数。更高级的思想是，我们不再像上面对alpha参数保持不变，而是随着迭代次数的增加，逐渐减小alpha值，也即越靠近最优解时，我们移动的步长越小以防越过最优解。同时，样本点也可以随机选取以减少周期性波动。

五、代码实现

1、标准梯度上升法

def gradAscent():

dataMat = []

labelMat = []

with open('testSet.txt') as fr:

for line in fr.readlines():

lineArr = line.strip().split()

dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])

labelMat.append(int(lineArr[2]))

dataMatrix = mat(dataMat)

labelMat = mat(labelMat).transpose()

m, n = shape(dataMatrix)

alpha = .001

maxCycles = 500

weights = ones((n, 1))

# print 'weights:', weights

for k in range(maxCycles):

h = sigmoid(dataMatrix * weights)

error = (labelMat - h)

weights += alpha * dataMatrix.transpose() * error

return weights

2、sigmoid方法

def sigmoid(inx):

return 1.0 / (1 + exp(-inx))

3、改进的随机梯度上升法

def stocGradAscentImproved(numIter=150):

"""Improved Stochastic gradient ascent method"""

with open('testSet.txt') as fr:

for line in fr.readlines():

lineArr = line.strip().split()

dataMat.append([1.0, float(lineArr[0]), float(lineArr[1])])

labelMat.append(int(lineArr[2]))

dataMat = array(dataMat)

labelMat = array(labelMat)

m, n = shape(dataMat)

weights = ones(n)

for j in range(numIter):

dataIndex = range(m)

for i in range(m):

alpha = 2 / (1.0 + j + i) + 0.01 # 更快地收敛

randIndex = int(random.uniform(0, len(dataIndex)))

h = sigmoid(sum(dataMat[randIndex] * weights))

error = classLabels[randIndex] - h

weights += alpha * error * dataMat[randIndex]

del dataIndex[randIndex] # 已选过的样本点删除

return weights

4、其中testSet.txt文件部分内容：

-0.017612 14.053064 0

-1.395634 4.662541 1

-0.752157 6.538620 0

-1.322371 7.152853 0

0.423363 11.054677 0

0.406704 7.067335 1

0.667394 12.741452 0

-2.460150 6.866805 1

0.569411 9.548755 0

stocGradAscentImproved方法在训练数据集求解出回归系数W，也即解出拟合曲线了，之后使用测试数据集预测类标号。如果sigmoid函数计算结果值大于0.5，则标记为1，而小于0.5标记为0。

在测试数据集上多次迭代求平均错误率。

六、总结

1、选择合适的分类器函数，这里使用sigmoid函数，我们在高中生物课学习过该参数，即种群S型生长曲线。sigmoid函数能够把拟合计算得到的曲线转换为后验概率，当sigmoid函数值大于0.5时，我们把该类标记为A类，小于0.5时，标记为B类。

2、在大规模数据集中，由于标准梯度上升法在每次迭代更新回归系数时，它都是遍历整个数据集，因此，该方法占用的内存空间和计算量很大。

3、公式算法应自己推导一遍以便对程序有更好的理解。