吴恩达《机器学习》笔记八——逻辑回归（多分类）代码

导入模块及加载数据
sigmoid函数与假设函数
代价函数
梯度下降
一对多分类
预测验证

课程链接：https://www.bilibili.com/video/BV164411b7dx?from=search&seid=5329376196520099118

之前笔记七里介绍了二分类问题的逻辑回归代码，涉及到了线性与非线性假设，是否使用正则化等问题，这次做一个推广，用逻辑回归来解决一个多分类问题，手写数字识别，这个问题如今更多在深度学习里使用神经网络来解决。

本次笔记用到的数据集：
链接：https://pan.baidu.com/s/1_HvmGeQfzv4bc7zBTvyEXw
提取码：rdks

导入模块及加载数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from scipy.io import loadmat

数据集是在MATLAB的本机格式，所以要加载它到Python，需要使用一个SciPy工具。

data = loadmat('ex3data1.mat')
data

看一下数据的维度：

data['X'].shape, data['y'].shape

图像在martix X中表示为400维向量（其中有5,000个）。 400维“特征”是原始20 x 20图像中每个像素的灰度强度。类标签在向量y中作为表示图像中数字的数字类。

第一个任务是将我们的逻辑回归实现修改为完全向量化（即没有“for”循环）。这是因为向量化代码除了简洁外，还能够利用线性代数优化，并且通常比迭代代码快得多。

sigmoid函数与假设函数

g 代表一个常用的逻辑函数（logistic function）为S形函数（Sigmoid function），公式为：

逻辑回归模型的假设函数：

def sigmoid(z):return 1 / (1 + np.exp(-z))

代价函数

def cost(theta, X, y, learningRate):# INPUT：参数值theta，数据X，标签y，学习率# OUTPUT：当前参数值下的交叉熵损失# TODO：根据参数和输入的数据计算交叉熵损失函数# STEP1：将theta, X, y转换为numpy类型的矩阵theta =np.matrix(theta)X = np.matrix(X)y = np.matrix(y)# STEP2：根据公式计算损失函数（不含正则化）cross_cost =np.multiply(-y, np.log(sigmoid(X * theta.T)))-np.multiply((1 - y), np.log(1 - sigmoid(X * theta.T)))# STEP3：根据公式计算损失函数中的正则化部分reg =  (learningRate / (2 * len(X))) * np.sum(np.power(theta[:,1:theta.shape[1]], 2))# STEP4：把上两步当中的结果加起来得到整体损失函数whole_cost=np.sum(cross_cost)/len(X)+regreturn whole_cost

梯度下降

如果我们要使用梯度下降法令这个代价函数最小化，因为我们未对 θ0 进行正则化，所以梯度下降算法将分两种情形：

def gradient(theta, X, y, learningRate):# INPUT：参数值theta，数据X，标签y，学习率# OUTPUT：当前参数值下的梯度# TODO：根据参数和输入的数据计算梯度# STEP1：将theta, X, y转换为numpy类型的矩阵theta = np.matrix(theta)X = np.matrix(X)y = np.matrix(y)# STEP2：将theta矩阵拉直（转换为一个向量）parameters =int(theta.ravel().shape[1])# STEP3：计算预测的误差  error = sigmoid(X * theta.T) - y# STEP4：根据上面的公式计算梯度grad = ((X.T * error) / len(X)).T + ((learningRate / len(X)) * theta)# STEP5：由于j=0时不需要正则化，所以这里重置一下grad[0, 0] = np.sum(np.multiply(error, X[:,0])) / len(X)return np.array(grad).ravel()

一对多分类

现在已经定义了代价函数和梯度函数，是构建分类器的时候了。对于这个任务，我们有10个可能的类，并且由于逻辑回归只能一次在2个类之间进行分类，我们需要多类分类的策略。在本练习中，任务是实现一对一全分类方法，其中具有k个不同类的标签就有k个分类器，每个分类器在“类别 i”和“不是 i”之间决定。我们将把分类器训练包含在一个函数中，该函数计算10个分类器中的每个分类器的最终权重，并将权重返回为k ×（n + 1）数组，其中n是参数数量。

from scipy.optimize import minimizedef one_vs_all(X, y, num_labels, learning_rate):rows = X.shape[0]params = X.shape[1]# k X (n + 1) array for the parameters of each of the k classifiersall_theta = np.zeros((num_labels, params + 1))# insert a column of ones at the beginning for the intercept termX = np.insert(X, 0, values=np.ones(rows), axis=1)# labels are 1-indexed instead of 0-indexedfor i in range(1, num_labels + 1):theta = np.zeros(params + 1)y_i = np.array([1 if label == i else 0 for label in y])y_i = np.reshape(y_i, (rows, 1))# minimize the objective functionfmin = minimize(fun=cost, x0=theta, args=(X, y_i, learning_rate), method='TNC', jac=gradient)all_theta[i-1,:] = fmin.xreturn all_theta

这里需要注意的几点：首先，我们为theta添加了一个额外的参数（与训练数据一列），以计算截距项（常数项）。其次，我们将y从类标签转换为每个分类器的二进制值（要么是类i，要么不是类i）。最后，我们使用SciPy的较新优化API来最小化每个分类器的代价函数。如果指定的话，API将采用目标函数，初始参数集，优化方法和jacobian（渐变）函数。然后将优化程序找到的参数分配给参数数组。

实现向量化代码的一个更具挑战性的部分是正确地写入所有的矩阵，保证维度正确。

rows = data['X'].shape[0]
params = data['X'].shape[1]all_theta = np.zeros((10, params + 1))X = np.insert(data['X'], 0, values=np.ones(rows), axis=1)theta = np.zeros(params + 1)y_0 = np.array([1 if label == 0 else 0 for label in data['y']])
y_0 = np.reshape(y_0, (rows, 1))X.shape, y_0.shape, theta.shape, all_theta.shape

注意，theta是一维数组，因此当它被转换为计算梯度的代码中的矩阵时，它变为（1×401）矩阵。我们还检查y中的类标签，以确保它们看起来像我们想象的一致。

np.unique(data['y'])#看下有几类标签

让我们确保我们的训练函数正确运行，并且得到合理的输出。

all_theta = one_vs_all(data['X'], data['y'], 10, 1)
all_theta

预测验证

我们现在准备好最后一步 - 使用训练完毕的分类器预测每个图像的标签。对于这一步，我们将计算每个类的类概率，对于每个训练样本（使用当然的向量化代码），并将输出类标签为具有最高概率的类。

Tip：可以使用np.argmax()函数找到矩阵中指定维度的最大值。

def predict_all(X, all_theta):# INPUT：参数值theta，测试数据X# OUTPUT：预测值# TODO：对测试数据进行预测# STEP1：获取矩阵的维度信息rows = X.shape[0]params = X.shape[1]num_labels = all_theta.shape[0]# STEP2：把矩阵X加入一行零元素X = np.insert(X, 0, values=np.ones(rows), axis=1)# STEP3：把矩阵X和all_theta转换为numpy型矩阵X = np.matrix(X)all_theta = np.matrix(all_theta)# STEP4：计算样本属于每一类的概率h = sigmoid(X * all_theta.T)# STEP5：找到每个样本中预测概率最大的值h_argmax = np.argmax(h, axis=1)# STEP6：因为我们的数组是零索引的，所以我们需要为真正的标签+1h_argmax = h_argmax + 1return h_argmax

现在我们可以使用predict_all函数为每个实例生成类预测，看看我们的分类器是如何工作的。

y_pred = predict_all(data['X'], all_theta)
correct = [1 if a == b else 0 for (a, b) in zip(y_pred, data['y'])]
accuracy = (sum(map(int, correct)) / float(len(correct)))
print ('accuracy = {0}%'.format(accuracy * 100))

吴恩达《机器学习》学习笔记八——逻辑回归（多分类）代码相关推荐

吴恩达机器学习学习笔记第七章：逻辑回归
分类Classification分为正类和负类 (规定谁是正谁是负无所谓) 吴恩达老师举例几个例子:判断邮箱是否是垃圾邮箱一个在线交易是否是诈骗一个肿瘤是良性的还是恶性如果我们用之前学习的lin ...
逻辑回归python sigmoid(z)_python实现吴恩达机器学习练习2（逻辑回归）-data1
python实现吴恩达机器学习练习2(逻辑回归)-data1 这篇是第一个数据集:这部分练习中,你将建立一个预测学生是否被大学录取的逻辑回归模型. 假如一所大学会每个报名学生进行两项入学考试,根据两项 ...
吴恩达机器学习--学习笔记
1. Introduction 1.1 Welcome 如今机器学习被大规模应用于: 数据挖掘(网站点击,医学记录,生物学,工程) 一些无法通过编程实现的功能(自动驾驶,手写识别,NLP,CV) se ...
吴恩达机器学习学习笔记第二章：单变量线性回归
模型描述: 训练集(training set):是监督学习中独有的概念,由我们人喂给电脑的既有既有特征x又有结果y的数据.下图x是房子面积 ,y是房屋对应的价格符号记法解释: (x^(1),y^(1 ...
吴恩达机器学习学习笔记第九章：神经网络学习
课时①非线性假设通过说Linear Regression和logistic Regression的不足来引入神经网络: 安卓告诉我们神经网络并不是什么新玩意儿,老早就有了,但是他经过了一段低迷期直到 ...
吴恩达机器学习（四）逻辑回归（二分类与多分类）
目录 0. 前言 1. 假设函数(Hypothesis) 2. 决策边界(Decision Boundary) 3. 代价函数(Cost Funciton) 4. 梯度下降(Gradient Desc ...
吴恩达“机器学习”——学习笔记六
最优边界分类器(最大间隔分类器)(续学习笔记五) 在线性分类器中,我们要找到一个边界线,使得几何间隔最大,即: ||w||在几何间隔中是无关紧要的,这里取1,使得几何间距和函数间距一致. 但是这个并不 ...
吴恩达机器学习学习笔记第八章：正则化
1.过拟合问题如图所示是线性回归的三种情况: 图一是欠拟合数据点没有全部被(另一种说法这个算法有高偏差) 图二的二次函数来拟合效果很不错图三用了4次多项式有5个参数但是曲线歪歪扭扭的显得非常 ...
吴恩达机器学习第二次作业——逻辑回归
逻辑回归一.逻辑回归 1,数据可视化 2,sigmoid函数,逻辑回归模型 3,代价函数以及梯度 4,评价逻辑回归二.正规化逻辑回归 1,数据可视化 2,特征映射(Feature Mapping) ...
吴恩达机器学习作业2：逻辑回归（Python实现）
逻辑回归在训练的初始阶段,将要构建一个逻辑回归模型来预测,某个学生是否被大学录取.设想你是大学相关部分的管理者,想通过申请学生两次测试的评分,来决定他们是否被录取.现在你拥有之前申请学生的可以用于训 ...

吴恩达《机器学习》学习笔记八——逻辑回归（多分类）代码