L2正则化缓解过拟合实例

正则化(Regularization) 是机器学习中对原始损失函数引入额外信息，以便防止过拟合和提高模型泛化性能的一类方法的统称。也就是目标函数变成了原始损失函数+额外项，常用的额外项一般有两种，英文称作ℓ1−normℓ1−norm和ℓ2−normℓ2−norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数（实际是L2范数的平方）。

L2正则化，拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是抗扰动能力强。

正则化参数λ越大，θj衰减得越快，最后求得代价函数最值时各参数也会变得很小，当然也不是越大越好，太大容易引起欠拟合。

使用逻辑回归的例子来解释正则化问题，给定一个数据集中又x1，x2,y在神经网络中进行训练，再用网格中坐标作为测试集测试，将原始数据x1，x2进行0/1分类，以图表显示

一.未使用正则化

1.Y_c = [['red' if y else 'blue'] for y in y_train]
用颜色来代替0/1预测值 [['red'], ['blue'], ['blue'], ['red'], ['red'], ['blue'],

2.h1 = tf.nn.relu(h1)

relu激活函数

3.xx, yy = np.mgrid[-3:3:.1, -3:3:.1]

xx在-3到3之间以步长为0.01，yy在-3到3之间以步长0.01,生成间隔数值点，最终xx,yy为60*60的矩阵，np.mgrid方法详见mgrid与meshgrid生成数据的区别以及与contour等高线的联系

4.xx.ravel(), yy.ravel()

ravel()方法是将xx，yy矩阵按行优先拉伸为一位数组

5. np.c_[xx.ravel(), yy.ravel()]

np.c_是将矩阵列数合并要求行数与原矩阵相同，np.r则列数相同，如果是一维数组的话，按两个数组的索引组成坐标对矩阵(shape为n*2)

6.color=np.squeeze(Y_c)

squeeze去掉纬度是1的纬度,相当于去掉[['red'],[''blue]],内层括号变为['red','blue']。如果没有维度为1的维度，则不发生改变。

7.plt.scatter(x1, x2, color=np.squeeze(Y_c))

将原始数据x1，x2形成散列点以坐标图像展示，并标上之前预设好的颜色。

8.plt.contour(xx, yy, probs,levels=[.5])

画分界线，数据以0/1分类，probs为每个坐标点的预测值（0~1之间），则将预测值为0.5的坐标画上分界线，此线也就是分类点的分界线。

代码清单：

# Alleviate overfitting缓解过拟合# L2 正则化公式非常简单，直接在原来的损失函数基础上加上权重参数的平方和：正则化的目的是限制参数过多或者过大，避免模型更加复杂# 导入所需模块
import tensorflow as tf
from matplotlib import pyplot as plt
import numpy as np
import pandas as pd# 读入数据/标签 生成x_train y_train
df = pd.read_csv('dot.csv')
#将数据按标签 转换为矩阵x_data y_data
x_data = np.array(df[['x1', 'x2']])
y_data = np.array(df[['y_c']])
# print(x_data)
print(y_data)
#下面这一步其实是没有必要的，上面x_data与ydata已经是矩阵形式的了，没必要再通过reshape转为两列一列了，生成的数据其实是相同的
# reshape(-1, 2)转换为两列，reshape(-1, 1)转换为一列
#np.vstack(x_data)纵向堆叠数据，形成矩阵形式
x_train = np.vstack(x_data).reshape(-1, 2)
y_train = np.vstack(y_data).reshape(-1, 1)
print(x_train)
print(y_train)# 用颜色区分0./1.数据
Y_c = [['red' if y else 'blue'] for y in y_train]
print(Y_c)
#用颜色来代替0/1预测值
#[['red'], ['blue'], ['blue'], ['red'], ['red'], ['blue'],
# 转换x的数据类型，否则后面矩阵相乘时会因数据类型问题报错
x_train = tf.cast(x_train, tf.float32)
y_train = tf.cast(y_train, tf.float32)# from_tensor_slices函数切分传入的张量的第一个维度，生成相应的数据集，使输入特征和标签值一一对应
train_db = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32)# 生成神经网络的参数，输入层为2个神经元，隐藏层为11个神经元，1层隐藏层，输出层为1个神经元
# 用tf.Variable()保证参数可训练
w1 = tf.Variable(tf.random.normal([2, 11]), dtype=tf.float32)
b1 = tf.Variable(tf.constant(0.01, shape=[11]))w2 = tf.Variable(tf.random.normal([11, 1]), dtype=tf.float32)
b2 = tf.Variable(tf.constant(0.01, shape=[1]))lr = 0.005  # 学习率
epoch = 800  # 循环轮数# 训练部分
for epoch in range(epoch):for step, (x_train, y_train) in enumerate(train_db):with tf.GradientTape() as tape:  # 记录梯度信息# 第一层隐藏层h1 = tf.matmul(x_train, w1) + b1  # 记录神经网络乘加运算# 如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合。# 激活函数是用来加入非线性因素的，提高神经网络对模型的表达能力，解决线性模型所不能解决的问题。h1 = tf.nn.relu(h1)#激活函数# 输入激活函数y = tf.matmul(h1, w2) + b2# 采用均方误差损失函数mse = mean(sum(y-out)^2)loss = tf.reduce_mean(tf.square(y_train - y))# 计算loss对各个参数的梯度variables = [w1, b1, w2, b2]grads = tape.gradient(loss, variables)# 实现梯度更新# w1 = w1 - lr * w1_grad tape.gradient是自动求导结果与[w1, b1, w2, b2] 索引为0，1，2，3w1.assign_sub(lr * grads[0])b1.assign_sub(lr * grads[1])w2.assign_sub(lr * grads[2])b2.assign_sub(lr * grads[3])# 每20个epoch，打印loss信息if epoch % 20 == 0:print('epoch:', epoch, 'loss:', float(loss))# 预测部分
print("*******predict*******")
# xx在-3到3之间以步长为0.01，yy在-3到3之间以步长0.01,生成间隔数值点
xx, yy = np.mgrid[-3:3:.1, -3:3:.1]
# 将xx , yy拉直，并合并配对为二维张量，生成二维坐标点
#ravel()将数组维度拉成一维数组
#np.c_将矩阵列数合并要求行数与原矩阵相同，np.r相反
#如果是数组，用np.c_是组成坐标对
#grid也就代表网格中所有的坐标点，为了给下面的坐标点赋值预测值，形成测试集
grid = np.c_[xx.ravel(), yy.ravel()]
print("xx.ravel()")
print(xx.ravel())
#ravel()将数组维度拉成一维数组
#[-3.  -3.  -3.  ...  2.9  2.9  2.9]
print('=============================')
print(grid)
# print(grid)
# [[-3.  -3. ]
#  [-3.  -2.9]
#  [-3.  -2.8]
#  ...
#  [ 2.9  2.7]
#  [ 2.9  2.8]
#  [ 2.9  2.9]]
grid = tf.cast(grid, tf.float32)
# 将网格坐标点喂入神经网络，进行预测，probs为输出
probs = []
for x_test in grid:print(x_test)# 使用训练好的参数进行预测h1 = tf.matmul([x_test], w1) + b1h1 = tf.nn.relu(h1)y = tf.matmul(h1, w2) + b2  # y为预测结果probs.append(y)# 取第0列给x1，取第1列给x2
x1 = x_data[:, 0]
x2 = x_data[:, 1]
# probs的shape调整成xx的样子
print("probs")
print(probs)#这里打印的是每一个x_test的结果，x_test一共3600个
probs = np.array(probs).reshape(xx.shape)#xx.shape 60*60
print(probs)
print(probs.shape)#60*60
#将原始数据对生成散列图
plt.scatter(x1, x2, color=np.squeeze(Y_c))  # squeeze去掉纬度是1的纬度,相当于去掉[['red'],[''blue]],内层括号变为['red','blue']
#画出0/1  red/blue分界线
# 把坐标xx yy和对应的值probs放入contour函数，给probs值为0.5的所有点上色  plt.show()后 显示的是红蓝点的分界线
plt.contour(xx, yy, probs,levels=[.5])#给值为0.5的等高线画上分界线
plt.show()# 读入红蓝点，画出分割线，不包含正则化
# 不清楚的数据，建议print出来查看

通过此结果可以看出，分界线很曲折，过拟合，没有很好的模型泛化能力。

二.使用L2正则化

为w1，w2添加了L2正则化

loss_regularization = []
# tf.nn.l2_loss(w)=sum(w ** 2) / 2
#简单的可以理解成张量中的每一个元素进行平方，然后求和，最后乘一个1/2
loss_regularization.append(tf.nn.l2_loss(w1))
loss_regularization.append(tf.nn.l2_loss(w2))
# 求和
# 例：x=tf.constant(([1,1,1],[1,1,1]))
#   tf.reduce_sum(x)
# >>>6
loss_regularization = tf.reduce_sum(loss_regularization)
#正则化参数为0.03
loss = loss_mse + 0.03 * loss_regularization  # REGULARIZER = 0.03

代码清单：

# 导入所需模块
import tensorflow as tf
from matplotlib import pyplot as plt
import numpy as np
import pandas as pd# 读入数据/标签 生成x_train y_train
df = pd.read_csv('dot.csv')
x_data = np.array(df[['x1', 'x2']])
y_data = np.array(df['y_c'])x_train = x_data
y_train = y_data.reshape(-1, 1)Y_c = [['red' if y else 'blue'] for y in y_train]# 转换x的数据类型，否则后面矩阵相乘时会因数据类型问题报错
x_train = tf.cast(x_train, tf.float32)
y_train = tf.cast(y_train, tf.float32)# from_tensor_slices函数切分传入的张量的第一个维度，生成相应的数据集，使输入特征和标签值一一对应
train_db = tf.data.Dataset.from_tensor_slices((x_train, y_train)).batch(32)# 生成神经网络的参数，输入层为2个神经元，隐藏层为11个神经元，1层隐藏层，输出层为1个神经元# 用tf.Variable()保证参数可训练
w1 = tf.Variable(tf.random.normal([2, 11]), dtype=tf.float32)
b1 = tf.Variable(tf.constant(0.01, shape=[11]))w2 = tf.Variable(tf.random.normal([11, 1]), dtype=tf.float32)
b2 = tf.Variable(tf.constant(0.01, shape=[1]))lr = 0.005  # 学习率为
epoch = 800  # 循环轮数# 训练部分
for epoch in range(epoch):for step, (x_train, y_train) in enumerate(train_db):with tf.GradientTape() as tape:  # 记录梯度信息h1 = tf.matmul(x_train, w1) + b1  # 记录神经网络乘加运算h1 = tf.nn.relu(h1)y = tf.matmul(h1, w2) + b2# 采用均方误差损失函数mse = mean(sum(y-out)^2)loss_mse = tf.reduce_mean(tf.square(y_train - y))# 添加l2正则化loss_regularization = []# tf.nn.l2_loss(w)=sum(w ** 2) / 2#简单的可以理解成张量中的每一个元素进行平方，然后求和，最后乘一个1/2loss_regularization.append(tf.nn.l2_loss(w1))loss_regularization.append(tf.nn.l2_loss(w2))# 求和# 例：x=tf.constant(([1,1,1],[1,1,1]))#   tf.reduce_sum(x)# >>>6loss_regularization = tf.reduce_sum(loss_regularization)#正则化参数为0.03loss = loss_mse + 0.03 * loss_regularization  # REGULARIZER = 0.03# 计算loss对各个参数的梯度variables = [w1, b1, w2, b2]grads = tape.gradient(loss, variables)# 实现梯度更新# w1 = w1 - lr * w1_gradw1.assign_sub(lr * grads[0])b1.assign_sub(lr * grads[1])w2.assign_sub(lr * grads[2])b2.assign_sub(lr * grads[3])# 每200个epoch，打印loss信息if epoch % 20 == 0:print('epoch:', epoch, 'loss:', float(loss))# 预测部分
print("*******predict*******")
# xx在-3到3之间以步长为0.01，yy在-3到3之间以步长0.01,生成间隔数值点
xx, yy = np.mgrid[-3:3:.1, -3:3:.1]
# 将xx, yy拉直，并合并配对为二维张量，生成二维坐标点
grid = np.c_[xx.ravel(), yy.ravel()]
grid = tf.cast(grid, tf.float32)
# 将网格坐标点喂入神经网络，进行预测，probs为输出
probs = []
for x_predict in grid:# 使用训练好的参数进行预测h1 = tf.matmul([x_predict], w1) + b1h1 = tf.nn.relu(h1)y = tf.matmul(h1, w2) + b2  # y为预测结果probs.append(y)# 取第0列给x1，取第1列给x2
x1 = x_data[:, 0]
x2 = x_data[:, 1]
# probs的shape调整成xx的样子
probs = np.array(probs).reshape(xx.shape)
plt.scatter(x1, x2, color=np.squeeze(Y_c))
# 把坐标xx yy和对应的值probs放入contour函数，给probs值为0.5的所有点上色  plt.show()后 显示的是红蓝点的分界线
plt.contour(xx, yy, probs, levels=[.5])
plt.show()# 读入红蓝点，画出分割线，包含正则化
# 不清楚的数据，建议print出来查看

通过此图来看，添加了正则化的模型相比较未正则化的图像来说，此图分界线比较圆滑，又较强的模型泛化能力。

L2正则化缓解过拟合实例相关推荐

【TensorFlow自学2】基础语句+激活函数+损失函数+正则化缓解过拟合+优化器（SGD、Adam等）
2.1预备知识 tf.where()–条件语句真的话返回A,假的话返回B tf.where(条件语句,A(真-返回),B(假-返回)) import tensorflow as tfa=tf.cons ...
机器学习(五)——缓解过拟合
看图理解过拟合与欠拟合欠拟合解决方法增加输入特征项增加网络参数减少正则化参数过拟合解决方法数据清洗增大训练集采用正则化增大正则化参数案例 import tensorflow as ...
【机器学习】L1正则化和L2正则化
L1正则化和L2正则化在机器学习实践过程中,训练模型的时候往往会出现过拟合现象,为了减小或者避免在训练中出现过拟合现象,通常在原始的损失函数之后附加上正则项,通常使用的正则项有两种:L1正则化和L2 ...
L1正则化和L2正则化讲解
L1正则化和L2正则化讲解在机器学习实践过程中,训练模型的时候往往会出现过拟合现象,为了减小或者避免在训练中出现过拟合现象,通常在原始的损失函数之后附加上正则项,通常使用的正则项有两种:L1正则 ...
深度学习机器学习理论知识：范数、稀疏与过拟合合集（2）有监督模型下的过拟合与正则化加入后缓解过拟合的原理
范数.稀疏与过拟合合集(1)范数的定义与常用范数介绍范数.稀疏与过拟合合集(2)有监督模型下的过拟合与正则化加入后缓解过拟合的原理范数.稀疏与过拟合合集(3)范数与稀疏化的原理.L0L1L2范数的 ...
R语言构建xgboost模型：使用xgboost构建广义线性模型（GLM）：使用gblinear算法拟合线性模型并配置L1和L2正则化
R语言构建xgboost模型:使用xgboost构建广义线性模型(GLM):使用gblinear算法拟合线性模型并配置L1和L2正则化目录
最小二乘拟合，L1、L2正则化约束--转
原文地址:http://blog.csdn.net/u013164528/article/details/45042895 最小二乘法(又称最小平方法)是一种数学优化技术.它通过最小化误差的平方和寻找 ...
31,32,33_过拟合、欠拟合的概念、L2正则化，Pytorch过拟合欠拟合，交叉验证-Train-Val-Test划分，划分训练集和测试集，K-fold,Regularization
1.26.过拟合.欠拟合及其解决方案 1.26.1.过拟合.欠拟合的概念 1.26.1.1.训练误差和泛化误差 1.26.1.2.验证数据集与K-fold验证 1.26.1.3.过拟合和欠拟合 1.2 ...
l2正则化python_机器学习入门之机器学习之路： python线性回归过拟合 L1与L2正则化...
本文主要向大家介绍了机器学习入门之机器学习之路: python线性回归过拟合 L1与L2正则化,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助. 正则化: 提高模型在未知数据上的 ...

L2正则化缓解过拟合实例

L2正则化缓解过拟合实例相关推荐

最新文章

热门文章