【机器学习】--回归问题的数值优化

一、前述

回归问题求解时梯度下降由于样本数据的多样性，往往对模型有很大的影响，所以需要对样本数据做一些优化

二、归一化

1、背景

各个维度的输入如果在数值上差异很大，那么会引起正确的w在各个维度上数值差异很大。这样找寻w的时候，对各个维度的调整基本上是按照同一个数量级来进行调整的。因此需要归一化。

2、归一化方法

• 归一化的一种方法：最大值最小值法
• 缺点是抗干扰能力弱
• 受离群值得影响比较大
• 中间容易没有数据

归一化的一种方法：方差归一化
• 优点是抗干扰能力强，和所有数据都有关

. 使数量级在一个量级
• 缺点是最终未必会落到0到1之间
• 牺牲归一化结果为代价提高稳定

归一化的一种方法：均值归一化

3、案例分析一

优化方法：方差归一化

结果：

4、案例分析二

解决办法：尽可能让X的各个维度上取值有正有负。

均值归一化，每个数量减去平均值。

转载于:https://www.cnblogs.com/LHWorldBlog/p/8683332.html

【机器学习】--回归问题的数值优化相关推荐

最优化方法总结：公式解、数值优化、求解思想
机器学习的目标是给出一个模型(一般是映射函数),然后定义对这个模型好坏的评价函数(目标函数),求解目标函数的极大值或者极小值,以确定模型的参数,从而得到我们想要的模型. 在这三个关键步骤(定义模型,目 ...
逻辑回归、逻辑回归的损失和优化
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 3.1 逻辑回归介绍逻辑回归(Logistic Regres ...
机器学习回归篇（1）——多元线性回归
机器学习回归篇(1)--多元线性回归摘要线性回归简介 python实现运行结果及可视化摘要本文介绍了最基础的回归问题--多元线性回归,并通过python进行实现及可视化展示运行结果. 线性 ...
数值优化：计算基本理论
1. 优化问题最一般的优化问题的表述是这样的: 求解等式约束 $\boldsymbol{g}(\boldsymbol{x})=0$ 和不等式约束 $\boldsymbol{h}(\boldsymbo ...
机器学习模型的超参数优化用于分子性质预测
在<预测化学分子的nlogP--基于sklearn, deepchem, DGL, Rdkit的图卷积网络模型>中简单介绍了sklearn模型的使用方法. 现在来介绍一下,如何对sklea ...
数值优化：一阶和二阶优化算法(Pytorch实现)
1 最优化概论 (1) 最优化的目标最优化问题指的是找出实数函数的极大值或极小值,该函数称为目标函数.由于定位$f(x)$的极大值与找出$-f(x)$的极小值等价,在推导计算方式时仅考虑最小 ...
机器学习——回归算法
机器学习–回归算法一.问题分析回归问题和分类问题在本质上是一样的,都是针对一个输入做出一个输出预测,其区别在于输出变量的类型. 分类问题也叫离散变量预测,其输出是输入数据所对应的类别,是一种定性输 ...
【实战】——基于机器学习回归模型对广州二手房价格进行分析及模型评估
目录 1.数据导入 2.数据清洗 2.1.变量选取 2.2.空值处理 2.3.类型转化 2.4.数据再处理 3.机器学习sklearn的实现 3.1.训练集和测试集的拆分 3.2.数据的标准化 3.3 ...
Mesh is Art（7）基于机器学习的幕墙嵌板优化
Mesh is Art(7) 基于机器学习的幕墙嵌板优化前言问题提出聚类算法什么是聚类 K-Means聚类示例一示例二注意局限性 Gaussian Mixture Model (GMM ...

【机器学习】--回归问题的数值优化

【机器学习】--回归问题的数值优化相关推荐

最新文章

热门文章