matlab 稳健回归分析,sklearn学习笔记—

1、零碎的概念学习

Stochastic Gradient Descent 随机梯度下降法

Perceptron 感知机

Hinge Loss (折页损失函数、铰链损失函数)

Hinge Loss是一种目标函数(或者说损失函数)的名称，有的时候又叫做max-margin objective。其最著名的应用是作为SVM的目标函数。

其二分类情况下，公式如下：

l(y)=max(0,1−t⋅y)

其中，y是预测值(-1到1之间)，t为目标值(±1)。

其含义为，y的值在-1到1之间就可以了，并不鼓励|y|>1，即并不鼓励分类器过度自信，让某个可以正确分类的样本距离分割线的距离超过1并不会有任何奖励。从而使得分类器可以更专注整体的分类误差。

【1】https://www.cnblogs.com/yymn/p/8336979.html 损失函数：Hinge Loss(max margin)

2、Robustness regression

Robustness regression: outliers and modeling errors

稳健拟合的一个重要概念是分解点(breakdown point)：在拟合开始丢失内联数据时，可能偏离的数据部分。

一般来说，在高维设置(大n_特征)中进行稳健拟合非常困难。这里的健壮模型可能在这些设置中不起作用。

RANSAC: RANdom SAmple Consensus 样本随机一致性

ransac是一种不确定的算法，只产生一个具有一定概率的合理结果，这取决于迭代次数(见max_trials参数)。它通常用于线性和非线性回归问题，特别是在摄影测量计算机视觉领域。

该算法将完整的输入样本数据分割成一组可能受到噪声影响的内联和异常值，这些异常值例如由错误的测量或无效的数据假设引起的。然后，只根据确定的内联函数来估计得到的模型。

泰尔森回归：与ols相比，theil-sen是一种非参数方法，这意味着它不假设数据的潜在分布。由于theil-sen是一种基于中值的估计量，因此它对损坏的数据(也就是离群值)更为稳健。在单变量设置中，如果是简单的线性回归，Theil-Sen的崩溃点约为29.3%，这意味着它可以容忍高达29.3%的任意损坏数据。

由于theil-sen的计算复杂性，建议使用它只针对小问题的样本数量和特征。

HuberRegressor与Ridge不同，因为它对分类为异常值的样本应用线性损失。如果样本的绝对误差小于某个阈值，则将该样本分类为内联样本。它不同于TheilsenRegressor和RansacRegressor，因为它不忽略异常值的影响，但给予它们较小的权重。

matlab 稳健回归分析,sklearn学习笔记——稳健回归分析相关推荐

s matlab toolbox,Matlab Robotic Toolbox工具箱学习笔记（一）
Matlab Robotic Toolbox工具箱学习笔记(一) 软件:matlab2013a 工具箱:Matlab Robotic Toolbox v9.8 Matlab Robotic Toolb ...
matlab入门之旅,MATLAB 入门之旅学习笔记
MATLAB 入门之旅学习笔记 https://matlabacademy.mathworks.com/R2019a/cn/portal.html?course=gettingstarted 1.概述 ...
MATLAB simulink 模型验证学习笔记
MATLAB simulink 模型验证学习笔记一.静态验证 1.Model Advisor 模型验证意思是用matlab自带的规范检查工具来检查自己画的模型是否符合规范. 进行模型验证需要用到的模 ...
SKlearn学习笔记——XGBoost
SKlearn学习笔记--XGBoost 1. 概述 1.1 xgboost库与XGB的sklearn API 1.2 XGBoost的三大板块 2. 梯度提升树 2.1 提升集成算法:重要参数 n_ ...
matlab 轴gui,MatlabüGUI学习笔记（4）——公共对象属性的轴,MatlabGUI,四,常用,之,Axes...
Matlab_GUI学习笔记(四)--常用对象的属性之Axes 1. Axes Axes意为"轴",是axis的复数.使用get函数查看Axes对象的属性,有一些属性与Figure ...
在我方某前沿防守地域 matlab,[matlab]Monte Carlo模拟学习笔记
理论基础:大数定理,当频数足够多时,频率可以逼近概率,从而依靠概率与$\pi$的关系,求出$\pi$ 所以,rand在Monte Carlo中是必不可少的,必须保证测试数据的随机性. 用蒙特卡洛方法进 ...
PSO粒子群算法的matlab实践【PSO学习笔记_02】
在PSO粒子群算法[PSO学习笔记_01]_L1234X的博客-CSDN博客中,主要以介绍PSO算法的个人理解,以理论为主,本文将在此基础上进行实践. 目录例题对应函数图像用matlab画出为: ...
支持向量回归_量化投资学习笔记22——回归分析:支持向量机
支持向量机(Support Vector Machine, SVM)是一种基于统计学习的模式识别的分类方法,主要用于模式识别.所谓支持向量指的是在分割区域边缘的训练样本点,机是指算法.就是要找到具有最 ...
R语言学习笔记8_回归分析和相关分析
目录八.回归分析和相关分析 8.1 相关性及其度量 8.1.1 相关性概念 8.1.2 相关分析 8.2 一元线性回归分析 8.2.1 数学模型 8.2.2 估计与检验 8.2.3 预测与控制 8. ...

matlab 稳健回归分析,sklearn学习笔记——稳健回归分析

matlab 稳健回归分析,sklearn学习笔记——稳健回归分析相关推荐

最新文章

热门文章