20180917 - 机器学习与线性回归

机器学习的定义：

机器学习是人工智能的一个分支，主要关于构造和研究可以从数据中学习的系统。

机器学习的任务类型：（吹牛逼可以用）

监督学习（supervised learning）：

回归 (Regression)

分类 (classification)

排序 (ranking)

非监督学习：

聚类 (clustering)

降维 (dimensionality reduction)

概率密度估计(density estimation)

半监督学习(semi-supervised learning)：

增强学习(reinforcement learning)：

迁移学习(transfer learning)：

机器学习任务的一般步骤：

1. 特征工程（FE feature engineering）

有可能是最重要的步骤

2. 问题建模，模型选择

目标函数/决策边界的形状

选择什么样的模型（决策边界的形状）

使用什么样的目标函数来进行训练

3. 模型训练

根据数目估计模型参数

优化求解：求目标函数的极小值

4. 评估，在校验集上评估模型的性能

5. 模型的应用和预测

线性模型转化成非线性模型：

- 基函数： $x^{2}$ 、exp、log、样条函数、决策函数....

- 核化：将原问题转化成对偶问题，将对偶问题中的向量点积<x, y>换成核函数k(x, y)

优化：

直接求解

梯度下降（Gradient descent）

迭代终止条件：

最大迭代次数

相邻两步的变化量小于某个预设值

二阶牛顿法

部分简写说明：

RMS ： root mean square 均方根

MAP ： maximum a posteriori 最大后验概率

generlization : 推广性，学习器在新的测试数据上的表现

overfitting:过拟合

RSS : residual sum of square

overshoot the minimum ：学习率（步长）过大的时候，可能会出现跳过局部最小值点的情况

SGD Stochastic gradient descent ：随机梯度下降

CV ： cross validation

20180917 - 机器学习与线性回归相关推荐

matlab 多元多项式回归_Python机器学习之?线性回归入门（二）
线性回归原理介绍文章目录机器学习分类线性回归原理线性回归定义线性回归背后矩阵运算机器学习分类机器学习的主要任务便是聚焦于两个问题:分类和回归分类相信大家都不会陌生,生活中会见到很多的应 ...
ML之回归预测：利用十类机器学习算法(线性回归、kNN、SVM、决策树、随机森林、极端随机树、SGD、提升树、LightGBM、XGBoost)对波士顿数据集回归预测(模型评估、推理并导到csv)
ML之回归预测:利用十类机器学习算法(线性回归.kNN.SVM.决策树.随机森林.极端随机树.SGD.提升树.LightGBM.XGBoost)对波士顿数据集[13+1,506]回归预测(模型评估.推 ...
TF之LiR：基于tensorflow实现机器学习之线性回归算法
TF之LiR:基于tensorflow实现机器学习之线性回归算法目录输出结果代码设计输出结果代码设计 # -*- coding: utf-8 -*-#TF之LiR:基于tensorflow实 ...
python 预测算法_通过机器学习的线性回归算法预测股票走势（用Python实现）
本文转自博客园,作者为hsm_computer 原文链接:https://www.cnblogs.com/JavaArchitect/p/11717998.html在笔者的新书里,将通过股票案例讲述P ...
Scikit-Learn 机器学习笔记 -- 线性回归、逻辑回归、softmax回归
Scikit-Learn 机器学习笔记 – 线性回归.逻辑回归.softmax回归参考文档: handson-ml import numpy as np from matplotlib import ...
机器学习多元线性回归_过度简化的机器学习（1）：多元回归
机器学习多元线性回归 The term machine learning may sound provocative. Machines do not learn like humans do. Ho ...
opencv机器学习线性回归_Python机器学习之?线性回归入门（二）
线性回归原理介绍文章目录机器学习分类线性回归原理线性回归定义线性回归背后矩阵运算机器学习分类机器学习的主要任务便是聚焦于两个问题:分类和回归分类相信大家都不会陌生,生活中会见到很多的应 ...
机器学习之线性回归_通过线性回归开始机器学习之旅
机器学习之线性回归线性回归 (Linear Regression) Linear regression is a part of Statistics that defines the relati ...
机器学习(三)线性回归、广义线性回归、非线性回归
机器学习(三)线性回归模型.广义线性回归模型.非线性回归模型线性回归(数据集要满足正态分布) 一元线性回归模型: 在这里会想到,如何确定方程中的系数呢?我们先来了解最小二乘法,简单来说就是这个点作y ...

20180917 - 机器学习与线性回归

20180917 - 机器学习与线性回归相关推荐

最新文章

热门文章