机器学习基础（九）—— iterative optimization

2024-04-20 18:20:57

统计学习的核心步骤：模型、策略、算法。

优化（optimization）是算法的一种，迭代优化（iterative optimization）又是优化的一种。

iterative optimization 的一般框架：

wt+1←wt+ηv

\mathbf w_{t+1}\leftarrow \mathbf w_t+\eta\:\mathbf v

根据梯度的相关理论可知，v\mathbf v（方向）得选择为负梯度方向，w\mathbf w 才会下降得最快，也即（此时关于 EinE_{in} 求导）：

wt+1←wt−η∇Ein(wt)

\mathbf w_{t+1}\leftarrow \mathbf w_t-\eta\:\nabla \mathbf E_{in} (w_t)

采用迭代优化，并与最速下降法结合的算法流程为：

（1）w0\mathbf w_0，并计算此时的梯度 Ein(w0)E_{in}(\mathbf w_0)
（2）进行权值的更新，wt+1←wt−η∇Ein(wt)\mathbf w_{t+1}\leftarrow \mathbf w_t-\eta \nabla E_{in}(\mathbf w_t)
（3）一直不断地更新，直到 ∇Ein(wt)=0\nabla E_{in} (\mathbf w_t)=0，或者达到足够的迭代次数

采用 iterative optimization 优化的模型主要有：

perceptron 感知机算法

wt+1←wt+1η⋅1sgn(wTtxn)≠ynynxnv

w_{t+1}\leftarrow w_t+\underbrace{1}_{\eta}\cdot\underbrace{1_{\text{sgn}(w_t^Tx_n)\neq y_n}y_nx_n}_{v}

感知机算法的 vv（方向）来自于：误分样本的修正（mistake correction）；

Logistic Regression 逻辑斯回归

wt+1←wt−η∇Ein(wt)

\mathbf w_{t+1}\leftarrow \mathbf w_t-\eta\:\nabla E_{in}(\mathbf w_t)

机器学习基础（九）—— iterative optimization相关推荐

机器学习基础（八）——感知机（iterative optimization）
感知机的迭代优化(iterative optimization)求解的更新公式如下: wt+1←wt+1sgn(wTtxn)≠ynynxn w_{t+1}\leftarrow w_t+1_{\text ...
基于Spark的机器学习实践 (九) - 聚类算法
0 相关源码 1 k-平均算法(k-means clustering)概述 1.1 回顾无监督学习 ◆ 分类.回归都属于监督学习 ◆ 无监督学习是不需要用户去指定标签的 ◆ 而我们看到的分类.回归算法 ...
机器学习（九）决策树，随机森林
机器学习(九)决策树,随机森林文章目录机器学习(九)决策树,随机森林一.决策树 1.1 如何理解决策树 1.2 信息论的一些基础 1.3 信息论与决策树的关系 1.3.1 信息增益 1.4 常见 ...
神经网络——机器学习基础
机器学习基础本章会将你对这些问题的直觉固化为解决深度学习问题的可靠的概念框架.我们将把所有这些概念--模型评估.数据预处理.特征工程.解决过拟合--整合为详细的七步工作流程,用来解决任何机器学习任务 ...
机器学习基础与实践（二）----数据转换
------------------------------------本博客所有内容以学习.研究和分享为主,如需转载,请联系本人,标明作者和出处,并且是非商业用途,谢谢!-------------- ...
机器学习基础知识之概率论的Matlab描述概率的图像（一）
机器学习基础知识之概率论的Matlab描述概率的图像(一) (由于有很多的分布,而且还有一维分布以及多维分布,因此,我们一篇博文写下来的话内容量太大,文章太长,因此,我们分三次写完所有的基本的一维以及 ...
机器学习基础-经典算法总结
机器学习基础-经典算法逻辑回归逻辑回归的原理,问题的假设为什么逻辑回归也可称为对数几率回归推导逻辑回归损失函数逻辑回归损失函数求导逻辑回归为什么使用交叉熵作为损失函数 LR是不是凸优化问题 ...
Python深度学习之机器学习基础
Python深度学习之机器学习基础一.前言本文记录弗朗索瓦·肖莱的<Python深度学习>第四章机器学习基础有关笔记. 二.笔记 2.1机器学习的四个分支监督学习序列生成(se ...
机器学习（1）机器学习基础鸢尾花数据集
目录一.机器学习基础理论 1.机器学习过程 2.机器学习分类 3.数据集返回值介绍二.鸢尾花数据集(实战) 1.首先是获取数据集 2.显示数据集信息(可以不要) 三.数据集划分 1.数据集划分AP ...

最新文章

热门文章