经典分类算法——感知机算法

2024-04-21 13:40:48

文章目录

经典分类算法——感知机算法
- 1 感知机算法思想：错误修正
- 2 感知机算法（原始形式）：形式化表示
- 3 感知机算法（对偶形式）：形式化表示
- 4 感知机算法：随机梯度下降（SGD）
- 5 感知机算法：一种变形
- 6 感知器算法：示例
- 7 感知器算法：拓展——多分类
- 8 感知机算法：小结

经典分类算法——感知机算法

二维分类问题是一个经典的机器学习问题，感知机算法(Perception Approach)是解决该问题的经典算法之一。虽然其本身是一类简单的线性判别算法，但是通过扩展又可以与许多其他算法密切相关。因此感知机算法尽管很少单独使用，但它对于理解其他模型和算法非常有用，是建立知识体系的一个枢纽。

1 感知机算法思想：错误修正

2 感知机算法（原始形式）：形式化表示

当一个点被误分类位于分类超平面错误一侧时，则调整w，b的值，使分类超平面向该误分类点的一侧移动，以减少该误分类点与超平面之间的距离，直至分类超平面越过该误分类点使其被正确分类。

3 感知机算法（对偶形式）：形式化表示

4 感知机算法：随机梯度下降（SGD）

梯度的本意是一个向量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（梯度的方向）变化最快，变化率最大（为该梯度的模）。

在机器学习算法中，有时候需要对原始的模型构建损失函数，然后通过优化算法对损失函数进行优化，以便寻找到最优的参数，使得损失函数的值最小，其中使用较多的就是基于梯度下降的优化算法(Gradient Descent, GD)，而在梯度下降算法中随机梯度下降法(Stochastic Gradient Descent, SGD)应用较为广泛，它采用单个训练样本的损失来近似平均损失，每次只随机抽取一条数据来做梯度下降，接近全局最优，大大减小了计算消耗。

随机梯度下降法的求解过程可以概括如下：

1-随机一个初始值,在多元线性回归中，我们随机一组 ,带入到损失函数中,得到一个初始点。

2-让这个点按照负梯度的方向运动，更新参数

经典分类算法——感知机算法相关推荐

经典分类算法——SVM算法
文章目录经典分类算法--SVM算法 1 SVM算法:背景 2 SVM算法思想 3. Hard-SVM算法 4. Soft-Margin SVM算法 5. Kernel SVM算法 6. SVM小结 ...
感知机算法在鸢尾花数据集上的实践
感知机算法在鸢尾花数据集上的实践 1 问题背景 2 数据集的微处理 3 导数据,并进行简单可视化 4 模型算法的训练部分 1 问题背景感知机作为一个比较经典的处理线性二分类的算法,今天想着实践一下, ...
李航统计学习感知机算法实现
前言李航的<统计学习方法>和西瓜书是入门机器学习进而到深度学习的经典书籍,笔者是数学专业大二在读,在编程方面仍有许多不足之处,在已经看完相关经典书籍后开始编程实践.因为本人愚钝,且不善编 ...
通俗解释优化的线性感知机算法：Pocket PLA
个人网站:红色石头的机器学习之路 CSDN博客:红色石头的专栏知乎:红色石头微博:RedstoneWill的微博 GitHub:RedstoneWill的GitHub 微信公众号:AI有道(ID: ...
一看就懂的感知机算法PLA
个人网站:红色石头的机器学习之路 CSDN博客:红色石头的专栏知乎:红色石头微博:RedstoneWill的微博 GitHub:RedstoneWill的GitHub 微信公众号:AI有道(ID: ...
【附源码】一看就懂的感知机算法PLA
AI有道一个有情怀的公众号本文所有的源代码均放在了我的GitHub上,需要的点击文末「阅读原文」获取.如果对你有用的话,别忘了Fork和Star哦! 什么是感知机「Perceptron」 PLA全 ...
数据结构与算法--经典10大排序算法（动图演示）【建议收藏】
十大经典排序算法总结(动图演示) 算法分类十大常见排序算法可分为两大类: 比较排序算法:通过比较来决定元素的位置,由于时间复杂度不能突破O(nlogn),因此也称为非线性时间比较类排序非比较类型排 ...
经典的K-means聚类算法
原理部分主要来自大牛zouxy09和trnadomeet两个人的博客:后面的代码详细讲解为自己精心编写一.概述非监督学习的一般流程是:先从一组无标签数据中学习特征,然后用学习到的 ...
matlab求感知距离的命令,感知机算法(MATLAB)
感知机算法属于比较简单的分类器算法,但是跟逻辑回归和支持向量机一样属于构建分类超平面. 不同的是感知机采用分错的样本与分类超平面的距离作为损失函数,下面的算法基于随机梯度下降法,采用异步方式达到收敛状 ...

最新文章

热门文章