线性分类器(Linear Classifier)
线性分类器
如上图所示,这是二维空间中的一个数据集,如果他正好能够被一条直线分成两类,那么我们称它为线性可分数据集,这条直线就是一个线性分类器。
在三维空间中,如果数据集线性可分,是指能够被一个平面分为两类。
在一维空间中,所有的点都在一条直线上,如果线性可分。可以理解为它们能够被一个点分开。
这里的直线、平面、点被分为决策边界。
一个 m 维空间中的数据集,如果能够被一个超平面一分为二,那么这个数据集就是线性可分的,这个超平面就是决策边界。
例如,这是二维平面上的一条直线,
它可以把平面切分成两部分,也就是说将这个平面中的点分成了两类。
下图为这个分类器的表达式:
其中,z 代表线性组合,2x1 - x2 - 2,step是阶跃函数,当 z 大于 0 时,分类器的输出为1,当 z 小于 0 时,分类器的输出为0。
我们随机选取几个点,下图为这些点在图中的位置。
y是分类结果
这里的step函数还可以使用Sigmoid的函数来代替,可以发现这就是逻辑回归。
逻辑回归其实就是构造一个线性分类器。实现对线性可分数据集的划分,其中的线性模型就是决策边界。
从这个例子中,也可以看出来这个偏置项 b 的意义。如果没有这个 b ,那么所有的分类器都要经过原点。显然模型就丧失了一般性。
线性不可分
除了线性可分问题,还有线性不可分问题。如下图所示,
上图中的这个数据集中的两类样本点,就无法通过一条直线完全区分开。它需要两条直线才能分开。
下图中的这个数据集中的样本,
也无法通过一条直线区分开,它需要一条曲线分开。这些都是非线性可分的数据。
逻辑运算
在逻辑运算中,与或非运算都是线性可分的,而异或运算是非线性可分的。
与运算
在逻辑与运算中,只有当x1和x2都是1时,结果才为1,否则结果为0。
这四个点可以被分为两类,绿色的被分类为0,红色的点被分类为1,显然可以被一条直线分成两类,这根直线的参数可以通过训练得到,并且一定收敛,此外,可以看出这根直线并不是唯一的,这些直线也都可以区分这两类点,它们都可以作为与运算的分类器。
或运算
这四个点也可以被分为两类,绿色的被分类为0,红色的点被分类为1。
非运算
逻辑非的输入只有1个自变量,
是一维的,它也是线性可分的。
异或运算
异或是指两个操作数相同,结果为0。而两个操作数不同,则结果不同。
显然,它不是线性可分的。
线性分类器(Linear Classifier)相关推荐
- 使用线性分类器探针理解中间层—Understanding intermediate layers using linear classifier probes
摘要 神经网络模型被认为是黑匣子.我们提出监控模型每一层的特征,并衡量它们是否适合分类.我们使用线性分类器,我们称之为"探针",完全独立于模型本身进行训练. 这有助于我们更好地理解 ...
- 【机器学习】线性(linear)与非线性(nonlinear)分类器区别
背景 在机器学习中,主要解决分类任务或回归任务,在这两者中,分类任务更为常见. 分类任务又分为线性(linear)分类和非线性(nonlinear)分类,本文主要介绍线性分类和非线性分类的区别. 区别 ...
- 一个自带简易数据集的模拟线性分类器matlab代码——实验训练
一个自带简易数据集的模拟线性分类器matlab代码--实验训练 %%%% Tutorial on the basic structure of using a planar decision boun ...
- elm分类器功能_一文带你读懂线性分类器
本文为 AI 研习社编译的技术博客,原标题 : Linear Classifier 作者 | Thomas Pernet 翻译 | 邓普斯•杰弗.涂世文.Disillusion 校对 | 邓普斯•杰弗 ...
- SVM中的线性分类器
线性分类器: 首先给出一个非常非常简单的分类问题(线性可分),我们要用一条直线,将下图中黑色的点和白色的点分开,很显然,图上的这条直线就是我们要求的直线之一(可以有无数条这样的直线) 假如说, ...
- 多类线性分类器算法原理及代码实现 MATLAB
多类线性分类器算法原理及代码实现 MATLAB 一.算法原理 下面举例说明为何蓝圈部分在case2中是确定的而在case1中不确定: 二.代码实现 1.HK函数 function [] = HK(w1 ...
- 2. SVM线性分类器
在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念.用一个二维空间里仅有两类样本的分类问题来举个小例子.如图所示 和是要区分的两个类别,在二维平面中它们的样本如上图所示.中间的直 ...
- 【人工智能】Fisher 线性分类器的设计与实现(QDU)
[人工智能]Astar算法求解8数码问题(QDU) [人工智能]利用α-β搜索的博弈树算法编写一字棋游戏(QDU) [人工智能]Fisher 线性分类器的设计与实现(QDU) [人工智能]感知器算法的 ...
- 机器学习实战(1)——线性分类器+Logistic回归解决良/恶性乳腺癌肿瘤预测问题
本文参考书<Python机器学习及实践>(范淼 李超 编著) 理论分析 线性分类器 Logistic回归 随机梯度上升 略 数据分析 代码分析 导入数据 数据包文件名为breast-can ...
- CS231n 学习笔记(2)——神经网络 part2 :线性分类器,SVM
*此系列为斯坦福李飞飞团队的系列公开课"cs231n convolutional neural network for visual recognition "的学习笔记.本文主要 ...
最新文章
- Linux系统的存储管理
- 敏捷 - #9 原则:持续关注卓越的技术和良好的设计 ( #9 Agile - Principle)
- python学好了可以做什么菜_你是怎么学好Python的?
- NLP学习难在哪里?这份最全NLP学习路线图帮你解决难题!
- 非越狱iPad实现外接键盘全APP五笔输入(IOS14已自带五笔)
- Git下载安装及基本配置
- 这 10 本书,提升你的财富思维,今天免费送!
- basler相机参数简要中文说明_Basler相机全部型号参数及特点
- 网页内容变化实时监控提醒(多个复杂的监控条件)
- stm32学习(一)STM32简单介绍(初步了解单片机与STM32)
- 软硬一体的算法实践,阿里云如何以算法实现场景 “再创新”?
- vs2019豆沙绿背景色及consolas字体设置
- 出售时间的网站(跟王利芬创建的优米网其中一种模式一样)
- 啥是甘特图?用思维导图制作甘特图的方法
- Yuuki and a problem (树套树)
- 雷达的发展历史及性能指标
- Landmark Guidance Independent Spatio-channel Attention and Complementary ContextInformationbased FER
- NXP-MPC5748G车载MCU使用(食用)方法(踩坑)实用指南(骗人教程)(一):创建工程与导入
- android Check the JVM arguments defined for the gradle process in:
- 【单片机基础】ADC0832详解
热门文章
- 用友u8怎么导出凭证_老师,用友U8里的凭证如何导出(导出有借贷方向的)?...
- Word编辑公式的快捷键与命令
- SAM2195和SAM2695 和SAM5704硬音源设备在三四十年前MIDI技术刚刚起步之时
- 航天金税502设置模拟环境步骤
- 咪咕音乐HTML代码,python3爬取咪咕音乐榜信息(附源代码)
- floppy计算机专业术语,计算机专业术语解释
- 罗克露计算机组成原理书籍,计算机组成原理
- Ubuntu编译MT7628的固件(openwrt)
- python基础:sys模块
- matlab-FCM模糊聚类