文章目录

前言
绪论
第二章、统计判别
- 2.1 作为统计判别问题的模式分类
- - 2.1.1 贝叶斯判别原则
  - 2.1.2 朴素贝叶斯
  - 2.1.3 贝叶斯最小风险判别
- 2.2 正态分布模式的贝叶斯分类器
- 2.3 均值向量和协方差矩阵的参数估计
第三章、判别函数
- 3.1 线性判别函数
- 3.2 广义线性判别函数
- 3.3 分段线性判别函数
- 3.4 模式空间和权空间
- 3.5 Fisher线性判别
- 3.6 感知器算法(Perception Approach)
- 3.7 采用感知器算法的多类模式的分类
- 3.8 可训练的确定性分类器的迭代算法
- - 3.8.1 梯度法
  - 3.8.2 固定增量的逐次调整算法
  - 3.8.3 最小平方误差(LMSE)算法
- 3.9 势函数法 — 一种确定性的非线性分类算法
- - 3.9.1 判别函数的产生
  - 3.9.2 势函数的选择
- 3.10 决策树简介
第四章、特征选择和提取
- 4.1 模式类别可分性的测度
- 4.2 特征选择
- 4.3 离散K-L变换
Machine Learning-Introduction
Statistical Machine Learning
Support Vector Machine
1-非监督学习-聚类
2-非监督学习-降维
3-半监督
4-概率图模型
5-集成学习
6-人工神经网络基础
7-人工神经网络_2

前言

国科大有很多模式识别的课程，其中有人工智能学院的模式识别，以及计算机学院的模式识别与机器学习，而且选课人数都很多，我参加的是计算机学院的模式识别与机器学习的三班课程，授课老师是黄庆明老师、李国荣老师、兰艳艳老师以及苏荔老师。

这门课程涉及极广，包含了模式识别（偏AI）与机器学习（偏传统机器学习与神经网络）。

注：课件请去GitHub自取https://github.com/leonodelee/UCAS_Course_2020

文章中的思维导图请到我上传的文件中下载，链接失效可以私聊我

https://download.csdn.net/download/qq_34767784/14075661

绪论

对课程、老师、教学目标以及内容进行大致介绍

李老师的课件有一个特点，本身PPT内容就不少，但是内容还是放不下，于是PPT里面有许多链接直接跳转到对应的Word文档对公式、例子进行解释；

第二章、统计判别

2.1 作为统计判别问题的模式分类

2.1.1 贝叶斯判别原则

2.1.2 朴素贝叶斯

2.1.3 贝叶斯最小风险判别

2.2 正态分布模式的贝叶斯分类器

2.3 均值向量和协方差矩阵的参数估计

第三章、判别函数

3.1 线性判别函数

3.2 广义线性判别函数

3.3 分段线性判别函数

线性判别函数在进行分类决策时是最简单有效的，但在实际应用中，常常会出现不能用线性判别函数直接进行分类的情况。
采用广义线性判别函数的概念，可以通过增加维数来得到线性判别，但维数的大量增加会使在低维空间里在解析和计算上行得通的方法在高维空间遇到困难，增加计算的复杂性。

引入分段线性判别函数的判别过程，它比一般的线性判别函数的错误率小，但又比非线性判别函数简单。

3.4 模式空间和权空间

3.5 Fisher线性判别

在这里插入图片描述

3.6 感知器算法(Perception Approach)

感知器算法实质上是一种赏罚过程
对正确分类的模式则“赏”，实际上是“不罚”，即权向量不变。
对错误分类的模式则“罚”，使w(k)加上一个正比于xk的分量。
当用全部模式样本训练过一轮以后，只要有一个模式是判别错误的，则需要进行下一轮迭代，即用全部模式样本再训练一次。
如此不断反复直到全部模式样本进行训练都能得到正确的分类结果为止。

只要模式类别是线性可分的，感知器算法就可以在有限的迭代步数里求出权向量。

3.7 采用感知器算法的多类模式的分类

初始值选择很重要

3.8 可训练的确定性分类器的迭代算法

3.8.1 梯度法

类似于感知器算法

3.8.2 固定增量的逐次调整算法

3.8.3 最小平方误差(LMSE)算法

3.9 势函数法 — 一种确定性的非线性分类算法

用势函数的概念来确定判别函数和划分类别界面。
基本思想
假设要划分属于两种类别ω1和ω2的模式样本，这些样本可看成是分布在n维模式空间中的点xk。
把属于ω1的点比拟为某种能源点，在点上，电位达到峰值。
随着与该点距离的增大，电位分布迅速减小，即把样本xk附近空间x点上的电位分布，看成是一个势函数K(x, xk)。
对于属于ω1的样本集群，其附近空间会形成一个“高地”，这些样本点所处的位置就是“山头”。
同理，用电位的几何分布来看待属于ω2的模式样本，在其附近空间就形成“凹地”。
只要在两类电位分布之间选择合适的等高线，就可以认为是模式分类的判别函数。

3.9.1 判别函数的产生

3.9.2 势函数的选择

3.10 决策树简介

决策树，或称多级分类器，是模式识别中进行分类的一种有效方法，对于多类或多峰分布问题，这种方法尤为方便。

第四章、特征选择和提取

4.1 模式类别可分性的测度

4.2 特征选择

对于独立特征的选择准则
类别可分性准则应具有这样的特点，即不同类别模式特征的均值向量之间的距离应最大，而属于同一类的模式特征，其方差之和应最小。
假设各原始特征测量值是统计独立的，此时，只需对训练样本的n个测量值独立地进行分析，从中选出m个最好的作为分类特征即可。

4.3 离散K-L变换

全称：Karhunen-Loeve变换（卡洛南-洛伊变换）
K-L变换就是一种适用于任意概率密度函数的正交变换。

Machine Learning-Introduction

Statistical Machine Learning

Support Vector Machine

内容较多，对SVM体系进行了深入学习，包括硬边界、软边界。核函数；包含大量公式及其推导

1-非监督学习-聚类

2-非监督学习-降维

3-半监督

4-概率图模型

5-集成学习

6-人工神经网络基础

7-人工神经网络_2

国科大模式识别与机器学习课程整理相关推荐

2021国科大模式识别与机器学习期末考试试题
2021国科大模式识别与机器学习期末考试试题任课教师:黄庆明等
高级人工智能（国科大2021-2022秋季学期课程）-基础概念及算法
高级人工智能-沈华伟-国科大2021-2022秋季学期课程连接主义(神经网络.深度学习) 搜索问题启发式算法贪婪最佳优先搜索 A*搜索 A*树搜索 A*图搜索传教士和野人问题归结原理中的应用 ...
自然语言处理（国科大2021-2022秋季学期课程）-基础概念及算法
自然语言处理-刘洋-国科大2021-2022秋季学期课程数学基础拉格朗日乘子法熵.相对熵.交叉熵隐马尔科夫模型马尔科夫模型前向.后向算法:观测状态序列概率计算前向概率后向概率 Vite ...
国科大教务选课系统课程余量监测python3脚本
国科大教务选课系统课程余量监测python脚本初衷: 果壳同学都知道,在国科大选课,很多课还没找到就被抢光了.所以,有一个想法,可以写一个python自动选课的脚本,到了时间自动秒选课程.可是,谁能 ...
【国科大模式识别】第二次作业（阉割版）
[题目一]最大似然估计也可以用来估计先验概率.假设样本是连续独立地从自然状态 ω i \omega_i ωi 中抽取的, 每一个自然状态的概率为 P ( ω i ) P\left(\omega_i\ ...
模式识别与机器学习课程笔记——决策树和贝叶斯估计
文章目录前言 1 eager learner 1.1 Desicion Trees 1.1.1 第一个决策树:ID3算法 1.1.1.2 熵 1.1.1.3 ID3实现举例 1.1.1.4 剪枝问题 ...
国科大高级AI考试证明题整理
系列文章目录提示:国科大其他课程资料整理国科大高级AI--强化学习(格子问题) 国科大高级AI--博弈论以及相关考题国科大高级AI--一阶谓词逻辑国科大高级AI--证明题历年考题国科大高级A ...
模式识别与机器学习·第一章——概论
模式识别与机器学习·第一章--概论开篇模式识别模式识别机器学习研究目的发展历史模式识别简史机器学习简史系统方法系统目标假说的获得系统的构成小结开篇这系列博客主要用来回忆 ...
国科大学习资料--模式识别与机器学习（黄庆明）--2019期末考试题（含答案）
国科大学习资料–模式识别与机器学习(黄庆明)–2019期末考试题(含答案) 国科大学习资料–模式识别与机器学习(黄庆明)–2019期末考试题(含答案) 国科大学习资料–模式识别与机器学习(黄庆明)–2 ...
国科大学习资料--模式识别与机器学习（黄庆明）--期末复习题3（含答案）
国科大学习资料–模式识别与机器学习(黄庆明)–期末复习题3(含答案) 国科大学习资料–模式识别与机器学习(黄庆明)–期末复习题3(含答案) 国科大学习资料–模式识别与机器学习(黄庆明)–期末复习题3( ...

国科大模式识别与机器学习课程整理