持续更新中... ...

0引言
1、基础的概念梳理
- 1.1机器学习的学习模式
- 1.2训练数据与测试数据
- 1.3均方根误差（RMSE）和MSE均方误差
- 1.4泛化能力（generalization）
- 1.5预处理（pre-processed）
2、正文内容
- 2.1、多项式模型的引入
- - 2.1.1内容概要
  - 2.1.2代码推导
- 2.2 概率和贝叶斯
- - 2.2.3频率派VS贝叶斯派
3、习题的总结指导
4、参考文献

0引言

最近开始读模式识别与机器学习¹这本书。本文主要是梳理一下第一章的知识。然后对第一章习题做一下梳理。
写机器学习的书有很多，有李航老师的统计学习方法、周志华老师的机器学习导论（西瓜书）、还有就是今天用的这本模式识别与机器学习（Pattern Recognition and Machine Learning）。机器学习的书大体分为两类。概率派（统计机器学习）和贝叶斯派（概率图模型）：李航老师的统计学习方法更加偏向于频率派，除了第一章的绪论和最后一章的总结，中间主要的内容有感、K、朴、决、逻、支、提、E、隐、条件等10章。而本本主要使用的模式识别与机器学习主要是偏向贝叶斯学派的模型（当然也会介绍频率派的内容），本书书除了第一章的绪论和第二章的分布函数主要的内容有：回（回归）、分（分类）、神（神经网络）、核（核方法）、稀（稀疏核机）、图（图模型）、混（混合模型和EM算法）、近（近似推断）、采（采样方法）、连（连续潜在变量）、顺（顺序数据）、组（组合模型）。下面开始梳理第一章的知识。
最好具备的知识储备：线性代数、高等数学、数理统计、概率论等基础课程
需要的高级编程语言：C、C++、matlab、python、R等其中的一个即可（注：本文涉及的代码均使用R完成）。

1、基础的概念梳理

1.1机器学习的学习模式

根据是否有真值以及真值的多少分为有监督的学习模式、无监督的学习模式、半监督的学习，此外除了这些还有强化学习（反馈学习）的学习模式。是通过不断的改变策略，评估奖惩来选择最优的模式的。
常见的例子：
有监督的学习：回归，分类等有标签或者实际的数据。
无监督的学习：聚类、主成分等
半监督的学习：只有部分数据含有真值，我们的策略一般是，做无监督的模型，有真值的数据作为限制条件。
强化学习：阿尔法狗、深海等算法。

1.2训练数据与测试数据

在机器学习中为了训练一个更加实用的模型，防止过拟合的情况。通常会把数据分为训练数据和测试数据。一般的数据满足一下条件：

训练数据和测试数据互斥。换句话是不能有一条观测值即属于训练数据又属于测试数据。
训练数据和测试数据相互独立。
训练数据和测试数据来自同一分布。

1.3均方根误差（RMSE）和MSE均方误差

RMSE：Root Mean Square Error,均方根误差是观测值与真值偏差的平方和与观测次数m比值的平方根。是用来衡量观测值同真值之间的偏差
MAE Mean Absolute Error ，平均绝对误差是绝对误差的平均值能更好地反映预测值误差的实际情况.
标准差Standard Deviation ，标准差是方差的算数平方根是用来衡量一组数自身的离散程度

1.4泛化能力（generalization）

泛化能力是指训练出的模型对于新的数据集的一种适应的能力。换句话说就是模型的可推广性。

1.5预处理（pre-processed）

在做机器学习的模型中有一个板块叫预处理，也叫特征提取（featuer extraction）。
需要注意的是：做预处理需要同时对训练集和测试集做相同的处理。

2、正文内容

2.1、多项式模型的引入

2.1.1内容概要

多项式模型贯穿了整个第一章，也是第三章中线性基函数回归模型一种特殊形式。本书在（1.1节）中引入了多项式回归模型，并通过示例来说明模式识别的一些主要的概念。

过拟合问题的出现
通过划分数据集合来评估模型
解决过拟合问题的两种方式：
– 使用贝叶斯的方法代替频率派的极大似然估计
好处：参数的有效数量数量会随着数据集的自动调整。
坏处：未知
– 增加惩罚项的正则方法（例如：岭回归）
好处：可以减少过拟合、简化模型形式
坏处：有可能会损失一些重要的信息。例如一般的稀疏主成分会比主成分得到的方差信息要少。
– 寻求更加复杂的非线性方法
好处：往往能够训练出相对于显示模型来说好的很多的精度。
坏处：不易操作，很难得到模型的机理。
在这一节也介绍了模型的形式，参数求解时是通过最小化误差函数的方法进行参数估计。

2.1.2代码推导

这部分附上一些R语言建模的部分代码，供大家学习使用。

# 生成数据
N <- 11  # 生成数据的个数
(x <- seq(0, 1, length.out = N))  # 赋值并输出构造自变量
set.seed(0)  # 为结果的可重复性，添加随机种子
y <- sin(2*pi*x) + rnorm(N, 0, 0.2)  # 构造y并添加噪声
plot(x,y)
# 建立模型
fit2 <- lm(y ~ poly(x, 2))
fit3 <- lm(y ~ poly(x, 3))
fit9 <- lm(y ~ poly(x, 9))
# fit <- lm(y ~ x + I(x^2) + I(x^3))  # 多项式模型也可以用这个命令
pre3 = predict(fit3,data.frame(x = x),interval='confidence',level=0.99)
pre2 = predict(fit2,data.frame(x = x),interval='confidence',level=0.99)
pre9 = predict(fit9,data.frame(x = x),interval='confidence',level=0.99)
# 模型效果
plot(x,y)
lines(x, sin(2*pi*x), col='deepskyblue4', lwd = 4)
lines(x, pre3[,1], col='green', lwd = 3)
lines(x, pre2[,1], col='red', lwd = 3)
lines(x, pre9[,1], col='blue', lwd = 3)

运行结果就不贴了。感兴趣的可以下载安装R自行探索。

2.2 概率和贝叶斯

2.2.3频率派VS贝叶斯派

3、习题的总结指导

4、参考文献

Christopher M. Bishop. Pattern Recognition and Machine Learning. ↩︎

Pattern Recognition and Machine Learning（模式识别与机器学习）第一章导读相关推荐

今天开始学模式识别与机器学习Pattern Recognition and Machine Learning (PRML)，章节1.2，Probability Theory （下）
今天开始学Pattern Recognition and Machine Learning (PRML),章节1.2,Probability Theory (下) 今天把1.2写完,这一节讲了很多重要 ...
今天开始学模式识别与机器学习Pattern Recognition and Machine Learning (PRML)书，章节1.2，Probability Theory （上）
Pattern Recognition and Machine Learning (PRML)书,章节1.2,Probability Theory (上) 这一节是浓缩了整本书关于概率论的精华,突出一 ...
今天开始学模式识别与机器学习Pattern Recognition and Machine Learning 书，章节1.1，多项式曲线拟合(Polynomial Curve Fitting)
转载自:http://blog.csdn.net/xbinworld/article/details/8834155 Pattern Recognition and Machine Learning ...
PRML：Pattern Recognition And Machine Learning 相关资料整理与下载
Pattern Recognition And Machine Learning 相关资料整理与下载前言一.PRML英文原文二.PRML中文翻译版三.PRML勘误与附加评论四.读者整理的笔记 ...
今天开始学Pattern Recognition and Machine Learning (PRML)，章节1.6，Information Theory信息论简介
今天开始学Pattern Recognition and Machine Learning (PRML),章节1.6,Information Theory信息论简介前面有朋友说写的东西太理论了,我想 ...
模式识别与机器学习·第一章——概论
模式识别与机器学习·第一章--概论开篇模式识别模式识别机器学习研究目的发展历史模式识别简史机器学习简史系统方法系统目标假说的获得系统的构成小结开篇这系列博客主要用来回忆 ...
Pattern Recognition And Machine Learning 第一章
目录 1 绪论 1.1 例子:多项式曲线拟合 1.2 概率论(参考) 1.2.1 概率密度(参考) 1.2.2 期望和协方差(参考.参考.参考) 1.2.3 贝叶斯概率(参考.参考) 1.2.4 高斯 ...
Reading papers_6(Pattern Recognition And Machine Learning一书,ing...)
第一章,引论本章是本书的纲领,有着统领全局的味道. 首先通过一个多项式曲线拟合的例子引出了本领域的一些概念,比如线性模型,过拟合,错误函数,模型比较和模型选择,最大似然,正则化,岭回归,权值衰减,验 ...
今天开始学Pattern Recognition and Machine Learning (PRML)，章节5.2-5.3，Neural Networks神经网络训练（BP算法）
这一篇是整个第五章的精华了,会重点介绍一下Neural Networks的训练方法--反向传播算法(backpropagation,BP),这个算法提出到现在近30年时间都没什么变化,可谓极其经典.也 ...
学习笔记-----《Pattern Recognition and Machine Learning》Christopher M. Bishop
Preface 模式识别这个词,以前一直不懂是什么意思,直到今年初,才开始打算读这本广为推荐的书,初步了解到,它的大致意思是从数据中发现特征,规律,属于机器学习的一个分支. 在前言中,阐述了什么是模式 ...

Pattern Recognition and Machine Learning（模式识别与机器学习）第一章导读