《统计学习方法》第一章总结
统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。
统计学习的对象是数据。目的是对数据进行预测和分析。
统计学习关于数据的基本假设是同类数据具有一定的统计规律性，这是统计学习的前提。同类数据是指具有某种共性的数据。eg:浏览器中的网页，英语文章等
统计学习分为：监督学习 非监督学习 半监督学习 强化学习
监督学习与非监督学习的区别在于是否有用于学习的训练数据。即 监督学习是要先学习训练集，然后再测试，而非监督学习没有训练数据。
监督学习：从给定的，有限的，用于学习的训练数据（trainingdata）集合出发，假设数据独立同分布；并且假设要学习的模型属于某个函数的集合，称为假设空间（hypothesisspace），应用于某个评价准则（evaluationcriterion），从假设空间中选择一个最优的模型使得它対已知训练数据以及未知测试数据在给定的评价标准下有最优的预测；最优模型的选取由算法实现。因此监督学习分为两个过程，首先要学习，然后得出一个模型，第二个过程是预测，用得出的模型进行预测。
统计学习的方法——监督学习
训练数据由输入和输出对组成：
输入x和输出y，可以是连续的，也可以是离散的。
输入变量 输出变量均连续 ——回归问题
输出变量为有限个离散变量的预测问题——–分类问题
输入变量输出变量均为变量序列 ———标注问题
监督学习的方法又可以分为生成方法和判别方法，所学到的模型分布称为生成模型和判别模型。 生成模型是先学习联合概率分布然后再学习条件概率分布，注重输入x和输出y之间的关系，而判别模型是直接学习决策函数或者是条件概率分布，注重的是输入x输出的是怎样的y。
统计学习方法的三要素：模型 策略 和 算法 。
模型：所要学习的条件概率分布或决策函数，其假设空间包含所有可能的条件概率分布或决策函数。
策略：按照什么样的准则学习或选择最优的模型，如损失函数和风险函数。
算法：求解最优模型的具体计算方法。
非概率模型和概率模型是不同的描述，书中经常会出现这两中说法
统计学习三要素——策略
损失函数或代价函数用以度量预测错误的程度。损失函数式f(X)和y的非负实值函数，记作L(Y,f(X))。
风险函数或期望损失的定义是损失函数的期望。
经验风险最小化：在假设空间、损失函数以及训练数据集确定的情况下，
经验风险函数就可以确定。经验风险最小的模型就是最优的模型。（F是假设空间。）
结构风险最小化是为了防止过拟合而提出来的策略。结构风险在经验风险上加上表示模型复杂度的正则化项或罚项。
因此我们十分注重对模型的选择，模型选择分为两种方法：正则化和交叉验证
正则化：结构风险最小化策略的实现，是在经验风险上加一个正则化项，正则化项一般都是模型复杂度的单调递增函数；模型越复杂，正则化值就越大。
交叉验证：在样本数目不够的情况下，可以将给定的数据切分，将切分的数据组合为训练集和测试集，在此基础上反复训练，测试以及模型选择。
这本书主要讲了感知机、k邻近法、决策树、朴素贝叶斯法、逻辑斯蒂回归与最大熵模型、支持向量机、提升方法、EM算法、隐马尔可夫模型、条件随机场。
《统计学习方法》第一章总结相关推荐
- 全面剖析《自己动手写操作系统》第四章---加载Loader.bin
全面剖析<自己动手写操作系统>第四章--FAT12文件系统 http://blog.csdn.net/zgh1988/article/details/7284834 1.突破512字 ...
- 《自己动手写操作系统》读书笔记——初识保护模式
<自己动手写操作系统>读书笔记--初识保护模式 http://www.cnblogs.com/pang123hui/archive/2010/11/27/2309930.html 书本第三 ...
- 自己动手写操作系统--个人实践
近期開始看于渊的<自己动手写操作系统>这本书,刚開始看就发现做系统的引导盘居然是软盘!心里那个汗啊! 如今都是U盘了,谁还用软盘.于是考虑用U盘. 于是開始下面步骤: 1.既然书上说给先要 ...
- 操作系统第一章课后题
操作系统第一章课后题 1. 设计现代OS的主要目标是什么? 答:方便性,有效性,可扩充性和开放性 2. OS的作用可表现在哪几个方面? 答:(1) OS作为用户与计算机硬件系统之间的接口.(2) OS ...
- 自己动手写操作系统之环境构建篇
自己动手写操作系统之环境构建篇 最近开始看自己动手写操作系统,但是书中采用软盘启动很是郁闷,于是想是否可以从优盘启动呢?作为一名BIOS工程师,曾经用优盘启动过dos,linux等系统,于是做了如下尝 ...
- 「操作系统」《自己动手写操作系统》1.1前期准备工作
一.软硬件 1.硬件 一台计算机(笔者使用的是Win7 x64操作系统) 2.软件 点击此处下载<自己动手写操作系统>的光盘配套文件以及相应工具 汇编编译器:NASM(资源文件中有) 软盘 ...
- 自己动手写java虚拟机_自己动手写操作系统（要了解的知识点）
自己动手写操作系统(开篇) 自己动手写操作系统(字符显示) 说明:Intel 8086 或者不同的处理器,开机寄存器数据可能不一样,但是大致原理差不多 了解过计算机启动的同学肯定知道,当计算机启动的时 ...
- 自己动手写操作系统0
文章目录 自己动手写操作系统0 环境搭建 NASM VirtualBox 添加软盘启动 VMware 开启虚拟机 其他软件 Floppy 自己动手写操作系统0 参考余渊老师写的<自己动手写操作系 ...
- 王道-操作系统-第一章
王道-操作系统-第一章 1.概念.功能.目标 熟悉的操作系统 windows/linux/macos/ios/Android 1.1 概念 层次结构 定义 1.2 功能和目标 作为系统资源的管理者 进 ...
- 自己动手写操作系统——（1）将引导写入U盘
为什么写博客呢,想了一下,首先是为了给自己留着复习用,因为时间一长,肯定有好多东西会忘记的,在这里留个记录,以后再整理起来就不会太麻烦了:再者是为了分享一下经验,由于在下比较愚笨,说不定在哪个方面就理 ...
最新文章
- 国内哪里培训python比较好-现在哪家培训机构培训python比较靠谱？
- [jQuery]JQuery一个对象可以同时绑定多个事件，这是如何实现的？
- 动态风云--互联网感言（三）
- POJ 2718 Smallest Difference(dfs，剪枝)
- 盐城计算机考试时间安排,2019盐城中考具体时间安排 什么时候考试
- DAY16-Django之model
- SoapUI 入门指南
- 数字图像处理应用领域
- E大调第一个指型_初学吉他大调与对应小调的知识，看完这个就懂了
- 清北学堂 2017-10-05
- Win10中实时网速显示
- 全国计算机等级考试三级网络技术选择题考点
- 凭本事当的组长，凭什么工资还没手下高？
- iOS--AFN实现原理
- 【LOJ6436】【PKUSC2018】神仙的游戏（NTT）
- c语言的标志数组图的遍历,天津商业大学-计算机科学与技术专业-高职升本-课件5...
- 有什么专业的音乐制作与剪辑软件?专业音乐制作人都在用!
- 实时渲染：Tone Mapping 色调映射
- Pytorch使用--学习记录
- 超融合、软件定义存储（SDS）、分布式存储以及Server SAN的区别与联系