机器学习,深度学习相关介绍
最近看了周志华老师的书,主要内容如下,涉及到很多机器学习的知识点:
by [2017.12.29 更新 denny shenzhen 59888745@qq.com]
1.线性模型:
- 线性回归;多元线性回归;广义线性回归;
- 二分类问题,
3.在样本空间找一个超平面,将不同类别的样本分开;
2.决策树:CSL,ID3,C4.5算法
ID3中根据属性值分割数据,之后该特征不会再起作用,这种快速切割的方式会影响算法的准确率.
C4.5还弥补了ID3中不能处理特征属性值连续的问题
CART(Classification and Regression tree)分类回归树是一棵二叉树,采用二元切分法,每次把数据切成两份,分别进入左子树、右子树.
CART:回归任务的决策树.
GB、GBDT、xgboost 的关系
GB:Gradient boosting:机器学习中的学习算法的目标是为了优化或者说最小化loss Function,Gradient boosting的思想是迭代生多个(M个)弱的模型,然后将每个弱模型的预测结果相加
GBDT:Gradient boosting Decision Tree(GBDT),GB算法中最典型的基学习器是决策树,尤其是CART,正如名字的含义,GBDT是GB和DT的结合
xgboost :Xgboost是GB算法的高效实现,xgboost中的基学习器除了可以是CART(gbtree)也可以是线性分类器(gblinear)。
RF:随即森林
策略:分而治之,自根至叶的递归过程;在每一个中间结点寻找一个划分;
信息熵:
信息增益:求特增的信息增益,再用信息增益最大的特征来划分属性;
剪枝方法(训练样本时,有可能造成分支过多,主动去掉一些分支):是决策树对付过拟合的主要手段
3. 神经网络:
神经元模型:
激活函数:sigmoid
多层网络:包含隐含的网络
BP算法:
BP算法:误差逆传播算法:是一个迭代学习算法,在迭代的每一轮中采用广义感知机;基于梯度下降策略;
标准BP算法,累积BP算法;
缓解过拟合的策略:
早停:若训练误差连续n轮的变化小于b,则停止训练;若训练误差降低,验证误差升高,则停止训练;
正则化:在误差目标函数中增加一项描述网络复杂度;
全局最小,局部最小:
神经网络的训练过程可以看作是一个参数寻优的过程;在参数空间中,寻找一组最优参数使得误差最小;
跳出局部最小的常见策略:
不同的初始参数;
随机扰动;
遗传算法;
其他常见神经网络:
RBF劲向基函数:分类任务中出bp之外最常用
ART:‘竞争学习’的代表
SOM自组织特征映射:最常用的聚类方法
etc
最常用的深度学习模型:卷积神经网络CNN
深度学习常用软件包:caffe,matconvnet,torch
3.支持向量机svm
对偶问题:拉格朗日函数
解的稀疏性:
核函数kernel function:的选择成为支持向量机性能的关键;
e不敏感损失函数;
4.贝叶斯分类器
贝叶斯定理
先验概力,后验概力
极大力拟然估算
EM算法:是估算隐变量的利器;
5.集成学习
通过构建并结合多个学习器来完成学习任务。
同质集成:集成中包含同类型学习器
异质集成:个体学习器由不同的学习算法生成
集成学习方法:
序列化方法:adaboost,gradientboost,lpboost
并行化方法:bagging
6.聚类:
将样本数据划分为多个族;
原型据类:kmeans
1.随机选取k个点作为族中心
2.将其他样本点根据与族中心的距离,划分给最近的族;
3.根新各族的均值向量,将其作为族中心;
4.若所有族中心没有发生变化,则停止,否则执行2
密度据类:dbscan
层次据类:agnes
-----------------------------
1.用递归的视角来看决策树,根据特征选择分支条件,不断的生成子树,所有的子数组成了最后的决策树。为了防止过拟合,限制模型的复杂度,通常都会通过剪枝(Pruning)来正则化决策树
例如下面根据回家时间、约会情况
2.熵是随机变量不确定性的度量,不确定性越大,熵值就越大.
3.正则化概述(Regularization):理解为在最小化loss function 的同时,保证模型的复杂度尽可能的低,防止出现过拟合(overfitting)。 它一方面可用于控制模型的复杂度,提高模型的范化能力;另一方面还可以用于约束模型的特性,例如稀疏、平滑特性等
4.机器学习技法-AdaBoost元算法:通过组合多个弱分类器(hypothese),构建一个更强大的分类器(hypothese),从而达到“三个臭皮匠赛过诸葛亮”的效果
5.CART相比AdaBoost的效率会高一些,因为前者是“有条件的切”,后者是完全的“横、竖”。
6.随机森林(RF):通过Bagging的方式将许多个CART组合在一起,不考虑计算代价,通常树越多越好.
7.熵是随机变量不确定性的度量,不确定性越大,熵值就越大。
机器学习性能评估指标
分类: 准确里accuracy, 精确里precison, 召回里recall ROC AUC
回归: 平均绝对误差MAE(Mean Absolute Error)又被称为 l 1 范数损失(l1-norm loss), 平均平方误差 MSE(Mean Squared Error)又被称为 l 2 范数损失(l2-norm loss).
ROC 曲线可以用于评价一个分类器好坏 在逻辑回归里面,我们会设一个阈值,大于这个值的为正类,小于这个值为负类。如果我们减小这个阀值,那么更多的样本会被识别为正类。这会提高正类的识别率,但同时也会使得更多的负类被错误识别为正类。为了形象化这一变化,在此引入 ROC TPR 代表能将正例分对的概率,FPR 代表将负例错分为正例的概率.
AUC:定义为ROC曲线下的面积
------------------------------------------------
优点/场合 |
缺点 |
|
朴素贝叶斯 |
对小规模的数据表现很好,适合多分类任务,适合增量式训练 |
对输入数据的表达形式很敏感 |
决策树 是选择一个属性进行分枝 |
计算量简单,可解释性强,比较适合处理有缺失属性值的样本,能够处理不相关的特征 |
容易过拟合(后续出现了随机森林,减小了过拟合现象); |
logsitc回归 是用最大似然估计来学习的用于分类 |
分类时计算量非常小,速度很快,存储资源低 |
容易欠拟合,一般准确度不太高, 只能处理两分类问题 |
线性回归 用于回归 |
实现简单,计算简单 |
不能拟合非线性数据 |
KNN |
可以用来做分类也可以用来做回归, 准确度高,对数据没有假设 |
计算量大, 需要大量的内存 |
参考大神 陈天奇的blog:http://homes.cs.washington.edu/~tqchen
http://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf
学习资料:
1. 特征工程技术和方法概括总结:http://blog.csdn.net/jasonding1354/article/details/47171115
2. 干货:结合Scikit-learn介绍几种常用的特征选择方法:http://dataunion.org/14072.html
3. 参考资料2的英文原版:http://machinelearningmastery.com/discover-feature-engineering-how-to-engineer-features-and-how-to-get-good-at-it/
4. 机器学习之特征工程:http://www.csuldw.com/2015/10/24/2015-10-24%20feature%20engineering/
5. 特征提取与特征选择: http://lanbing510.info/2014/10/22/Feature-Extraction-Selection.html
6. PCA与LDA:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html
7。http://www.cnblogs.com/wxquare/p/5484636.html ml 学习笔记
8。https://class.coursera.org/ntumltwo-002/lecture
转载于:https://www.cnblogs.com/csj007523/p/8144775.html
机器学习,深度学习相关介绍相关推荐
- 交通运输相关机器学习/深度学习相关资源列表,关于交通运输场景的机器学习/深度学习的资源这里都有
本文素材来源于GitHub,经本人翻译及整理首发于CSDN,仅供技术交流所用,请勿商用.欢迎大家关注我的公众号: gbxiao992 原文地址:https://github.com/zzsza/Awe ...
- 机器学习+深度学习相关课程地址总结
1 吴恩达老师 机器学习课程视频链接:https://www.bilibili.com/video/BV164411b7dx?from=search&seid=8357728122787183 ...
- 交通运输——机器学习/深度学习资源列表
原文地址:https://github.com/zzsza/Awesome-Mobility-Machine-Learning-Contents/blob/master/README.md 交通运输相 ...
- 第1节--深度学习基础介绍-机器学习--课程介绍(上)
本课程为麦子学院彭亮老师讲授的(深度学习基础介绍-机器学习),共28小节. 彭亮在麦子学院还有两门课,一门是Python语言编程基础,另一门是深度学习进阶:算法与应用. 建议三门课的学习顺序为:Pyt ...
- 日本好的机器学习,深度学习相关书籍推荐
日本好的机器学习,深度学习相关书籍推荐 日文书名:ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 中文书名:用Python从0开始深度学习理论与实践 作者: ...
- 第2节--深度学习基础介绍-机器学习--课程介绍(下)
接第1节–深度学习基础介绍-机器学习–课程介绍(上) 4.Demo - 微软实时语音翻译(一个说英语的人,系统模拟说话人的声音实时说出对应的汉语)- Google无人车送盲人去超市购物- Google ...
- 【深度学习】机器学习\深度学习常见相关公开数据集汇总(图像处理相关数据集、自然语言处理相关数据集、语音处理相关数据集)
一.前言 1. 介绍 常来说,深度学习的关键在于实践.从图像处理到语音识别,每一个细分领域都有着独特的细微差别和解决方法. 然而,你可以从哪里获得这些数据呢?现在大家所看到的大部分研究论文都用的是专有 ...
- 重磅推荐!机器学习|深度学习|自然语言处理 书籍/课程/资料/资源大分享!
深度学习是如今最火热的技术之一,但是对于有心入门却不得其法的同学来说,选择适合自己的书籍至关重要. 本着乐于助人.无私奉献的精神,小编特意为大家精选了 10本深度学习相关的书籍.这些书籍中,有些非常注 ...
- 【资源放送】机器学习/深度学习最全公开视频大放送!
文章首发于微信公众号<有三AI> [资源放送]机器学习/深度学习最全公开视频大放送! 该篇小记一下机器学习与深度学习的一些好的基础视频资源. 如果你是刚入门的小白,建议细细阅读一下下面将要 ...
最新文章
- 带你重走 TiDB TPS 提升 1000 倍的性能优化之旅
- Python文件操作学习总结
- 五天带你学完《计算机网络》·第三天·传输层
- Qt 编译错误 LINK2001:无法解析的外部符号 public: virtual struct QMetaObject const thiscall Widget::metaObject
- SpringBoot - 资源国际化
- 初学者关于内存的思考(不断加深不断更新中)
- java 日历类_java常用的类---日历类
- MySQL时区错误导致server time zone value 'Öйú±ê׼ʱ¼ä' 错误
- python ppt_从 Python 中学习 PPT 制作技巧
- 摄像头云台的设计,组装与使用方法
- 基于itil的it运维管理体系
- 专网视频会议直播系统整合部署方案附拓扑图
- Typora_Markdown_图片标题(题注)
- Linux驱动(并发):02---编译乱序、执行乱序(屏障API(bm、rmb、wmb、__iormb、__iowmb))
- ndk 的emac_TMS320C6678 MAC address error出错,请问是不是因为两个核的NDK所使用的EMAC channel 相同造成的呢?...
- iOS 支付宝好友分享
- 未能解析引用的程序集......因为它对不在当前目标框架“.NETFramework,Version=v4.0,Profile=Client”中的 (转)...
- 三菱FX5U系列PLC与威纶触摸屏以太网通信具体步骤
- ArcMAP低版本椭球面积计算公式
- 如何像计算机科学家一样思考
热门文章
- A study on ILC for linear discrete systems with single delay
- java获取局域网内主机,java怎么获取局域网内所有主机ip
- 雪色光晕(计算几何+暴力)
- php构造方法什么时候使用,php:构造方法的说明详解
- 人机交互论文计算机导论,计算机导论第10章人机交互[精].ppt
- Python实现主成分分析(PCA)降维:原理及实例分析
- MYsql隔离级别问题和解决方案,Spring的七大传播机制
- thinkphp-条件判断-范围判断-in
- struts2 action 返回类型分析
- 【Scheme归纳】4 高阶函数