Ian Goodfellow《Deep Learning》读书笔记
Ian Goodfellow《Deep Learning》读书笔记
感觉大学快毕业了才开始做一些有用的事情,就当是个小学生吧,由于毕业设计和复试的需要,开始着手一些人工智能方面的内容,毕业设计课题选择了“基于深度学习框架下近距离环境下的面部表情识别系统研究与实现”这样一个课题,有很多东西都得去重新学一下,确实我们学校基本上计算机类的软件硬件课给你上了个遍,但是具体上了多少上成了什么样子就真的是仁者见仁智者见智了,关于我的毕设我打算有机会另外再写,当下主要还是希望把Ian Fellow的花书能够差不多控制在两个月左右啃完,因为还涉及到复试用到的问题,之前也没写过读书笔记,但是考研期间发现想要成为大佬当然是要写读书笔记的了,虽然说是老年人口了,但是现在加把劲勉强还来得及,下面一段时间我就会开始更新我的读书笔记了,主要内容其实也是参考了知乎大佬,给大家推荐一下,**川陀学者,**他的笔记做得真的非常到位,当然啦我的笔记水平肯定是远远不够的,虽然是公开的,但还是请无意间看到的大佬也嘴下留情,小弟确实是菜,也希望随着不断深入的学习,我的笔记能越写越好,能力也能得到提升,如果能帮助到有需要的人,那就再好不过了。
第1章 引言
1. 朴素贝叶斯
其实机器学习离不开的一个学习算法就是朴素贝叶斯(naive Bayes),关于朴素贝叶斯,百度出来的解释是朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法 。
最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型(Naive Bayesian Model,NBM)。和决策树模型相比,朴素贝叶斯分类器(Naive Bayes Classifier 或 NBC)发源于古典数学理论,有着坚实的数学基础,以及稳定的分类效率。同时,NBC模型所需估计的参数很少,对缺失数据不太敏感,算法也比较简单。理论上,NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此,这是因为NBC模型假设属性之间相互独立,这个假设在实际应用中往往是不成立的,这给NBC模型的正确分类带来了一定影响。
下面分享一篇博客,这里面说的挺详细的,朴素贝叶斯,其实就是一种预测建模的方法。
https://blog.csdn.net/qiu_zhi_liao/article/details/90671932
2. 深度学习与浅层学习
其实这个概念也很好理解,好比在学校上学,深度学习是需要通过你的学习去举一反三的一种学习方式,而浅层学习是需要背诵默写的学习方式,两者的应用层面不同,深度学习用于面部识别等领域,浅层学习则是印刷品识别等领域。
深度学习——用深度学习网络来解决机器学习问题
3.深度学习
深度学习既是一种表示学习,也是一种机器学习。
深度学习网络由若干个隐含层构成,隐含层越多,能力越强。
第一部分 应用数学与机器学习基础
第2章 线性代数
1、张量
这一部分基础知识主要还是大学教材中的基本内容,标量(scalar)、向量(vector)、矩阵(matrix)、张量(tensor),不熟悉的概念主要是tensor这方面,他是指多维的向量组,下面这篇博客很清楚的介绍了张量的概念。
https://blog.csdn.net/qq_31821675/article/details/79188449
2、主成分分析——线性降维
第3章 概率论与信息论
上帝也是掷骰子的,很多因素会造成我们系统的不确定性,在数学模型中,主要因素有三点:
1、我们需要模拟的系统本身具有不确定性;
2、观测的不确定性;
3、模型的不确定性。
概率密度函数
针对连续型随机变量
概率分布函数
针对离散型随机变量
信息论的基本思想
一个不太可能的事件居然发生了,要比一个非常可能的事件发生,能提供更多的信息。
第4章 数值计算(数值分析)
基于梯度的优化算法
人类的思维有三种思维,数学思维,物理思维,马思唯 ,计算思维。
优化是指改变x以最小化或最大化某个函数f(x)的任务,通常以最小化f(x)来指代大多数最优化问题,
我们把最小化或最大化的函数称为目标函数(objective function)或准则(criterion)。当我们对其最小化时,也把它称为代价函数(cost function)、损失函数(loss function)或误差函数(error function)。
临界点既不是最小点也不是最大点的点称为鞍点(saddle point)
Hessian的特征值决定了学习率的量级。
仅使用梯度信息的优化算法称为一阶优化算法,如梯度下降。使用Hessian矩阵的优化算法称为二阶最优化算法,如牛顿法。
第5章 机器学习基础
机器学习库
深度学习库
机器学习四个类别
分类、回归、聚类、降维
训练数据的拟合
正则化(regularization)是指修改学习算法,使其降低泛化误差而非训练误差。
均值的高斯分布估计:高斯均值参数的常用估计量被称为样本均值(sample mean)
贝叶斯估计
相对于极大似然估计,贝叶斯估计有两个重要区别,第一,不想最大似然方法预测时使用θ的点估计,贝叶斯方法使用θ的全分布;第二,是由贝叶斯先验分布造成的,先验能够影响概率质量密度朝参数空间中偏好先验的区域偏移。
当训练数据很有限时,贝叶斯方法通常泛化的很好,但是当样本数目很大时,通常会有很大的代价。
Ian Goodfellow《Deep Learning》读书笔记相关推荐
- Neural Networks and Deep Learning 读书笔记
1 转载于:https://www.cnblogs.com/jellyj/p/9867103.html
- Deep Learning读书笔记4---深度模型中的优化
1. 最小化经验风险 利用训练集上的经验分布,p^(x,y)\hat{p}(x,y)替代真实分布p(x,y)p(x,y). 现在,我们将最小化经验风险: 其中mm表示训练样本的数目. 2.小批量算法 ...
- Neural Networks and Deep Learning读书笔记--神经网络应用:手写数字识别
神经网络应用于MNIST数据手写数字识别 加载MNIST数据,用下面所描述的一小段辅助程序mnist_loader.py来完成.用于存储MNIST数据的数据结构在文档字符串中进行了描述-它是简单的内容 ...
- Deep Learning读书笔记2---深度前馈网络
1.基本概念 1.1隐藏层: 神经网络中输入与输出层之间的中间层,训练数据并没有给出这些层中的每一层所需的输出,所以叫隐藏层. 1.2模型的宽度: 网络中的每个隐藏层通常都是向量值的.这些隐藏层的维数 ...
- Deep Learning读书笔记3---深度学习中的正则化
1.概念 正则化定义为"对学习算法的修改--旨在减少泛化误差而不是训练误差". 目前有许多正则化策略. 有些策略向机器学习模型添加限制参数值的额外约束. 有些策略向目标函数增加额外 ...
- 笔记 | 吴恩达Coursera Deep Learning学习笔记
向AI转型的程序员都关注了这个号☝☝☝ 作者:Lisa Song 微软总部云智能高级数据科学家,现居西雅图.具有多年机器学习和深度学习的应用经验,熟悉各种业务场景下机器学习和人工智能产品的需求分析.架 ...
- Deep Learning论文笔记之(八)Deep Learning最新综述
Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完 ...
- Deep Learning论文笔记之(七)深度网络高层特征可视化
Deep Learning论文笔记之(七)深度网络高层特征可视化 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感 ...
- Deep Learning论文笔记之(六)Multi-Stage多级架构分析
Deep Learning论文笔记之(六)Multi-Stage多级架构分析 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些 ...
- Deep Learning论文笔记之(五)CNN卷积神经网络代码理解
Deep Learning论文笔记之(五)CNN卷积神经网络代码理解 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但 ...
最新文章
- c# 关闭软件 进程 杀死进程
- java编写代码时易出错_归纳:编写Java程序最容易犯的21种错误
- mysql二: 常用命令
- Qt基于文本协议的网络应用开发
- 【Canal】互联网背景下有哪些数据同步需求和解决方案?看完我知道了!!
- .Net Core with 微服务 - 使用 AgileDT 快速实现基于可靠消息的分布式事务
- python3的面向对象_python3学习之面向对象
- 2021-2025年中国一次性透析装置行业市场供需与战略研究报告
- 【医疗影像处理】使用GMM分割3D T1得到wm/gm/csf/background
- zk监控集群几点变化 给管理员发邮件
- SwitchHosts
- 【卫星】卫星通信基本概念与知识
- DBSCAN聚类算法实用案例
- 制定科学学习计划的重要性
- SwiftUI Xcode教程之在 iOS 中使用Schemes 和 .xcconfig 文件来组织构建交付
- Windows Server 2012 VDI 部署的前提条件
- hadoop编程:分析CSDN注册邮箱分布情况
- Nodejs运行错误小结
- C#中无法将文件“obj\x86\Debug\xxx.exe”复制到“bin\Debug\xxx.exe”。文件“bin\Debug\xxx.exe”正由另一进程使用,因此该进程无法访问此文件.
- 谁导演了这场玫瑰花的葬礼