AI圣经-深度学习-读书笔记（三）-概率与信息论

概率与信息论

1 概率论

概率论使我们能够提出不确定的申明以及在不确定性存在的情况下进行推理，而信息论使我们能够量化概率分布中不确定性的总量。

我们用概率来表示一种信任度，概率直接与事件发生的频率相联系，称为频率派概率。概率涉及到确定性水平，称为贝叶斯概率。

期望：对随机变量的值求平均。

方差：衡量的是当我们对xxx依据它的概率分布进行采样时，随机变量xxx的函数会呈现多大的差异。当方差很小时，f(x)f(x)f(x)的值形成的簇比较接近他们的期望值。

协方差：在某种意义上给出了两个变量线性相关性的强度以及这些变量的尺度。

2 信息论

信息论基本方法是一个不太可能的时间居然发生了，要比一个非常不可能的时间发生能提供更多的信息。

AI圣经-深度学习-读书笔记（三）-概率与信息论相关推荐

AI圣经-深度学习-读书笔记（七）-深度学习中的正则化
深度学习中的正则化 0 简介机器学习中的一个核心问题是设计不仅在训练数据上表现好,而且能在新输入上泛化好的算法.采用显式减少测试误差(可能会增加训练误差)的策略称为正则化. 在深度学习的背景下,大多 ...
AI圣经-深度学习-读书笔记（一）-引言
引言机器学习:AI系统需要具备自己***获取自己获取知识的能力***,即从原始数据中提取模式的能力. 许多人工智能任务都可以通过以下方式解决:先提取一个合适的特征集,然后将这几个特征提供给简单的机器 ...
AI圣经-深度学习-读书笔记（四）-数值计算
数值计算机器学习算法通常需要大量的数值计算,这通常是指通过迭代过程更新解的估计值来解决数学问题的算法,而不是通过解析过程推导出公式来提供正确解的方法.常见的操作包括优化和线性方程组的求解. 对上溢和 ...
深度学习读书笔记之RBM（限制波尔兹曼机）
深度学习读书笔记之RBM 声明: 1)看到其他博客如@zouxy09都有个声明,老衲也抄袭一下这个东西 2)该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的 ...
深度学习读书笔记之AE（自动编码）
深度学习读书笔记之AE 声明: 1)该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的.具体引用的资料请看参考文献.具体的版本声明也参考原文献. 2)本文仅供学术交流,非商用.所以每一部分具体的 ...
吴恩达深度学习——读书笔记
神经网络和深度学习深度学习概述深度学习(Deep Learning)是更复杂的神经网络(Neural Network). 这是一个基本的神经网络模型结构.在训练的过程中,只要有足够的输入x和输出y ...
深度学习读书笔记之RBM
/*************************** * * 转自:http://blog.csdn.net/mytestmy/article/details/9150213 * ******* ...
深度学习实战笔记三：编码器、解码器+mnist+kears
对matplotlib的解释 import matplotlib.pyplot as plt import numpy as np a = [[1,2]] a = np.array(a) c = a[ ...
[1天搞懂深度学习] 读书笔记 lecture I:Introduction of deep learning
- 通常机器学习,目的是,找到一个函数,针对任何输入:语音,图片,文字,都能够自动输出正确的结果. - 而我们可以弄一个函数集合,这个集合针对同一个猫的图片的输入,可能有多种输出,比如猫,狗,猴子等, ...

AI圣经-深度学习-读书笔记（三）-概率与信息论

概率与信息论

1 概率论

2 信息论

AI圣经-深度学习-读书笔记（三）-概率与信息论相关推荐

最新文章

热门文章