水很深的深度学习-Task01深度学习概述与数学基础
目录
1.人工智能、机器学习与深度学习
1.1 人工智能、机器学习与深度学习
1.2 起源与发展
1.3 深度学习定义与分类
1.4 主要应用
2 数学基础
2.1 矩阵论
2.2 概率统计
2.3 信息论
2.4 最优化估计
3 总结
1 人工智能与机器学习
- 人工智能分类:强人工智能、弱人工智能、超级人工智能
- 机器学习分类:有监督学习、无监督学习、强化学习
人工智能,机器学习和深度学习的关系如下图所示:
1.2 起源与发展
- 第1阶段:提出MP神经元模型、感知器、ADLINE神经网络,并指出感知器只能解决简单的线性分类任务,无法解决XOR简单分类问题
- 第2阶段:提出Hopfiled神经网络、误差反向传播算法、CNN
- 第3阶段:提出深度学习概念,在语音识别、图像识别的应用
1.3 深度学习定义与分类
- 定义:采用多层网络结构对未知数据进行分类或回归
- 分类:
- 有监督学习:深度前馈网络、卷积神经网络、循环神经网络等
- 无监督学习:深度信念网、深度玻尔兹曼机、深度自编码器等
1.4 主要应用
- 图像处理领域:图像分类、物体检测、图像分割、图像回归
- 语音识别领域:语音识别、声纹识别、语音合成
- 自然语音处理领域:语言模型、情感分析、神经机器翻译、神经自动摘要、机器阅读理解、自然语言推理
- 综合应用:图像描述、可视回答、图像生成、视频生成
2 深度学习数学基础
主要涵盖四个部分:矩阵论,概率统计,信息论,和最优化估计。
2.1 矩阵论
- 张量:标量是0阶张量,矢量是1阶张量,矩阵是2阶张量,三维及以上数组称为张量
- 矩阵的秩(Rank):矩阵向量中的极大线性无关组的数目
- 矩阵的逆:
- 奇异矩阵:rank(A_{n×n})<nrank(An×n)<n
- 非奇异矩阵:rank(A_{n×n})=nrank(An×n)=n
- 广义逆矩阵:如果存在矩阵BB使得ABA=AABA=A,则称BB为AA的广义逆矩阵
- 矩阵分解:
- 特征分解:A = U\Sigma U^{T}A=UΣUT
- 奇异值分解:A = U \Sigma V^{T}A=UΣVT、U^T U = V^T V = IUTU=VTV=I
2.2 概率统计
随机变量:
- 分类:离散随机变量、连续随机变量
- 概念:用概率分布来指定它的每个状态的可能性
常见的随机变量的概率分布如下:
离散型随机变量
连续型随机变量
多个变量时,概率分布会有不同
条件概率
联合概率
先验概率
后验概率
全概率公式
贝叶斯公式
常用统计量为
方差
协方差
2.3 信息论
熵:样本集纯度指标,或样本集报班的平均信息量
H(X) = - \sum_{i = 1}^n P(x_i) \log_2 P(x_i)H(X)=−i=1∑nP(xi)log2P(xi)
联合熵:度量二维随机变量XYXY的不确定性
H(X, Y) = -\sum_{i = 1}^n \sum_{j = 1}^n P(x_i, y_j) \log_2 P(x_i, y_j)H(X,Y)=−i=1∑nj=1∑nP(xi,yj)log2P(xi,yj)
条件熵:
\begin{aligned} H(Y|X) &= \sum_{i = 1}^n P(x_i) H(Y|X = x_i) \\ &= -\sum_{i = 1}^n P(x_i) \sum_{j = 1}^n P(y_j | x_i) \log_2 P(y_j | x_i) \\ &= -\sum_{i = 1}^n \sum_{j = 1}^n P(x_i, y_j) \log_2 P(y_j | x_i) \end{aligned}H(Y∣X)=i=1∑nP(xi)H(Y∣X=xi)=−i=1∑nP(xi)j=1∑nP(yj∣xi)log2P(yj∣xi)=−i=1∑nj=1∑nP(xi,yj)log2P(yj∣xi)
互信息:
I(X;Y) = H(X)+H(Y)-H(X,Y)I(X;Y)=H(X)+H(Y)−H(X,Y)
相对熵:又称KL散度,描述两个概率分布PP和QQ差异,用概率分布QQ拟合真实分布PP时,产生的信息表达损耗
- 离散形式:\displaystyle D(P||Q) = \sum P(x)\log \frac{P(x)}{Q(x)}D(P∣∣Q)=∑P(x)logQ(x)P(x)
- 连续形式:\displaystyle D(P||Q) = \int P(x)\log \frac{P(x)}{Q(x)}D(P∣∣Q)=∫P(x)logQ(x)P(x)
交叉熵:目标与预测值之间的差距
\begin{aligned} D(P||Q) &= \sum P(x)\log \frac{P(x)}{Q(x)} \\ &= \sum P(x)\log P(x) - \sum P(x)\log Q(x) \\ &= -H(P(x)) -\sum P(x)\log Q(x) \end{aligned}D(P∣∣Q)=∑P(x)logQ(x)P(x)=∑P(x)logP(x)−∑P(x)logQ(x)=−H(P(x))−∑P(x)logQ(x)
2.4 最优化估计
- 最小二乘估计:采用最小化误差的平方和,用于回归问题。
- 最小二乘估计又称最小平方法,是一种数学优化方法。它通过最小化误差的平方和寻找数据的最佳函数匹配。最小二乘法经常应用于回归问题,可以方便地求得未知参数,比如曲线拟合、最小化能量或者最大化熵等问题。
线性代数
- 标量(scalar):一个标量就是一个单独的数。
- 向量(vector):一个向量是一列数。
- 矩阵(matrix):矩阵是一个二维数组,其中的每一个元素被两个索引所确定。
- 张量(tensor):一个数组中的元素分布在若干维坐标的规则网络中,称之为张量。
- 转置(transpose):矩阵的转置是以主对角线为轴的镜像。
- 单位矩阵(identity matrix):所有沿主对角线的元素都是1,所有其他位置的元素都是0.
- 对角矩阵(diagonal matrix):只在主对角线上含有非零元素,其他位置都是0。
- 正交矩阵(orthogonal matrix):行向量和列向量分别标准正交的方阵。
- 正定(positive definite):矩阵所有特征值都是正数。
- 半正定(positive semidefinite):矩阵所有特征值都是非负数。
- 负定(negative definite):矩阵所有特征值都是负数。
- 半负定(negative semidefinite):矩阵所有特征值都是非正数。
- 矩阵的秩(rank):矩阵列向量中的极大线性无关组的数目,记作矩阵的列秩,同样可以定义行秩。行秩=列秩=矩阵的秩,通常记作rank(A)。
参考资料:Unusual-Deep-Learning
深度学习概述和数学基础
水很深的深度学习-Task01深度学习概述与数学基础相关推荐
- 【组队学习】【31期】水很深的深度学习
水很深的深度学习 航路开辟者:刘洋 领航员:陈宇 航海士:刘洋.陈陟原.左凯文.初晓宇.刘羽中 基本信息 开源内容:https://github.com/datawhalechina/unusual- ...
- 水很深的深度学习-Task05循环神经网络RNN
循环神经网络 Recurrent Neural Network 参考资料: Unusual-Deep-Learning 零基础入门深度学习(5) - 循环神经网络 史上最小白之RNN详解_Tink19 ...
- 水很深的深度学习(四)——卷积神经网络CNN
参考资料: 1.水很深的深度学习-CNN 2.卷积神经网络超详细介绍_呆呆的猫的博客-CSDN博客_卷积神经网络 3.大话卷积神经网络CNN(干货满满)-CSDN博客 卷积神经网络的概念 计算机视觉和 ...
- 水很深的深度学习-Task03前馈神经网络
本文参考 Datawhale:水很深的深度学习 深度学习(四)-前馈神经网络_未名湖畔的落叶-CSDN博客_前馈神经网络 神经元模型 在前馈神经网络中,各神经元分别属于不同的层.每一层的神经元可以 ...
- 水很深的深度学习|Task 01
水很深的深度学习|Task 01 1.绪论与深度学习概述 说深度学习之前,先说下人工智能和机器学习吧 人工智能是利用数字计算机或者数字计算机控制的机器模拟.延伸 和扩展人的智能,感知环境.获取知识并使 ...
- 前端的“水”很深!指的是……
01 前端并不简单 近年来,前端的发展速度极快,前端开发不再是曾经众人调侃的"写网页的程序员"了,更不是早期掌握 JavaScript+CSS+HTML ,便可以找到一份相对不错工 ...
- 水很深,我还是下去了
blog.51cto.仰慕很久,受惠很久,卧龙藏虎,水很深,我还是下去了....... 开博第一篇 转载于:https://blog.51cto.com/20100823/381858
- 计算机组装中编制配置单的方法,组装电脑:网上组装的吃鸡主机,来看看他的配置单,这里面水很深...
原标题:组装电脑:网上组装的吃鸡主机,来看看他的配置单,这里面水很深 随着这些年高新科技人工智能等设备的发展,十几年前的台式电脑已经不景气了.但是还是会有一批台式计算机组装的爱好者,小编就是其中一个. ...
- 水很深的深度学习-Task02机器学习基础
机器学习基础 目录 机器学习基础 一.什么是机器学习? 如何寻找这个函数? 机器学习三板斧 学习路线 二.机器学习算法的类型 1. 有监督学习 2. 无监督学习 3. 强化学习 4.机器学习算法的系统 ...
最新文章
- Python中eval函数的表达式如何使用
- 苏黎世华人博士提出模型SwinIR,只用33%的参数量就碾压图像修复领域sota
- Windows 7下Eclipse搭建Android开发环境
- boost::multi_array模块测试 index_gen 的代码
- 实现SDI与MDI的转换 (转)
- leetcode99. 恢复二叉搜索树(优先队列)
- c语言switch caseh(op),switch语句求教
- faster-rcnn for tensorflow 测试过程
- PHP类中Static方法效率测试
- Atitit 文档资料管理同步解决方案
- nginx解析php详细教程,Nginx与PHP交互过程步骤详解
- “百度开放云编程马拉松”成都赛区19件作品及团队介绍
- 在c语言中 fb abs是什么,abs()在c语言里表示什么意思?它是库函数吗?
- linux 6重启网卡,centos 网卡重启方法
- 企业如何做好品牌推广工作?
- 如何使用FLASHGOT下载网页FLASH
- html中小星星打分,折腾:2颗星星+纯CSS实现星星评分交互效果
- Ubuntu18.04与RTX1080Ti安装深度学习框架
- 怎么把照片转换成jpg格式?jpg格式图片怎么弄
- 中国连锁药店行业发展机遇与竞争格局分析报告2022-2028年版