java相关的数学知识_程序员必备的一些数学基础知识
作为一个标准的程序员,应该有一些基本的数学素养,尤其现在很多人在学习人工智能相关知识,想抓住一波人工智能的机会。很多程序员可能连这样一些基础的数学问题都回答不上来。
矩阵A(m,n)与矩阵B(n,k)乘积C维度是多少?
抛一枚硬币,正面表示1,反面表示0,那么取值的数学期望E(x)是多少?
作为一个傲娇的程序员,应该要掌握这些数学基础知识,才更有可能码出一个伟大的产品。
线性代数
向量 向量(vector)是由一组实数组成的有序数组,同时具有大小和方向。一个n维向量a是由n个有序实数组成,表示为 a = [a1, a2, · · · , an]
矩阵
线性映射 矩阵通常表示一个n维线性空间v到m维线性空间w的一个映射f: v -> w
image
注:为了书写方便,X.T,表示向量X的转置。 这里:X(x1,x2,...,xn).T,y(y1,y2,...ym).T,都是列向量。分别表示v,w两个线性空间中的两个向量。A(m,n)是一个m*n的矩阵,描述了从v到w的一个线性映射。
image
转置 将矩阵行列互换。
加法 如果A和B 都为m × n的矩阵,则A和B 的加也是m × n的矩阵,其每个元素是A和B相应元素相加。 [A + B]ij = aij + bij .
乘法 如A是k × m矩阵和B 是m × n矩阵,则乘积AB 是一个k × n的矩阵。
对角矩阵 对角矩阵是一个主对角线之外的元素皆为0的矩阵。对角线上的元素可以为0或其他值。一个n × n的对角矩阵A满足: [A]ij = 0 if i ̸= j ∀i, j ∈ {1, · · · , n}
特征值与特征矢量 如果一个标量λ和一个非零向量v满足 Av = λv, 则λ和v分别称为矩阵A的特征值和特征向量。
矩阵分解 一个矩阵通常可以用一些比较“简单”的矩阵来表示,称为矩阵分解。
奇异值分解 一个m×n的矩阵A的奇异值分解
image
其中U 和V 分别为m × m和n×n 的正交矩阵,Σ为m × n的对角矩阵,其对角 线上的元素称为奇异值(singular value)。
特征分解 一个n × n的方块矩阵A的特征分解(Eigendecomposition)定义为
image
其中Q为n × n的方块矩阵,其每一列都为A的特征向量,^为对角阵,其每一 个对角元素为A的特征值。 如果A为对称矩阵,则A可以被分解为
image
其中Q为正交阵。
微积分
导数 对于定义域和值域都是实数域的函数f : R → R,若f(x)在点x0 的某个邻域∆x内,极限
image
存在,则称函数f(x)在点x0 处可导,f'(x0)称为其导数,或导函数。 若函数f(x)在其定义域包含的某区间内每一个点都可导,那么也可以说函数f(x)在这个区间内可导。连续函数不一定可导,可导函数一定连续。例如函数|x|为连续函数,但在点x = 0处不可导。
导数法则
加法法则
y = f(x),z = g(x)则
image
乘法法则
image
链式法则 求复合函数导数的一个法则,是在微积分中计算导数的一种常用方法。若x ∈ R,y = g(x) ∈ R,z = f(y) ∈ R,则
image
Logistic 函数
Logistic函数是一种常用的S形函数,是比利时数学家 Pierre François Verhulst在1844-1845年研究种群数量的增长模型时提出命名的,最初作为一种生 态学模型。 Logistic函数定义为:
image
当参数为(k = 1, x0 = 0, L = 1)时,logistic函数称为标准logistic函数,记 为σ(x)。
image
标准logistic函数在机器学习中使用得非常广泛,经常用来将一个实数空间的数映射到(0, 1)区间。标准logistic函数的导数为:
image
softmax 函数
softmax函数是将多个标量映射为一个概率分布。对于K个标量x1, · · · , xK,softmax 函数定义为
image
这样,我们可以将K个变量x1, · · · , xK转换为一个分布:z1, · · · , zK,满足
image
当softmax 函数的输入为K 维向量x时,
image
其中,1K = [1, · · · , 1]K×1 是K 维的全1向量。其导数为
image
数学优化
离散优化和连续优化:根据输入变量x的值域是否为实数域,数学优化问题可以分为离散优化问题和连续优化问题。
无约束优化和约束优化:在连续优化问题中,根据是否有变量的约束条件,可以将优化问题分为无约束优化问题和约束优化问题。 ### 优化算法
全局最优和局部最优
image
image
海赛矩阵
image
《运筹学里面有讲》,前面一篇文章计算梯度步长的时候也用到了: 梯度下降算法
image
image
梯度
梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。
梯度下降法
梯度下降法(Gradient Descent Method),也叫最速下降法(Steepest Descend Method),经常用来求解无约束优化的极小值问题。
image
梯度下降法的过程如图所示。曲线是等高线(水平集),即函数f为不同常数的集合构成的曲线。红色的箭头指向该点梯度的反方向(梯度方向与通过该点的等高线垂直)。沿着梯度下降方向,将最终到达函数f 值的局部最优解。
image
梯度上升法
如果我们要求解一个最大值问题,就需要向梯度正方向迭代进行搜索,逐渐接近函数的局部极大值点,这个过程则被称为梯度上升法。
概率论
概率论主要研究大量随机现象中的数量规律,其应用十分广泛,几乎遍及各个领域。
离散随机变量
如果随机变量X 所可能取的值为有限可列举的,有n个有限取值 {x1, · · · , xn}, 则称X 为离散随机变量。要了解X 的统计规律,就必须知道它取每种可能值xi 的概率,即
imagep(x1), · · · , p(xn)
称为离散型随机变量X 的概率分布或分布,并且满足
image
常见的离散随机概率分布有:
伯努利分布
image
二项分布
image
连续随机变量
与离散随机变量不同,一些随机变量X 的取值是不可列举的,由全部实数 或者由一部分区间组成,比如
image
则称X 为连续随机变量。
概率密度函数
连续随机变量X 的概率分布一般用概率密度函数p(x)来描述。p(x)为可积函数,并满足:
image
均匀分布 若a, b为有限数,[a, b]上的均匀分布的概率密度函数定义为
image
正态分布 又名高斯分布,是自然界最常见的一种分布,并且具有很多良好的性质,在很多领域都有非常重要的影响力,其概率密度函数为
image
其中,σ > 0,µ和σ 均为常数。若随机变量X 服从一个参数为µ和σ 的概率分布,简记为
image当µ = 0,σ = 1时,称为标准正态分布。 均匀分布和正态分布的概率密度函数图:
image
累积分布函数
对于一个随机变量X,其累积分布函数是随机变量X 的取值小于等于x的概率。
image
以连续随机变量X 为例,累积分布函数定义为:
image
其中p(x)为概率密度函数,标准正态分布的累计分布函数:
image
随机向量
随机向量是指一组随机变量构成的向量。如果X1, X2, · · · , Xn 为n个随机变量, 那么称 [X1, X2, · · · , Xn] 为一个 n 维随机向量。一维随机向量称为随机变量。随机向量也分为离散随机向量和连续随机向量。 条件概率分布 对于离散随机向量(X, Y),已知X = x的条件下,随机变量Y = y的条件概率为:
image
对于二维连续随机向量(X, Y ),已知X = x的条件下,随机变量Y = y 的条件概率密度函数为
image
期望和方差
期望 对于离散变量X,其概率分布为p(x1), · · · , p(xn),X 的期望(expectation)或均值定义为
image
对于连续随机变量X,概率密度函数为p(x),其期望定义为
image
方差 随机变量X 的方差(variance)用来定义它的概率分布的离散程度,定义为
image
标准差 随机变量 X 的方差也称为它的二阶矩。X 的根方差或标准差。
image
协方差 两个连续随机变量X 和Y 的协方差(covariance)用来衡量两个随机变量的分布之间的总体变化性,定义为
image
协方差经常也用来衡量两个随机变量之间的线性相关性。如果两个随机变量的协方差为0,那么称这两个随机变量是线性不相关。两个随机变量之间没有线性相关性,并非表示它们之间独立的,可能存在某种非线性的函数关系。反之,如果X 与Y 是统计独立的,那么它们之间的协方差一定为0。
随机过程
随机过程(stochastic process)是一组随机变量Xt 的集合,其中t属于一个索引(index)集合T 。索引集合T 可以定义在时间域或者空间域,但一般为时间域,以实数或正数表示。当t为实数时,随机过程为连续随机过程;当t为整数时,为离散随机过程。日常生活中的很多例子包括股票的波动、语音信号、身高的变化等都可以看作是随机过程。常见的和时间相关的随机过程模型包括贝努力过程、随机游走、马尔可夫过程等。
马尔可夫过程 指一个随机过程在给定现在状态及所有过去状态情况下,其未来状态的条件概率分布仅依赖于当前状态。
image
其中X0:t 表示变量集合X0, X1, · · · , Xt,x0:t 为在状态空间中的状态序列。
马尔可夫链 离散时间的马尔可夫过程也称为马尔可夫链(Markov chain)。如果一个马尔可夫链的条件概率
image
马尔可夫的使用可以看前面一篇写的有意思的文章: 女朋友的心思你能猜得到吗?——马尔可夫链告诉你随机过程还有高斯过程,比较复杂,这里就不详细说明了。
信息论
信息论(information theory)是数学、物理、统计、计算机科学等多个学科的交叉领域。信息论是由 Claude Shannon最早提出的,主要研究信息的量化、存储和通信等方法。在机器学习相关领域,信息论也有着大量的应用。比如特征抽取、统计推断、自然语言处理等。
自信息和熵
在信息论中,熵用来衡量一个随机事件的不确定性。假设对一个随机变量X(取值集合为C概率分布为p(x), x ∈ C)进行编码,自信息I(x)是变量X = x时的信息量或编码长度,定义为 I(x) = − log(p(x)), 那么随机变量X 的平均编码长度,即熵定义为
image
其中当p(x) = 0时,我们定义0log0 = 0 熵是一个随机变量的平均编码长度,即自信息的数学期望。熵越高,则随机变量的信息越多;熵越低,则信息越少。如果变量X 当且仅当在x时p(x) = 1,则熵为0。也就是说,对于一个确定的信息,其熵为0,信息量也为0。如果其概率分布为一个均匀分布,则熵最大。假设一个随机变量X 有三种可能值x1, x2, x3,不同概率分布对应的熵如下:
image
联合熵和条件熵 对于两个离散随机变量X 和Y ,假设X 取值集合为X;Y 取值集合为Y,其联合概率分布满足为p(x, y),则X 和Y 的联合熵(Joint Entropy)为
image
X 和Y 的条件熵为
互信息 互信息(mutual information)是衡量已知一个变量时,另一个变量不确定性的减少程度。两个离散随机变量X 和Y 的互信息定义为
image
交叉熵和散度 交叉熵 对应分布为p(x)的随机变量,熵H(p)表示其最优编码长度。交叉熵是按照概率分布q 的最优编码对真实分布为p的信息进行编码的长度,定义为
image
在给定p的情况下,如果q 和p越接近,交叉熵越小;如果q 和p越远,交叉熵就越大。
java相关的数学知识_程序员必备的一些数学基础知识相关推荐
- Java如何接手别人项目_程序员必备技能——怎样快速接手一个项目
作为一个程序员,我们很少能从头到尾参与一个新项目的开发.如果你经常开发的是新项目,那你真是太幸福了. 更多的情况是半路进入一个项目组进行开发,或者是有其他同事离职了,之前由他维护的系统转交给你维护. ...
- 后端程序员必备的 Linux 基础知识
后端程序员必备的 Linux 基础知识 原文来自github stars>63k的项目JavaGuide,欢迎小伙伴去支持原作者 一 从认识操作系统开始 1.1 操作系统简介 1.2 操作系统简 ...
- javaweb不同用户需要几张表_程序员必备2020版:JavaWeb快速进阶全套教程
Java Web应用由一组Servlet.HTML页.类.以及其它可以被绑定的资源构成.它可以在各种供应商提供的实现Servlet规范的Servlet容器中运行. JavaWeb项目简单来说就是一个应 ...
- 程序员杂志为啥没有了_计算机基础知识,程序员必备知识,java必会!新建一个TXT,发生了什么?...
作者 | ithuangqing 来源 | 编码之外(ID:ithuangqing) 其实我在逐渐使用Windows的过程中发现"记事本"这个工具真的挺好用的!就是它: 平常我喜欢 ...
- Java需要掌握的底层知识_java程序员需要知道的底层知识(一)
首先给自己一个介绍,本人是一个蠢笨蠢笨的女程序员,由于有一天突然觉悟了,想在学习的过程中写一些笔记,以前一直不敢开始这个事情,因为我害怕写错了,误导了别人,现在还是害怕,如果真的误导了同行,你们也轻点 ...
- java校验参数防止攻击_程序员写接口参数校验,总是太多if else?一招让你避免体力活...
对于写Java的程序员来说,不管是写单纯的接口.还是页面后台一把梭,后端参数校验的功能都是整个代码不可或缺的一部分,它可以从系统入口过滤掉一些不合法的数据,以确保我们的系统稳定. 还记得我刚入行Jav ...
- Java太内卷了_程序员内卷已成常态?java开发该何去何从
前言 内卷一个词最近一直很火,什么是内卷?百度了一下,上面是这么解释的: 是不是感觉有点听不懂,举个例子,某个事业单位招一个保安,本来随便一个小学文化的人都能胜任,但是因为这个单位福利好,想来当保安的 ...
- java c++ python哪个好_程序员学java好还是python语言好 c++又如何
技术程序员学Java.C++.Python... 分析对比,到底学什么语言吃香,哪种语言最靠谱,如何学好这些语言呢? 几天前,我们在知识上看到这样一个问题:"java,C++,Python, ...
- java中dom是什么_程序员总说的DOM到底是什么?
大家好,有些词儿,程序员之间虽然天天说,彼此之间心照不宣,但是在面对一些非技术的产品同学的时候,对方却不一定能一下子就get到点.这个系列的文章就是为了解决这种尴尬的,理想的效果是,只要一提起这些词儿 ...
最新文章
- 墨迹天气接口html,moji_weather_spider.py
- 第10章:Shell基础
- 云南公务员计算机类岗竞争大吗,2020云南省考难吗?楚雄州历年竞争比、进面分数告诉你...
- ubuntu-chmod与chown命令
- **CI中使用IN查询(where_in)
- 【AI视野·今日Robot 机器人论文速览 第四期】Wed, 9 Jun 2021
- Android开发实战一之搭建开发环境-附测试实例(已亲测)
- AgileEAS.NET之数据关系映射ORM
- 向github传项目
- python画聚类图_python绘制的聚类图Python的局部变量和全局变量使用解惑
- nginx集群部署,实现负载均衡和nfs共享
- 鸿蒙系统电脑模拟运行,安卓游戏在鸿蒙运行被识别为PC端模拟器,鸿蒙生态依然欠缺!...
- Photoshop二次开发接口介绍
- 数字孪生交通仿真(一)
- Linux磁盘空间说明
- html 图片自动滚动播放,CSS3如何实现图片滚动播放效果(附代码)_WEB前端开发...
- 英朗gt仪表盘图标说明_【英朗仪表盘】英朗仪表盘说明书、英朗仪表盘故障灯说明_车主指南...
- 进程和线程的区别 进程间的通信方式
- ESXI-vCenter-NSX-系统虚拟化
- 【mariadb的安装】
热门文章
- 火爆海外的跨境电商SHEIN崛起的三个秘密
- RocketMQ刷盘机制
- 在游戏中测试复杂的系统
- 使用HTML5的Canvas和raycasting创建一个伪3D游戏(part1)
- 艾永亮:小天才手表如何成为业内巨头,大佬教你如何满足用户需求
- 生产管理之班组长(经典)
- 实验一 网络扫码与网络侦查
- html悬浮按钮特效,HTML5+CSS3悬浮按钮彩球效果
- PDF文档页码怎么设置
- org.xml.sax.SAXParseException; lineNumber: 141; columnNumber: 252; cvc-complex-type.2.4.a: 发现了以元素 ‘b