[Python系列-16]：人工智能 - 数学基础 -6- 常见数学函数、激活函数大全

作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/119322837

第1部分函数概述

1.1 函数的定义

1.2 计算机函数与数学函数的异同

1.3 数学函数在深度学习中应用

第2章常见的初等数学函数

2.1 常数函数

2.2 幂函数

2.3 指数函数

2.4 对数函数

2.5 三角函数

第3章多项式函数

3.1 零次多项式：常数函数

3.1 一次多项式

3.2 二次多项式

3.3 三次多项式

3.4 三次多项式函数

第4章深度学习-神经元的激活函数

4.0 激活函数的作用

4.1 Sigmoid函数

4.2 tanh函数函数

4.3 Relu函数

4.4 ELU (Exponential Linear Units) 函数

第5章高等函数-多元函数

5.1 多元函数概述

5.2 一元一次函数: y = f(x)

5.2 二元一次函数: y = f(x1, x2)

5.3 三元一次函数: y = f(x1, x2, x3)

第1部分函数概述

1.1 函数的定义

（1）计算机领域

函数是指一段可以直接被另一段程序或代码引用的程序或代码。也叫做子程序。

（2）数学领域：

函数是一种关系，是一种映射规则，这种关系使一个集合里的每一个元素对应到另一个（可能相同的）集合里的唯一元素的规则。

1.2 计算机函数与数学函数的异同

（1）相同点

模型相同：输入》处理 =》输出
都是多输入

（2）不同点

内在的处理方法不同

计算领域：是逻辑处理

数学领域：是映射规则

输出不同：计算机领域是可以任意个输出变量，数学领域是单一输出变量。
工程师的角色不同

1.3 数学函数在深度学习中应用

（1）神经网络的神经元

神经网络的神经元就是一个函数，也就是说，神经网络就是N个输出的N个“函数”。

（2）误差或损失函数loss

误差或损失函数loss就是用函数来表示的，loss函数的输出值y，是神经网络的各个神经元函数的系数的函数。

第2章常见的初等数学函数

2.1 常数函数

在数学中，常数函数（也称常值函数）是指值不发生改变（即是常数）的函数

2.2 幂函数

2.3 指数函数

指数函数是重要的基本初等函数之一。一般地，y=a^x函数(a为常数且以a>0，a≠1)叫做指数函数，函数的定义域是 R

2.4 对数函数

对数函数是以幂（真数）为自变量，指数为因变量，底数为常量的函数。

2.5 三角函数

三角函数是基本初等函数之一，是以角度（数学上最常用弧度制，下同）为自变量，角度对应任意角终边与单位圆交点坐标或其比值为因变量的函数。

第3章多项式函数

多项式函数，是数学概念，形如f(x)=an·x^n+an-1·x^(n-1)+…+a2·x^2+a1·x+a0的函数，叫做多项式函数，它是由常数与自变量x经过有限次乘法与加法运算得到的。

很显然，多项式函数是多个幂函数组合而成的函数。

3.1 零次多项式：常数函数

y = a0，形如

3.1 一次多项式

形如 y=kx+b （k为任意不为0的常数，b为任意常数）的函数叫做一次函数（linear function），也称线性函数，或称为直线函数。

其图像在平面直角坐标系中可以用一条直线表示，当一次函数中的一个变量的值确定时，可以用一元一次方程确定另一个变量的值。

备注：

人工神经元的输入分支：1个一次多项式函数（或直线）

人工神经元整体就是由：N个一次多项式函数的累计和与激活函数串联。

人工神经网络就由无数个神经元串联而成（“一次多项式函数 + 激活函数”）

Y = (W1*X1 + W2*X2 + ..... Wn*Xn) - B。

其中：

（1）神经元输入分支

Wi：是直线的系数；

Xi：为自变量

Yi：为因变量, Yi = Wi * Xi + Bi

Bi：为系数

（2）神经元综合效果：

B：是所有系数Bi的累计和。

Y：是所有因变量Yi的累计和； Y = (W1*x1 + W2*X2 + ..... Wn*Xn) - B。

3.2 二次多项式

（1）二次多项式

一般地，形如y=ax^2+bx+c的函数叫做二次函数（quadratic function）。

二次函数是自变量的最高次数为二次的多项式函数。

（2）二次多项式在深度学习中的应用

二次多项式被广泛应用于就损失函数loss函数。

loss函数的本质是：实际的数据点到拟合线（线段）的距离（这个距离称为误差）的平方之和。

因此 loss函数本质是一个二次函数，是N元的二次函数，是由N个一元二次函数组合而成。

N元的二次函数在高等函数中再进一步阐述。

3.3 三次多项式

最高次数项为3的函数，形如y=ax³+bx²+cx+d（a,b,c,d为常数,且a不等于0）的函数叫做三次函数(cubic function)。三次函数的图象是一条曲线——回归式抛物线（不同于普通抛物线）。

3.4 三次多项式函数

形如y=ax4+bx3+cx2+dx+e(a≠0，b，c，d，e为常数)的函数叫做四次函数。四次函数的图像成一般W形。

第4章深度学习-神经元的激活函数

4.0 激活函数的作用

（1）限制输出

神经元的一次函数，输入与输出是线性关系，因此输出是无穷大。

为了限制神经元的输出信号的幅度，需要通过某种激活函数对输出信号进行限制。

（2）提高门槛

神经元的一次函数，输入与输出是线性关系，因此输出是任意值。

生物神经元只有在输入信号得到一定的门限时，才会有输出。

为了模拟生物神经元的门槛功能，需要通过某种激活函数来对输出信号的最低值进行限制。

4.1 Sigmoid函数

（1）公式

（2）图形

（3）特点

无论线性函数的输出是多大，该激活函数把输出限制在(0,1)之间.
如果线性函数的输出值为负无穷时，输出为0；
如果线性函数的输出值为正无穷时，输出为1.
如果线性函数的输出值为0时，输出中值为0.5.
导函数平滑

4.2 tanh函数函数

（1）公式

（2）图形

（3）特点

无论线性函数的输出是多大，该激活函数把输出限制在(-1,1)之间.
如果线性函数的输出值为负无穷时，输出为-1；
如果线性函数的输出值为正无穷时，输出为+1.
如果线性函数的输出值为0时，输出中值为0.
导函数平滑

4.3 Relu函数

（1）公式

（2）图形

（3）特点

无论线性函数的输出是多大，该激活函数把输出限制在(0,+无穷)之间，即把所有的负数都映射成0.
如果线性函数的输出值为负数时，输出为0；限制负数幅度映射为0.
如果线性函数的输出值为正数时，输出等于输入y = x，不限制正数的映射幅度。
如果线性函数的输出值为0时，输出为0.
导函数不平滑

4.4 ELU (Exponential Linear Units) 函数

（1）数学公式

（2）图形表示

（3）特点

当x<0时，采用指数映射，限制负数的幅度。
当x>0时，采用线性映射，不限制正数的幅度。
当x=0是，映射值为0.
导函数不平滑

第5章高等函数-多元函数

5.1 多元函数概述

5.2 一元一次函数: y = f(x)

5.2 二元一次函数: y = f(x1, x2)

5.3 三元一次函数: y = f(x1, x2, x3)

作者主页(文火冰糖的硅基工坊)：https://blog.csdn.net/HiWangWenBing

本文网址：https://blog.csdn.net/HiWangWenBing/article/details/119322837

[Python系列-16]：人工智能 - 数学基础 -6- 常见数学函数、激活函数大全相关推荐

df满足条件的值修改_文科生学 Python 系列 16：泰坦尼克数据 2（缺失值处理）
第八课:案例分析 - 泰坦尼克数据本节课将重点分析泰坦尼克号沉船事故,我们将探索是什么因素决定了最后是否生还. 我们将将前面课程所学过的知识点融会贯通,举一反三新增知识点: 缺失值处理:panda ...
matlab的数学函数,matlab中常见数学函数的使用
matlab中常见数学函数的使用 MATLAB 基本知识 Matlab 的内部常数 pi 圆周率 exp(1) 自然对数的底数 e i 或 j 虚数单位 Inf 或 inf 无穷大 Matlab 的常 ...
mysql数学函数名_MYSQL 常见数学函数说明
摘要: 下文讲述MySQL常见数学函数的说明,如下所示: mysql > select round(2.34); +-------------+ | round(2.34) | +------- ...
[Python系列-11]：人工智能 - 数学基础 -1- 数组元素的函数运算
作者主页(文火冰糖的硅基工坊):https://blog.csdn.net/HiWangWenBing 本文网址:https://blog.csdn.net/HiWangWenBing/article ...
【人工智能数学基础(三)】数学优化
文章目录数学优化 1. 数学优化的类型 1.1 离散优化和连续优化 1.1.1 离散优化问题 1.1.2 连续优化问题 1.2 无约束优化和约束优化 1.3 线性优化和非线性优化 2. 优化算法 2 ...
python基础——变量和数据类型及常见类型转换函数
Python 中的变量不需要声明.每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建. 在 Python 中,变量就是变量,它没有类型,我们所说的"类型"是变量所指的内存中对 ...
Excel中常见数学函数使用
1.Round函数定义:对数值进进行四舍五入结构:ROUND(number, num_digits). number表示需要进行四舍五入的数值或单元格内容,num_digits表示需要取多少位的参 ...
青少年python系列目录
青少年python教学视频ppt源码青少年ptyhon可以参加的主流比赛大全_老程序员115的博客-CSDN博客全国青少年软件编程等级考试标准Python(1-6级)_老程序员115的博客-CSD ...
Python 数学函数模块(Math)
简介: Python具有一组内置的数学函数,包括一个扩展的数学模块,可让您对数字执行数学任务.Python math模块中定义了一些数学函数.由于这个模块属于编译系统自带,因此它可以被无条件调用.该模 ...

[Python系列-16]：人工智能 - 数学基础 -6- 常见数学函数、激活函数大全