概念回顾

文章目录

幂法则

链式法则(Chain Rule)

示例

链式法则的应用

广义幂法则

幂法则

有时候也会叫次幂法则，仍然是函数求导的法则

就是幂次函数的求导法则
f(x)=x2的导数f(x)‘=(x2)‘=2xf\left(x\right)=x^2的导数f\left(x\right)^`=\left(x^2\right)^`=2x f(x)=x2的导数f(x)‘=(x2)‘=2x

链式法则(Chain Rule)

求复合函数导数的一个法则, 是微积分中最重要的法则之一

两个函数组合起来的复合函数，导数等于里面函数代入外函数值的导乘以里面函数之导数

公式表示如下：
y=f(g(x))dydx=f‘(g(x))g‘(x)另一种形式：dydx=dydu.dudxy=f\left( g\left( x \right) \right) \\ \frac{dy}{dx}=f^`\left( g\left( x \right) \right) g^`\left( x \right) \\ 另一种形式： \frac{dy}{dx}=\frac{dy}{du}.\frac{du}{dx} y=f(g(x))dxdy=f‘(g(x))g‘(x)另一种形式：dxdy=dudy.dxdu

其实就是把g(x)看作一个整体

示例

求f(x)=sin⁡(x2+1)的导数这个函数可以看成f(x)=sin⁡(g(x)),其中g(x)=x2+1求解就套入公式：f(x)‘=sin⁡(g(x))‘∗g(x)‘=cos⁡(g(x))∗2x=2xcos⁡(x2+1)\text{求}f\left( x \right) = \sin \left( x^2 + 1\right) \text{的导数} \\ \text{这个函数可以看成}f\left( x\right) = \sin \left( g\left(x \right)\right),\text{其中}g\left( x\right)=x^2+1 \\ \text{求解就套入公式：}f\left(x\right)^`=\sin \left(g \left(x\right) \right)^` * g\left(x\right)^` \\ =\cos \left(g\left(x\right)\right)*2x \\ =2x\cos\left(x^2+1\right) 求f(x)=sin(x2+1)的导数这个函数可以看成f(x)=sin(g(x)),其中g(x)=x2+1求解就套入公式：f(x)‘=sin(g(x))‘∗g(x)‘=cos(g(x))∗2x=2xcos(x2+1)

另一种形式的话，上述例子就是所谓的u，一样的理解

链式法则的应用

在机器学习领域，链式法则是需要理解的重要基础法则之一，其主要应用在于反向传播（backpropagation）等算法

反向传播算法是在模式识别和故障诊断等领域广泛使用的简单方法
目前关于神经学习的研究有很多，但其主要研究方向在于在新领域应用神经网络，或具有更好表现的神经网络，其训练算法依赖链式法则这一本质是没有变过的。
链式法则在反向传播算法中，存在学习效率低下，收敛速度慢，缺乏仿生学依据等问题
目前机器学习社区正在大力发展无监督学习，而无监督学习并不依赖于链式法则这类有监督的算法
未来方向：由于神经网络的反向传播等算法都是基于链式法则的，因此在深度学习方面不断提出的优化算法（如2018年提出的AMSGrad）也可以看做是链式法则的新的应用方向。

广义幂法则

其实就是链式法则去理解，应用幂法则求导。就是链式法则+幂法则

含义和链式法则差不太多，都是把部分看作整体
公式：dydxun=nun−1dudx示例：求y=(x2+1)3的导数根据广义幂法则公式：dydx=3(x2+1)2.d(x2+1)dx=3(x2+1)2.x2\text{公式：}\frac{dy}{dx}u^n=nu^{n-1}\frac{du}{dx} \\ \text{示例：求}y=\left( x^2+1\right)^3\text{的导数} \\ \text{根据广义幂法则公式：}\frac{dy}{dx}=3\left( x^2+1\right)^2.\frac{d\left( x^2+1\right)}{dx}=3\left( x^2 + 1\right)^2.x2 公式：dxdyun=nun−1dxdu示例：求y=(x2+1)3的导数根据广义幂法则公式：dxdy=3(x2+1)2.dxd(x2+1)=3(x2+1)2.x2

AI基础：链式法则、幂法则、广义幂法则相关推荐

AI基础：特征工程-数字特征处理
0.导语特征工程到底是什么呢?顾名思义,其本质是一项工程活动,目的是最大限度地从原始数据中提取特征以供算法和模型使用. 在此之前,我已经写了以下几篇AI基础的快速入门,本篇文章讲解特征工程基础第二部 ...
AI基础：简易数学入门
0.导语学习AI建议掌握的数学资料: 数学分析(微积分),线性代数,概率论,统计,应用统计,数值分析,常微分方程,偏微分方程,数值偏微分方程,运筹学,离散数学,随机过程,随机偏微分方程,抽象代数,实 ...
UC伯克利教授Stuart Russell人工智能基础概念与34个误区 (公号回复“AI基础概念”可下载PDF资料)
UC伯克利教授Stuart Russell人工智能基础概念与34个误区 (公号回复"AI基础概念"可下载PDF资料) 秦陇纪数据简化DataSimp 今天数据简化DataSim ...
Power law and Power law distribution（幂律和幂律分布）
原文:<Power-law distribution in empirical data> 1. Introduction 有些分布可以很好的描述,比如成年男性的身高,某物体的重量等,它们 ...
浅谈人工智能(`AI`)基础知识
人工智能(AI)-基础知识文档导航人工智能(`AI`)-基础知识 1. 什么是人工智能 1.1 人工智能基础定义 1.2 人工智能基本概述 1.3 人工智能基本组成 1.4 人工智能研究课题 1. ...
AI：人工智能领域之AI基础概念术语之机器学习、深度学习、数据挖掘中常见关键词、参数等5000多个单词中英文对照(绝对干货)
AI:人工智能领域之AI基础概念术语之机器学习.深度学习.数据挖掘中常见关键词.参数等5000多个单词中英文对照(绝对干货) 导读本博主基本收集了网上所有有关于ML.DL的中文解释词汇,机 ...
【brainpy学习笔记】突触可塑性模型2——Hebb学习律、Oja法则与BCM法则
参考书目:<神经计算建模实战--基于brainpy> 吴思书接上文: [brainpy学习笔记]突触可塑性模型1--STP/STDP模型_Fellyhosn的博客-CSDN博客https ...
AI基础架构Pass Infrastructure
AI基础架构Pass Infrastructure • Operation Pass o OperationPass : Op-Specific o OperationPass : Op-Agnost ...
中国的“Databricks”们：打造AI基础架构，我们是认真的
AI落地最大的驱动因素是基础架构的升级. 近年来,大数据分析.AI等领域一直备受关注,常有引人关注的融资事件发生.美国数据科学公司Databricks刚刚在今年8月底完成了16亿美元H轮融资,其最新估 ...

AI基础：链式法则、幂法则、广义幂法则

文章目录

幂法则

链式法则(Chain Rule)

示例

链式法则的应用

广义幂法则

AI基础：链式法则、幂法则、广义幂法则相关推荐

最新文章

热门文章