AI-统计学习(11)-改进的迭代算法及拟牛顿法

逻辑回归时是需要改进迭代尺度算法，用于提高收敛性，而对于没有显示形式方程求极值或者0时，我们需要用拟牛顿法。

1.改进的尺度迭代算法

1.1公式及解释

1.2求解步骤及难点说明

1.2.1.第一次缩放

1.2.2第二次缩放

1.3收敛条件

1.4总结

2.拟牛顿法步骤

2.1公式及解释

2.2图形及步骤说明

1.改进的尺度迭代算法

1.1公式及解释

公式

1.1.1x,y的经验分布函数

1.1.2 f(x,y)给出的特征函数，每给出一对（x,y） f应该是知道的。

1.1.3 p(x) 对x 的经验分布，给一个x就去训练集中找x，在训练集中的比例是多少

1.1.4lnzw(x) 给定xy的条件分布的一个归一化的系数

1.2目标是求极值，求解步骤及难点说明

1.2.1 步骤：w赋初值，然后更新w ,使wifi增大，从而求最大值。

1.2. 2难的部分就是指数上有w, 还要做对数变化。于是经历两次缩放。

1.2 3依据1：

实现第一次缩放记作：

1.2.4 依据2:

实现第二次缩放记作

两次缩放以后

1.3收敛条件

1.4总结

1.4.1目的是找到似然函数增大最大的

1.4.2 找到下界

1.4.3 最大化下界

1.4.4难点就是参数需要存在指数求导，变换后还存在指数求导，于是两次缩放

2.拟牛顿法步骤

2.1 公式及解释

解释：1.当前步的值

2.前一步的值

3.前一步的函数

4.前一步函数导数

2.2图形及步骤说明

AI-统计学习(11)-改进的迭代算法及拟牛顿法相关推荐

《深度学习，统计学习，数学基础》人工智能算法工程师手册：程序员写的AI书，50 章一网打尽...
来源:专知本文约3400字,建议阅读10+分钟. 免费开源人工智能手册,带你快速上手写代码! [ 导读 ]市面上很多人工智能相关的书籍.大部分的书,面向小白,内容深度不够:小部分教材书或者科研书,内 ...
《深度学习，统计学习，数学基础》人工智能算法工程师手册
[ 导读 ]市面上很多人工智能相关的书籍.大部分的书,面向小白,内容深度不够:小部分教材书或者科研书,内容艰深,又过于复杂.那么有没有,面向算法工程师(程序员)人群的,面向有一定数学基础.算法基础,能 ...
VisionBank AI实现4项技术突破----传统算法融合深度学习，重新定义“工业视觉检测大脑”
机器视觉经过长时间的发展,技术不断取得重大突破并被广泛应用,当前已遍布工业生产的各个环节.而且机器视觉易于实现自动化集成,软件集成,是实现智能制造的基础技术.据统计,中国的机器视觉市场需求近几年处于持 ...
【杂谈】有三AI秋季划火热进行中，如何深入学习模型优化，人脸算法，图像质量等研究方向...
文/编辑 | 言有三这是我们最后一次CV季划,关于春季划和夏季划的说明,大家可以阅读往期文章. 这个春天,有三最后一月的学习"季划"招生最后24小时,有三AI夏季划报名即将截止 ...
AI之路（二）——关于统计学习（statistical learning）Part 1 概论
从今日起,正式开启AI之路,在人工智能学习领域,无论机器学习还是深度学习,统计学习是入门的最好参考教材,是不可或缺的.因此,这漫漫求索之路,就从统计学习开始吧. 我所选择的是李航所著的统计学习(第二版 ...
融合柯西变异和反向学习的改进麻雀算法-附代码
融合柯西变异和反向学习的改进麻雀算法文章目录融合柯西变异和反向学习的改进麻雀算法 1.麻雀搜索算法 2.融合柯西变异和反向学习的改进麻雀算法(ISA) 2.1 Sine 初始化种群 2.2 动态自 ...
统计学习三要素模型＋策略＋算法
统计学习方法都是由模型. 策略和算法构成的. 即统计学习方法由三要素构成, 可以简单地表示为:方法＝模型+策略+算法模型统计学习首要考虑的问题是学习什么样的模型. 在监督学习过程中, 模型就是所要 ...
统计学习的三个招式：模型、策略和算法
统计学习的三个招式:模型.策略和算法 https://mp.weixin.qq.com/s/12yhAZ79i_ENAdtyOX63lQ 李航老师在统计学习方法中讲到:方法=模型+策略+算法可以说模 ...
【StatLearn】统计学习中knn算法实验（2）
接着统计学习中knn算法实验(1)的内容 Problem: Explore the data before classification using summary statistics orvisu ...
吴恩达Deeplearning.ai课程学习全体验：深度学习必备课程 By 路雪2017年8月14日 11:44 8 月 8 日，吴恩达正式发布了 Deepleanring.ai——基于 Cours
吴恩达Deeplearning.ai课程学习全体验:深度学习必备课程 By 路雪2017年8月14日 11:44 8 月 8 日,吴恩达正式发布了 Deepleanring.ai--基于 Course ...

AI-统计学习(11)-改进的迭代算法及拟牛顿法

AI-统计学习(11)-改进的迭代算法及拟牛顿法相关推荐

最新文章

热门文章