2021-09-08FTRL 跟随正确的领导者
2.2.3 FTRL
FTRL（Follow the Regularized Leader）是一种优化算法，在处理诸如逻辑回归 之类的带非光滑正则化项的凸优化问题上性能出色，自 2013 年谷歌发表 FTRL 算 法的工程性实现论文后[17]，业界纷纷上线该算法，Amazon 通过上线该算法在搜索 广告业务中取得了不错的效果。FTRL 是一种在线学习算法，在线学习算法的特点 是，单独对每个数据进行训练，在 FTRL 之前常用的在线算法有 OGD（Online Gradient Descent）在线梯度下降和 SGD（Stochastic Gradient Descent）随机梯度下 降等。以上在线梯度下降算法的优点是精度很高，缺点是难以产生稀疏性[18]，导致 在预测时运算复杂度高。在 2010 年微软提出了 RDA（Regularized Dual Averaging） 的算法[19]，该算法相对于 OGD 算法在精度和稀疏性之间做平衡。算法的性能对比 如表 2-1[20]所示，其中 FOBOS（Forward Backward Splitting）为 OGD 改进。
FTRL 算法结合了 FOBOS（Forward-Backward Splitting）算法和 RDA （Regularized Dual Averaging）算法的优点，既能像基于梯度下降的方法一样具有比较 高的精度，又能在精度和稀疏性之间做更好的平衡，产生稀疏性良好的模型，并且能 够针对不同的特征权重维度进行单独训练，以方便实现并行化。 在线学习算法的主要特点体现在模型权重（特征权重）W 的更新上，其通常使用 随机梯度下降（SGD, Stochastic Gradient Descent）方法根据单个训练样本对模型进行 迭代更新，以实现梯度下降的 Online 模式（OGD, Online Gradient Descent）。FTRL 算 法的特征权重更新公式如下：
（4.5）
其中，是前 t 次迭代的梯度和； 是第 s 次迭代 的学习率。经过化简分析以及特征权重各个维度的更新求解转化，第 i 个维度的特征 权重更新方式如下所示：
是ܼ的第 i 个分量。另外，在 FTRL 算法 中，不采用全局的学习率，而是单独考虑每一特征维度的学习率，因为不同特征的变 化率不一样。第 i 个特征维度的学习率使用如下公式计算：
（4.7）
其中，݃是第 s 次迭代梯度的第 i 个分量。 根据 FTRL 算法的特征权重更新公式以及不同维度的学习率的计算方法，下面是 FTRL 算法工程化实现的主体过程：
2021-09-08FTRL 跟随正确的领导者相关推荐
- 2021.09青少年软件编程（Python）等级考试试卷（三级）
2021.09青少年软件编程(Python)等级考试试卷(三级) 一.单选题(共25题,每题2分,共50分) 1.使用map函数可以实现列表数据元素类型的转换,而无需通过循环.则将列表L=['1',' ...
- 橘子CPS联盟操作手册2021.09
橘子CPS联盟操作手册2021.09 目录 橘子CPS联盟操作手册2021.09 橘子CPS联盟是干嘛的 橘子CPS基本操作流程 PC端操作 1.注册 2.登陆 3.渠道管理 4.分享网站 5.分享网 ...
- 2021.09.27 MySQL笔记
2021.09.27 MySQL笔记 文章目录 2021.09.27 MySQL笔记 一.展示当前存在的所有数据库 二.使用(选中)一个数据库 三.创建一个数据表 四.查询并展示该数据库内的所有数据表 ...
- 实习日志 （2021.09.13）
2021.09.13星期一 今天把之前的算法题终于给弄明白了,并能够按照自己的思路去把他给完成,总结这个题目并不是很难,最重要的是要把链表给弄懂,一开始由于我对链表不是很熟悉,导致我在写该题目的时候花 ...
- openGauss雄踞墨天轮2021年度中国数据库魔力象限领导者
墨天轮参考 Gartner 的魔力象限模型,结合墨天轮数据库流行度排行表现,综合得出了2021年度中国数据库魔力象限. 魔力象限 (Gartner Magic Quadrant)由Gartner于20 ...
- 2021.09.24—皮皮与帅帅的第二篇情话
2021.09.24我们小情书的第二天 每天晚上,小兔子都会一个人来到溪水边,坐在地上数着星星.而且他个人也非常喜欢一闪一闪的东西.对于小兔子来说,每颗星星都是特别的,于是她就给每颗星星都起了一个可爱 ...
- 《惢客创业日记》2021.09.15（周三）套路的最高境界
今天,凉粉儿给我发了一段她想的关于惢客的宣传词:"你被套路过吗?想不再被套路吗?上惢客."总结一句话是"不被套路上惢客".我觉得能把惢客跟套路联系在一起,很贴切 ...
- Fortinet再获Gartner 2021广域网边缘基础设施魔力象限领导者
在2021年度<Gartner广域网边缘基础设施魔力象限报告>中,Fortinet®(纳斯达克股票代码:FTNT)凭借最高的执行力获得领导者地位. Fortinet的安全SD-WAN 连续 ...
- Go 1.18将原生支持fuzz test | Gopher Daily (2021.09.21) ʕ◔ϖ◔ʔ
每日一谚:Clear is better than clever. Go技术生态 Go 1.18合并了对Fuzz测试原生支持的代码 - https://github.com/golang/go/com ...
- 2021/09/06 Terraform 从入门到精通（二）
P38 Route53 demo 在这个演示中,我将向你展示Route 53如何使用Terraform.这里我们有一个文件"route53.tf".有一个资源"aws_r ...
最新文章
- MySQL查询区分大小写
- 前沿科技 | 中科院科学家研究揭示奥陶纪末生命大灭绝新机制
- Spring《二》 Bean的生命周期
- 装完B就跑，这几个Linux指令真的Diǎo
- java 传递intent_java – 如何将泛型类作为param传递给Intent构造函数
- Dynatrace成功扩展kubernetes全栈可观察性
- LeetCode算法入门- Remove Duplicates from Sorted Array -day21
- 为什么c++要“在头文件中声明，在源文件中定义”？
- ArcGIS线转面的方法
- JS判断一个页面是否已经打开
- 大一java期末考笔试_JAVA考试试题及答案
- camtasia studio2022新版本高清录屏编辑无水印
- 我的第一个游戏FoodieThebug完成之后的心得体会 -子龙山人
- tf2 --- 结构化数据建模流程
- 机器学习之PCA原理入门
- 欢乐喜剧人宋晓峰吟诗大全
- 【前端优化】第三方字体优化方案大全
- AI耳机要想“复制”智能音箱的爆红，还要迈过哪些坎？
- 计算机文字录入技能竞赛,文字录入技能竞赛方案
- 变频器的逆变、变频原理