ftrl 流式更新 java_深入理解FTRL

FTRL算法是吸取了FOBOS算法和RDA算法的两者优点形成的Online Learning算法。读懂这篇文章，你需要理解LR、SGD、L1正则。

FOBOS算法

前向后向切分(FOBOS，Forward Backward Splitting)是 John Duchi 和 Yoran Singer 提出的。在该算法中，权重的更新分成两个步骤，其中

是迭代次数，

$\eta^t$ 是当前迭代的学习率，

是loss func的梯度，

$\Psi(W)$ 是正则项，如下：

$W^{t+0.5}=W^t-\eta^tG^t$

$W^{t+1}=argmin_W\{ \frac{1}{2} \Vert W-W^{t+0.5} \Vert^2_2 + \eta^{t+0.5}\Psi(W) \}$

权重更新的另外一种形式：

对上式argmin部分求导，令导数等于0可得：

$W^{t+1}=W^t-\eta^tG^t-\eta^{t+0.5}\partial\Psi(W^{t+1})$

这就是权重更新的另外一种形式，可以看到

$W^{t+1}$ 的更新不仅与

$W^{t}$ 有关，还与自己本身有关，有人猜测这就是前向后向的来源。

L1-FOBOS，正则项为L1范数，其中

$\lambda>0$ ：

$W^{t+0.5}=W^t-\eta^tG^t$

$W^{t+1}=argmin_W\{ \frac{1}{2} \Vert W-W^{t+0.5} \Vert^2_2 + \eta^{t+0.5}\lambda\Vert W \Vert_1 \}$

合并为一步：

令

$\eta^{t+0.5}=\eta^t$ ，将二次项乘开，消去常数项得

$W^{t+1}=argmin_W\{ G^t W + \frac{1}{2\eta^t}\Vert W-W^t\Vert^2_2 + \lambda \Vert W \Vert_1\}$

闭式解：

$w^{t+1}_i= \begin{cases} 0, & if\ \vert w^t_i-\eta^t g^t_i\vert\leq\eta^{t+0.5}\lambda\\ (w^t_i-\eta^t g^t_i)-\eta^{t+0.5}\lambda\cdot sgn(w^t_i-\eta^t g^t_i), & otherwise \end{cases}$

推导过程略，思路同下方FTRL闭式解的推导过程。

为什么一般设

$\eta^{t+0.5}=\eta^t$ ？

我们希望这一步更新中，上半步和下半部的步长(学习率)一样。

RDA算法

RDA(Regularized Dual Averaging Algorithm)叫做正则对偶平均算法，特征权重的更新策略如下，只有一步，其中

累积梯度

$G^{(1:t)}=\sum_{s=1}^t G^s$ ，

累积梯度平均值

$g^{(1:t)}=\frac1t\sum_{s=1}^t G^s=\frac{G^{(1:t)}}{t}$ ，

$\Psi(W)$ 是正则项，

是一个严格的凸函数，

$\beta^{(t)}$ 是一个关于t的非负递增序列：

$W^{t+1}=argmin_W\{ g^{(1:t)}W + \Psi(W) + \frac{\beta^{(t)} }{t}h(W) \}$

L1-RDA：

令

$\Psi(W)=\lambda\Vert W \Vert_1$ ，令

$h(W)=\frac{1}{2}\Vert W \Vert^2_2$ ，令

$\beta^{(t)}=\gamma\sqrt{t}$ ，其中

$\lambda>0$ ，

$\gamma>0$ ，并且各项同时乘以t，得：

$W^{t+1}=argmin_W\{ g^{(1:t)}W + \lambda \Vert W \Vert_1 + \frac{\gamma}{2\sqrt{t}}\Vert W \Vert^2_2\}$

闭式解：

$w^{t+1}_i= \begin{cases} 0, & if\ \vert g^{(1:t)}_i\vert<\lambda\\ -\frac{\sqrt t}{\gamma}(g^{(1:t)}-\lambda sgn(g^{(1:t)})), & otherwise \end{cases}$

推导过程略，思路同下方FTRL闭式解的推导过程。

L1-FOBOS与L1-RDA对比

从截断方式来看，在 RDA 的算法中，只要梯度的累加平均值小于参数

$\lambda$ 就直接进行截断，说明 RDA 更容易产生稀疏性；同时，RDA 中截断的条件是考虑梯度的累加平均值，可以避免因为某些维度训练不足而导致截断的问题，这一点与 TG，FOBOS 不一样。通过调节参数

$\lambda$ 可以在精度和稀疏性上进行权衡。

为什么

是一个严格的凸函数？

因为凸函数+凸函数=凸函数，可以保证整体的凸性，argmin的部分如果不保证凸性，极值就不存在，则无法更新权重。

为什么

$\beta^{(t)}$ 是一个关于t的非负递增序列？

可以认为学习率

$\eta^t=\frac{1}{\gamma\sqrt{t}}$ ，

$\beta^{(t)}$ 可以看作是学习率的倒数，因为学习率设置为随着迭代次数增加而减小的正数，所以

$\beta^{(t)}$ 是一个关于t的非负递增序列。

FTRL算法

FTRL 算法综合考虑了 FOBOS 和 RDA 对于梯度和正则项的优势和不足，其中累积梯度

$G^{(1:t)}=\sum_{r=1}^t G^r$ ，

$\sigma^s=\frac{1}{\eta^s}-\frac{1}{\eta^{s-1}}$ ，

$\sigma^{(1:t)}=\frac{1}{\eta_t}=\sum_{s=1}^t \sigma^s$ ，

$\lambda_1>0$ ，

$\lambda_2>0$ ，特征权重的更新公式是：

$W^{t+1}=argmin_w\{ G^{(1:t)}W + \lambda_1 \Vert W \Vert_1 + \frac{\lambda_2}{2}\Vert W \Vert^2_2 + \frac{1}{2}\sum_{s=1}^t\sigma^s\Vert W-W^s\Vert^2_2 \}$

维度

的学习率设置为

$\eta^t_i=\frac{\alpha}{\beta+\sqrt{\sum_{s=1}^t (g^{(s)})^2}}$ ，随着迭代次数增加而减小，

$\beta$ 主要作用是保证分母不为0.

使用

$\sigma$ 替换学习率可将L1-FOBOS、L1-RDA、FTRL写成类似的形式，如下：

$W^{t+1}_{(L1-FOBOS)}=argmin_W\{ G^t W + \lambda \Vert W \Vert_1 + \frac{1}{2}\sigma^{(1:t)}\Vert W-W^t\Vert^2_2 \}$

$W^{t+1}_{(L1-RDA)}=argmin_W\{ G^{(1:t)}W + t\lambda \Vert W \Vert_1 + \frac{1}{2}\sigma^{(1:t)}\Vert W-0 \Vert^2_2\}$

$W^{t+1}_{(FTRL)}=argmin_W\{ G^{(1:t)}W + \lambda_1 \Vert W \Vert_1 + \frac{\lambda_2}{2}\Vert W \Vert^2_2 + \frac{1}{2}\sum_{s=1}^t\sigma^s\Vert W-W^s\Vert^2_2 \}$

各项解释todo

闭式解及其推导过程：

将二次项乘开，消去常数项，得：

$W^{t+1}=argmin_W\{ (G^{(1:t)}-\sum_{s=1}^t\sigma^sW^s)W + \lambda_1 \Vert W \Vert_1 + \frac{1}{2}(\lambda_2+\sum_{s=1}^t\sigma^s)\Vert W \Vert^2_2\}$

设

$Z^t=G^{(1:t)}-\sum_{s=1}^t\sigma^sW^s$ ，则

$Z^t=Z^{t-1}+G^t-\sigma^t W^t$ ，得：

$W^{t+1}=argmin_W\{Z^tW+\lambda_1\Vert W \Vert_1 + \frac{1}{2}(\lambda_2+\sum_{s=1}^t\sigma^s)\Vert W \Vert^2_2\}$

对于单个维度

来说：

$w^{t+1}_i=argmin_w\{z^t_iw_i+\lambda_1\vert w_i \vert + \frac{1}{2}(\lambda_2+\sum_{s=1}^t\sigma^s)w^2_i\}$

对上式，假设

是最优解，令上式导数等于0可得：

$z^t_i+\lambda_1sgn(w^*_i)+(\lambda_2+\sum_{s=1}^t\sigma^s)w^*_i=0$

我们分三种情况进行讨论

当

$\vert z^t_i\vert\leq\lambda_1$ 时：

当

时，满足

$sgn(0) \in (-1,1)$ ，成立

当

时，

$z^t_i+\lambda_1sgn(w^*_i)=z^t_i+\lambda_1\geq0$ 且

$(\lambda_2+\sum_{s=1}^t\sigma^s)w^*_i>0$ 上式不成立

当

时，

$z^t_i+\lambda_1sgn(w^*_i)=z^t_i-\lambda_1\leq0$ 且

$(\lambda_2+\sum_{s=1}^t\sigma^s)w^*_i<0$ 上式不成立

当

$z^t_i>\lambda_1$ 时：

当

时，不满足

$sgn(0) \in (-1,1)$ ，不成立

当

时，

$z^t_i+\lambda_1sgn(w^*_i)=z^t_i+\lambda_1>0$ 且

$(\lambda_2+\sum_{s=1}^t\sigma^s)w^*_i>0$ ，上式不成立

当

时，

$z^t_i+\lambda_1sgn(w^*_i)=z^t_i-\lambda_1>0$ 且

$(\lambda_2+\sum_{s=1}^t\sigma^s)w^*_i<0$ ，

有解，

$w^*_t=-(\frac{\beta+\sqrt{\sum_{s=1}^t (g^{(s)})^2}}{\alpha}+\lambda_2)^{-1}(z^t_i-\lambda_1)$

当

$z^t_i<-\lambda_1$ 时：

当

时，不满足

$sgn(0) \in (-1,1)$ ，不成立

当

时，

$z^t_i+\lambda_1sgn(w^*_i)=z^t_i+\lambda_1<0$ 且

$(\lambda_2+\sum_{s=1}^t\sigma^s)w^*_i>0$ ，

有解，

$w^*_t=-(\frac{\beta+\sqrt{\sum_{s=1}^t (g^{(s)})^2}}{\alpha}+\lambda_2)^{-1}(z^t_i+\lambda_1)$

当

时，

$z^t_i+\lambda_1sgn(w^*_i)=z^t_i-\lambda_1<0$ 且

$(\lambda_2+\sum_{s=1}^t\sigma^s)w^*_i<0$ ，上式不成立

综上，可得分段函数形式的闭式解：

$w^{t+1}_i= \begin{cases} 0, & if \ \vert z^t_i\vert<\lambda_1 \\ -(\frac{\beta+\sqrt{\sum_{s=1}^t (g^{(s)})^2}}{\alpha}+\lambda_2)^{-1}(z^t_i-sgn(z^t_i)\lambda_1), & \text{otherwise} \end{cases}$

论文内的伪代码

引入L2范数与否是等价的

我们不难发现论文[1]中的权重更新公式中是没有L2正则项的，但是伪代码中却有L2正则项系数

$\lambda_2$ ，这是因为更新公式中的超参数

$\frac\beta\alpha+\lambda_2\approx\frac\beta\alpha$ ，相当于通过调节超参，引入L2范数与否没有区别。论文中的伪代码这样写，相当于减少了一个超参数，如果是调过参的同学就知道减少一个超参数意味着什么。

为什么学习率长这样

类似Adagrad的思想

用硬币实验解释todo

去除正则项的FTRL等价于SGD可推导

论文原话是Without regularization, this algorithm is identical to standard online gradient descent.

如何直观理解累积梯度的作用

在实现上，full train和increment train的有什么区别

FTRL工程实现上的trick

近似代替梯度平方和

如果不理解，回去仔细研究LR的公式。

去除低频特征

由于长尾，大部分特征是稀疏的，且频次很低，online的场景无法用batch的方式去统计特征频次。论文提了两个方案，以泊松概率p决定特征是否更新和建立Bloom Filter Inclusion。我看大部分实现都是用Bloom Filter。

负采样，权重更新时除以负采样率

使用更少的位来进行浮点数编码

四个超参的经验值

如何用FTRL做广告探索todo

[1] McMahan, H. Brendan, et al. "Ad click prediction: a view from the trenches." Proceedings of the 19th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2013.

[2] 张戎 FOLLOW THE REGULARIZED LEADER (FTRL) 算法总结 https://zhuanlan.zhihu.com/p/32903540

ftrl 流式更新 java_深入理解FTRL相关推荐

ftrl 流式更新 java_分布式FTRL优化算法的实现
之前实现过Parameter Server框架下的分布式FTRL优化算法,用的是DMLC的ps-lite.在PS架构下,集群分为worker.server.scheduler三种线程.其中worker ...
技术13期：一文读懂Flink的流式处理及窗口理解
Apache Flink是一个框架和分布式大数据处理引擎,可对有界数据流和无界数据流进行有状态计算.可部署在各种集群环境,对各种大小的数据规模进行快速计算. Flink基本概念流处理:特点是无限.实 ...
(流式、lambda、触发器)实时处理大比拼 - 物联网(IoT)\金融,时序处理最佳实践
标签 PostgreSQL , 物联网 , 传感器 , lambda , 调度 , 实时 , 流式更新 , UPSERT , insert on conflict do update 背景越来越多的 ...
java中Lambda+流式编程讲解（心得篇）
首先举一个例子来说明,我们要在一群人里面刷选一些,首先自己写一个Person类: package 任务十三__流式计算.公司;import java.util.Objects;/*** @author ...
spring jpa 流式_从响应式Spring Data存储库流式传输实时更新
spring jpa 流式这篇文章详细介绍了从数据库到对该数据感兴趣的任何其他组件进行流更新的幼稚实现. 更准确地说,如何更改Spring Data R2DBC存储库以向相关订阅者发出事件. 对R2 ...
websocket 流式传输交易订单更新
文章目录 1.获取Binance API和Secret 2. 流式订单更新 2.1. 生成监听键 2.2. Websocket 端点 2.3. 流媒体连接 2.4. 消息处理 2.4.1 订单更新 2 ...
Flink 理解流式计算中的窗口概念
一.描述 Window 是处理无限流的核心.Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层的引擎是一个流式引擎,在上面实现了流处理和批处理. 而窗口(Wind ...
流式机器学习算法的入门和认知
一.流式计算背景 1.概述其实技术总在更新,做这个行业也是一直要走在学习并适应的路上,这也是人工智能领域最吸引我的地方,其实基础的理论是不变的,但是随着业务的发展,计算能力的发展,上层的实现总是在迭 ...
PAI通过流式机器学习算法解决实时热点新闻挖掘案例
打开新闻客户端,往往会收到热点新闻推送相关的内容.新闻客户端作为一个承载新闻的平台,实时会产生大量的新闻,如何快速挖掘出哪些新产生的新闻会成为成为热点新闻,决定着整个平台的新闻推荐质量. 如何从平台 ...

ftrl 流式更新 java_深入理解FTRL

ftrl 流式更新 java_深入理解FTRL相关推荐

最新文章

热门文章