UCB（Upper Confidence Bound）算法

在推荐系统中，通常量化一个物品的收益率（或者说点击率）是使用点击数/展示数，例如点击为10，展示数为8，则估计的点击率为80%，在展示数达到10000后，其表现ctr是否还能达到80%呢？显然是不可能的。而这就是统计学中的置信度问题，计算点击率的置信区间的方法也有很多，比如威尔逊置信空间

UCB算法步骤包括：首先对所有item的尝试一下，然后每次选择score值最大的那个：

Input: N arms, number of rounds T >= N

step.1. For t = 1 … N, play arm t
step.2. For t = N+1 … T, play arm

其中step.2. 中，play arm 时选取的item应该是经过排序的，排序score的计算方式为：
s c o r e ( j ) = C j , t T j , t + 2 ln ⁡ t T j , t score(j) = \frac { C _ { j, t } } { T _ { j , t } } + \sqrt { \frac { 2 \ln t } { T _ { j , t } } } score(j)=Tj,tCj,t+Tj,t2lnt

其中，式子“+”的左半部分为物品到目前的收益均值，右半部分本质上是均值的标准差。

t: 总实验次数
T(j,t) ： j 帖子被推荐次数
C(j,t) ：j 帖子被点击次数

这个公式表明随着每个物品试验次数的增加，其置信区间就越窄，收益概率就越能确定。如果收益均值越大，则被选中的机会就越大（exploit），如果收益均值越小，其被选中的概率也就越少，同时哪些被选次数较少的item也会得到试验机会，起到了explore的作用。

UCB（Upper Confidence Bound）算法相关推荐

Bandit算法学习[网站优化]04——UCB(Upper Confidence Bound) 算法
Bandit算法学习[网站优化]04--UCB(Upper Confidence Bound) 算法参考资料 White J. Bandit algorithms for website optim ...
强化学习笔记：多臂老虎机问题(6)--Upper Confidence Bound
目录 0. 前言 1. 算法原理 2. Python仿真 2.1 k_armed_bandit_one_run()改造 2.2 仿真对比Epsilon-greedy方法和UCB方法 3. 习题 0. ...
【强化学习】多臂老虎机——E_greedy、UCB、Gradient Bandit 算法代码实现
多臂老虎机 import numpy as np import matplotlib.pyplot as pltclass E_greedy:def __init__(self,arm_num=10, ...
聊一聊推荐系统中ExploitExplore算法
Exploit:利用 Explore:探索推荐系统中,如果片面优化用户的喜好,推荐系统可能会造成信息茧房问题.也就是推荐的东西都是用户喜欢的东西,千篇一律.这时候不仅仅需要Exploit,还 ...
腾讯QQ大数据：神盾推荐——MAB算法应用总结
导语:在推荐领域,用户或物品的冷启动,以及如何使推荐结果更加多样的问题在很多实际应用场景中都会遇到.本文主要讲述了神盾推荐在腾讯内部业务场景中,使用MAB方法来解决这两个问题的经验总结,同时本文也较为 ...
【推荐算法】探索与利用
"探索与利用"机制是在"探索新数据"和"利用旧数据"之间进行平衡,使系统既能够利用旧数据进行推荐,达到推荐系统的商业目标,又能高效地探索冷启 ...
走马观花AutoML
1 前言在上一篇文章中,我们提到了几个算法深入方向,包括AutoML,模型解释.正好这两个话题之前也在公司有做过一些内部分享,接下来会逐渐整理成文,与大家探讨交流.这篇文章会主要以<Autom ...
Exploitation and Exploration
推荐系统的经典问题之一,利用(Exploitation) 与探索(Exploration)问题 Exploitation:满足已知的用户需求 Exploration:探索未知的用户需求 Exploi ...
【论文精度】AutoBERT-Zero （使用NAS搜索预训练语言模型）
AutoBERT-Zero 论文地址: https://arxiv.org/pdf/2107.07445.pdf Abstract 基于 Transformer 的预训练模型,如 BERT 在很多 ...

UCB（Upper Confidence Bound）算法

UCB（Upper Confidence Bound）算法

UCB（Upper Confidence Bound）算法相关推荐

最新文章

热门文章