机器学习第四篇----MAB（多臂老虎机）一次失败的尝试

最近在搞推荐，选型了了MAB，但是最终尝试失败

首先介绍一下，什么是MAB？
一个赌徒，要去摇老虎机，走进赌场一看，一排老虎机，外表一模一样，但是每个老虎机吐钱的概率可不一样，他不知道每个老虎机吐钱的概率分布是什么，那么每次该选择哪个老虎机可以做到最大化收益呢？这就是多臂赌博机问题（Multi-armed bandit problem, K-armed bandit problem, MAB）。

推荐系统和MAB：
推荐系统中一个难点之一就是冷启动，冷启动的场景：如何给新用户做个性化推荐。因为没有历史数据，无法预测出用户的喜好。这种场景是每个网站或者APP启动的时候遇到的问题。
这种问题就很适合用MAB算法来解决：
MAB算法中有几个关键元素：臂、回报、环境
臂：每次选择的候选项，如老虎机的摇臂
回报：就是选择一个臂之后得到的奖励，好比老虎机吐出来的金币
环境：就是决定每个臂不同的那些因素，统称为环境

对应到推荐系统中
臂：每次推荐要选择的候选池，可能是具体物品，可能是推荐策略，也可能是物品类别
回报：用户的回馈，喜欢则是正面回报，没有买账就是负面回报或零回报
环境：推荐系统当前面临的这个用户就是未知的环境

但是我们针对MAB的尝试失败了，总结了一下原因：
1.MAB属于探索的过程，在这期间推荐效果可能好，也可能差很多，这是算法本身决定的。
2.MAB的试用场景，应该是高频业务，低频的业务不适合
3.业务本身的波动要小，如果业务本身的波动很大，很难试用AMB优化出很好的效果。
4.回报率在我使用的业务中很难计算

机器学习第四篇----MAB（多臂老虎机）一次失败的尝试相关推荐

机器学习第四篇：详解决策树算法
01|背景: 我们在日常生活中经常会遇到一些选择需要去做一些选择,比如我们在找工作的时候每个人都希望能找到一个好的工作,但是公司那么多,工作种类那么多,什么样的工作才能算是好工作,这个时候就需要我们对 ...
Multi-Armed Bandit（MAB）多臂老虎机问题学习笔记
(17条消息) 推荐系统详解(六)MAB问题_ziqiiii的博客-CSDN博客_上下文多臂强盗(mab)问题 (18条消息) UCB--上界置信算法_电通一枝花的博客-CSDN博客_ucb算法图例 ...
强化学习——day12 多臂老虎机问题MAB
在多臂老虎机(multi-armed bandit,MAB)问题(见图 2-1)中,有一个拥有根拉杆的老虎机,拉动每一根拉杆都对应一个关于奖励的概率分布 .我们每次拉动其中一根拉杆,就可以从该拉杆对 ...
如何高效运作机器学习团队（机器学习入门第四篇）
本文是机器学习入门教程的第四篇,前三篇分别是: 1.机器学习能为你的业务做什么?有些事情你肯定猜不到 2.关于机器学习算法你需要了解的东西 3.如何开发机器学习模型? 我们已经讨论了开发机器学习模型 ...
强化学习——day31 多臂老虎机MAB的代码实现（Python）
多臂老虎机MAB的代码实现 2.3 算法基本框架搭建 2.4 epsilon贪心算法 2.4.1 参数为0.01的绘图 2.4.2 不同的参数 2.4.3 值随时间衰减的 epsilon-贪婪算法 2 ...
机器学习（四）：CART分类树（基础篇）
机器学习(四):CART分类树(基础篇) 相关的决策树文章: 机器学习(四)ID3决策树机器学习(四)C4.5决策树机器学习(四)CART回归树机器学习(四)决策树绘图机器学习(四)剪枝技术 ...
机器学习（四）：剪枝技术（基础篇）
机器学习(四):剪枝技术(基础篇) 相关的决策树文章: 机器学习(四)ID3决策树机器学习(四)C4.5决策树机器学习(四)CART分类树机器学习(四)CART回归树机器学习(四)决策树绘图 ...
UR机器人装箱姿态_UR10 RG2机械臂手臂+RealsenseZR300 机器人手眼标定系列第四篇
UR10 RG2机械臂手臂+RealsenseZR300 机器人手眼标定系列第四篇发布时间:2018-09-18 17:43, 浏览次数:1180 , 标签: UR RG RealsenseZR ...
第七十四篇：机器学习优化方法及超参数设置综述
第七十四篇:机器学习优化方法及超参数设置综述置顶 2019-08-25 23:03:44 廖佳才阅读数 207更多分类专栏: 深度学习版权声明:本文为博主原创文章,遵循 CC 4.0 BY-S ...

机器学习第四篇----MAB（多臂老虎机）一次失败的尝试

机器学习第四篇----MAB（多臂老虎机）一次失败的尝试相关推荐

最新文章

热门文章