Machine Learning - A/B Test

A/B test 并不是机器学习独有的概念，事实上随处可见，来感受下我身上的俩例子… 前两天买了一箱咖啡，打开后大部分还依旧是喜欢的包装，但有一小部分新包装，同时收到了用户调查，问是否喜欢新包装… 还比如，老婆给做饭，掺了一些新牌子的大米，问我口感咋样… 相信你也应该能立刻联想到自己也在不知不觉中被动做了很多A/B Test… LOL

那么回到机器学习，当创建了两个模型，或者同一个但使用不同参数的模型，怎么evaluate哪个好哪个坏？这时就可以考虑使用 A/B test；可将待比较的模型同时部署，通过控制流量/traffic，来比较两个模型的实际效果；

下面一个简单例子来实际展示下A/B Test在 Machine Learning中的应用；

下面例子使用MLflow打包SKlearn模型文件，Seldon模型部署

模型训练

并不是数据科学家，算法部分直接使用官网例子，请不要见笑

先在本机Jupyter内使用不同参数(红框)创建两个模型；

A/B TEST

下面我会将这两个模型，同时部署到Seldon上，使用Istio做流量分发管理；

可以看到红框处定义了，model-a 80%的traffic，model-b 20%的traffic；

now部署，稍作等待就会看到这里有2个pod，与model是1-1的；

同时，不仅是pod，service和endpoint也都一并1-1的启动了；

接下来就要看看Istio作为Ingress是否启用，同时traffic是否分发正确；注意，这里虽然是两个model，但公用一个 API URL；

首先我们用Postman模拟用户的请求，先跑它个1000次；

因为要做predict，需要参数，下面是单次预测结果；

运行的同时就可以去Istio瞧瞧了，果然traffic是按照8-2分的，不欺我也；

万事具备，只欠evaluate了… 只是我的电脑实在不给力，这个时候歇菜…

不过最后一步就是看这两个model哪个好哪个坏了，类似与下图，只不过里面会有这两个model的数据，两种颜色哦，下次补个图…