618临近,各大电商APP的预热活动已然拉开序幕。对企业而言,一场活动从策划到上线,中间经过效果验证,其业务成本很高。一个好的活动创意从策划、开发、到最终发布,至少会经历几周实践,如果中间还经历A/B实验的小流量效果验证,会更加耗时耗力。但一个不容忽视的现状是,很多短期的线上活动很可能前几次的A/B实验结果都是不显著的,但由于活动排期紧凑、实验调试时间短,常规A/B实验能为活动优化带来的收益常会收效甚微。

企业在短周期的活动运营场景中,如何通过快速、低成本的A/B实验,获得更好的收益呢?火山引擎A/B测试DataTester推出的新功能——MAB智能调优实验,可以解决企业短周期活动运营场景的A/B实验痛点。

传统A/B实验依赖于统计显著性的经典假设检验,在实验期间不能够变更每个子版本的流量;因此这类实验需要至少7天的专门预留周期、要有足够的样本进入实验,并且在实验开始后不能有任何变动,才可能得出显著结果。而不同于传统的A/B实验,DataTester的MAB智能调优实验能支持1-2天的短期快速A/B实验,实验以整个活动收益最优为核心目标,可实现动态实时的流量调节。

以某款游戏APP促活活动实验为例,该APP接入了火山引擎DataTester,希望验证多文案push场景下,MAB智能调优策略能比均匀分流的策略带来点击率更高的收益。

该APP的运营团队首先拟定了4款不同的推送文案:

  • 标题1:巨量元宝限量发!!!

  • 内容1:宝箱已满,整整300颗元宝待领\n马上点击获得>>