实验

一、实验设计
- 1.选用什么实验方式？
- 2.实验形式
- 3.实验时长的确定--最小样本量计算
- - 为什么要计算？
  - 如何计算？
- 4.需要注意的控制变量是什么？
- 5.实验设计的书写注意事项
二、实验评估
- 1.AB 实验
- - 1.1统计量
  - - a 均值检验
    - b 比率检验
    - c 0-1分布检验
    - d t配对检验结合PSM-DID 使用
- 2.时间片轮转实验
- 3.全量实验
- - 3.1 DID方法
  - 3.2 casual impact（bsts）--预测指标的方法之一
  - 3.3 合成控制法--预测指标的方法之二
  - 3.4 ARIMA 、prophet --预测指标方法之三
  - 3.5 抽样匹配的方法

为什么要做实验？为了验证策略迭代是否有效果，效果如何。
如何做实验呢？
实验的假设是什么？
除了实验策略外，其他影响因素对观测指标影响不显著，在实验组、对照组见影响程度方向一致。

一、实验设计

1.选用什么实验方式？

如何验证一个策略的效果呢？一般看可以使用AB实验，设置实验组、对照组分别对应有无策略，最终对比两组效果，以达到策略效果的目的。
但是实际实施过程中，有些情况无法使用AB实验，只能是全局策略的情况，例如禁烟效果评估，那么这样的实验如何设计？可以直接使用策略，观察前后的效果差异，如若有其他影响策略效果的因素无法排除，可使用全样本量的实验方法近似评估。
此外，如若不考虑实验对象的体验，也可以使用有无策略交替的情况来分别当做实验组、策略组进行效果评估。

2.实验形式

线上分流还是离线分流？
线上分流，实时进入观察对象，实时分组。
离线分流，提前准备好实验组、对照组的名单。

3.实验时长的确定–最小样本量计算

样本是研究总体中抽取的一部分。

为什么要计算？

对一类、二类错误有一定的要求，能接受一定的弃真、取伪的概率，但是不能毫无限制，毫无限制会导致实验结果不具有参考性。

如何计算？

可用工具
计算时需要使用的参数
python实验传送门

传送门

4.需要注意的控制变量是什么？

随机分人群真的就是完全随机吗？
对于其他影响实验结果的情况，需要在分组的时候，控制到随机。尽量做到实验不交叉。

5.实验设计的书写注意事项

与业务确认：实验业务目的、实验预期结果、实验组别个数与对应的策略
科学计算：设计实验方式、组别的样本量、实验时长
备注假设：实验组、对照组无其他因素影响，有的话与策略无交叉影响，影响程度方向一致
选择什么时间上实验，最好避免与其他实验同时发生。如果有影响则策略评估效果有偏差，如果无法避免或无法获知，则只能假定不影响实验。

二、实验评估

1.AB 实验

1.1统计量

针对绝对量、率值指标、0-1指标分别使用什么分布进行评估呢？
根据中心极限定理，样本容量很大时，分布会渐近服从正态分布。由于实际总体的方差未知，所以实验使用 z检验。但是对于不同分布的样本均值、方差计算公式不同。
根据要观察的指标，使用不同的统计量。

普通绝对值指标，范围(-无穷, +无穷),用T检验/Z检验；
离散指标，卡方检验；
比率指标,；
0-1分布的指标,。

a 均值检验

b 比率检验

c 0-1分布检验

d t配对检验结合PSM-DID 使用

比率指标
实验评估思路：假定策略没有效果，再此基础上验证策略结果出现的概率，如果很小（<0.05），那么认为实验的结果确实跟之前有显著的不同，实验结果有效。

2.时间片轮转实验

当策略不能做分组实验的时候，可以从时间角度，在不同时段轮转有无策略，来当作实验组、对照组。假定其他对结果有影响的策略在实验组、对照组的影响方向&程度一致，以此来评估实验效果。

以时间作为AB的轮转，时间片的长度如何确定？
可以检验历史的不同时间片长度之间是否有显著差异，来决定。
当涉及到策略会有延迟的时候，时间片的长度应尽量放宽，防止实验策略滞后到对照组，影响实验效果。
实验长度
一般选取双数周未长度，来剔除不同时段、不同工作日的影响。

（待补充）VCM评估方法？

3.全量实验

预测类方法
假定原指标的趋势稳定的情况下，构建反事实框架，使用各种方法预测假如没有实验的情况下，预测指标的趋势。以实际与预测情况对比查看实验效果。

3.1 DID方法

实验组：实际策略后的指标
对照组：假如未进行试验的指标情况（根据预测来求得）
Yt = a0+a1T+a2D+a3TD+u
a3就是策略效果，可以通过回归获得系数与显著性。
实验期间，实验组与对照组的数值差异 = 实际策略差异 + 预测拟合的误差
拟合误差可用实验前的拟合效果求得。
策略效果 = 实验期实验组与对照组的数值差异 - 实验前预测拟合的误差
如何预测无策略时指标？时间预测：ARIMA、prophet、H_P滤波等等均可
传送门

3.2 casual impact（bsts）–预测指标的方法之一

使用其他可拟合全量实验的样本，根据时间波动趋势来拟合。
R包传送门

3.3 合成控制法–预测指标的方法之二

使用其他可拟合全量实验的样本，根据时间波动趋势来拟合。
合成控制法理论传送门

3.4 ARIMA 、prophet --预测指标方法之三

完全使用自身波动趋势，无需其他可参考群体。

3.5 抽样匹配的方法

原理传送门
代码传送门-应该有更全的吧

当我们做实验的时候，我们在做什么？相关推荐

报道 | 本科4篇顶会论文如何做到？清华特奖干货分享：我是这样写论文、做实验、与导师相处...
↑↑↑↑↑点击上方蓝色字关注我们! 『视学算法』转载作者:量子位编者按: 清华本科特奖获得者.清华计算机大四学生高天宇的顶会论文干货分享,手把手教你打开本科生/嗑盐小白科研之门的门钥匙. 本科生, ...
本科4篇顶会！清华特奖高天宇干货分享：我是这样写论文、做实验、与导师相处...
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达鱼羊晓查发自凹非寺本文转载自:量子位(QbitAI) 本科 ...
我有一个顶会idea还没做实验，NeurIPS：先占坑再实验！
作者 | 青暮相信大家对费马大定理都不陌生,x^n +y^n=z^n.一个简单无比的方程式却是难到几百年后才被数学家解决.而这其中最令人着迷的,当属费马当年在手稿留下的一句话:我这里有一个绝妙的证 ...
科学家正让AI自己做实验，想要机器摆脱人类的直觉
本文来自AI新媒体量子位(QbitAI) 如果说这是未来的生物实验室,它似乎与现在的实验室没有多大差别. 里面有身穿白大褂的科学家,还有许多放着冷冻试管的盒子.架子上的化学品--有一瓶瓶的纯酒精.一罐 ...
Make!Sense 动手好伴侣，带你轻松做实验
Make!Sense 动手好伴侣,带你轻松做实验你是否对大自然各种神奇的现象充满了好奇心,但面对错综复杂的实验却无从下手?无论是实验步骤还是所需材料,对普通人来说都太难 get.而 Make! ...
console.log()不显示结果_RNA结合蛋白与RNA的缠绵故事，教你不做实验发文章
解螺旋公众号·陪伴你科研的第1869天继续学习如何不做实验发文章 RNA结合蛋白是(RNA binding protein,RBP)细胞中一类可以识别特殊的RNA结合域与RNA互作,并参与RNA剪切 ...
硕士可以跟别的导师做实验吗_如何成为一名导师可以成为双刃剑
硕士可以跟别的导师做实验吗 Mentoring is the ability to give advise or train someone, often times, who is less kno ...
做实验好比开车，危险一直都在，为啥出事的就是你？
做实验好比开车,危险一直都在,为啥出事的就是你? 3月31日,中科院化学所发生一起实验室爆炸事故,一名女学生当场死亡.事故原因初步判断为该学生实验时操作不当,反应釜未冷却时强行打开导致的爆炸! 事故发 ...
1000瓶无色无味的药水，其中有一瓶毒药，10只小白鼠拿过来做实验。喝了无毒的药水第二天没事儿，喝了有毒的药水后第二天会死亡。如何在一天之内(第二天)找出这瓶有毒的药水？
题目:1000 瓶无色无味的药水,其中有一瓶毒药,10只小白鼠拿过来做实验.喝了无毒的药水第二天没事儿,喝了有毒的药水后第二天会死亡.如何在一天之内(第二天)找出这瓶有毒的药水? 第一次看这个问题完全 ...
用计算机做科学实验心得体会,做实验的心得体会3篇
生物学是一门以做实验为基础的自然科学,现代生物科学的发展尤其依赖科学实验.下面是学习啦带来的做实验心得体会,欢迎欣赏. 做实验的心得体会一: 实验教学是电工课教学的重要组成部分,电工知识的讲授离不开实 ...

当我们做实验的时候，我们在做什么？

实验

一、实验设计

1.选用什么实验方式？

2.实验形式