如何测试概率性事件-二项分布置信区间

前言

日常开发测试可能会遇到这样一种情况，有一个接口或方法概率触发，那么需要多少次抽样，落在一个什么区间内，才能断定是否按照设定概率进行呢？

本文将以二项分布作为研究手段，分两种情况求解此类问题的置信区间范围，并结合实际案例进行分析。

背景

某一天，测试同学在验证一个接口时遇到了一个问题。

该接口设定为50%概率触发，测试同学写了自动化脚本进行多次调用。

但是问题来了，他并不知道应该调用多少次，然后落在一个什么区间内才算测试通过。

极大的扩大样本容量，然后给一个模糊的范围边界确实能解决这个问题，但是测试同学并不满足于此，他要一个精确的数字！

因此我只能满足他任性的要求，提笔拯救测试同学。

解题思路

在这种情况下，触发 or 不触发 此类概率问题可以看作一个二项分布，我们的目的在于经过一定量的样本测试之后判断测试出来的概率是否落在置信区间内。

那么就需要考虑这几种极端情况：

1.概率太小

2.概率太大

3.样本数很小

4.样本数很大

在二项分布中，可以将样本数与事件概率综合起来考虑，合并为以下两种情况

(a) 概率比较正常或样本数较大 —— np > 5 and n(1-p) > 5

(b) 概率比较极端或样本数较小 —— np <= 5 or n(1-p) <= 5

（n ：样本总数，p：概率）

二项分布的置信区间估计方法常用的有两种，一是正态分布近似方法，即 Normal Approximation Method；二是精确置信区间法，即 Clopper-Pearson Method。

对于这两种情况可分别应用这两种方法进行求解。

Normal Approximation Method

很容易可以想象出当样本数足够大的情况下，二项分布的曲线分布会愈发趋向于近似正态分布。

因此在情况a中适用于正态分布近似。

置信区间计算公式：

因此使用了正态分布近似，因此Z value用的也是正态分布的Z value。

p: 样本中所测得的事件发生概率

a: I类错误率

Z: Z value常量，可查表得知

n: 样本总数

该方法的优点在于简单易于理解，但是在极端情况中精度会很差。

Clopper-Pearson Method

在情况b中适用于精确置信区间法

置信区间计算公式（贼复杂，网上大多数贴的都是这个）：

但是可以发现上述公式是基于Binomial Cumulative Distribution Function，可以通过Beta Distribution来计算，因此经过简化可得如下置信区间计算公式。

置信区间计算公式（经过简化）：

n: 样本总数

k: 成功数量

a: I类错误率

BetaInv: 一个算法函数，完全不用理解具体细节，找个别人实现的直接调用即可（包括excel）

这样一来就简单的多了，我甚至可以拿excel解出来。

该方法的优点就在于可以处理极端情况，p是0或1的情况也阔以。

实际案例

案例一（正态分布近似法）

问题：一个50%概率的接口，测试50次，成功28次，判断是否正常。

p = 28/50 = 0.56

np = 0.56* 50 = 28 > 5

n(1-p) = 0.45 * 50 = 22 > 5

因此使用正态分布近似法。

置信度假设为95%，因此查表得知Z值为1.96

Z = 1.96

p = 28/50 = 0.56

n = 50

代入可得，置信区间为[0.56 - 0.14, 0.56 + 0.14]这个范围，因此0.5确实落入这个置信区间，所以可以暂时认为这个我这个接口没问题！

案例二（精确置信区间法）

问题：一个17%概率的接口，测试50次，成功3次，判断是否正常。

p = 3 / 50 = 0.06

np = 0.06* 50 = 3 < 5

适用于精确置信区间法。

假设置信度为95%

a = 0.05

n = 50

k = 3

使用Excel或其他方法

计算可得：

Pub = 0.1655

Plb = 0.0125

置信区间为[0.0125, 0.1655]，所以17%概率的接口没有落在置信区间内，可以认为在95%置信度的情况下，该接口出现了问题。

总结

测试概率是测试过程中一个比较模棱两可的事情，如何进行概率事件的测试并有效的发现问题是非常必要的。

因此在上文中我主要将此类问题模拟成二项分布进行求解，求得置信区间从而进行较为准确的判断。

但是有一点要注意的是在上文两个案例中都是以95%置信度作为前提，实际上是存在发生I类错误的可能性，所以测出了问题只能说大概率可能出现了问题，而不能立马给一个绝对性的结论，这样是不科学的。

个人建议是根据统计学经验，先测个30+次，能用正态分布近似覆盖就尽量先使用正态分布近似。