以下图表概述了实验平台团队使用的实验方法的类型：

图1. Uber的实验平台同时进行随机实验和观察性研究。

有多种因素决定了我们应将哪种统计方法应用于给定的用例。广泛地，我们使用四种类型的统计方法：固定水平A/B/N检验（t检验，卡方检验和秩和检验），序贯概率比检验（SPRT），因果推理检验（合成控制和双重差分方法），以及使用多臂老虎机算法的连续A/B/N测试（汤普森采样，置信上限和具有贝叶斯优化的多臂测试）。在统计分析中计算 I 类和 II 类错误的可能性时，我们还应用分块抽样和增量法来估计标准误差，以及回归法来测量偏差校正。在本文中，我们将讨论Uber实验平台如何使用这些统计方法中的每一种来改善我们的产品。

1. 经典 A/B 测试

在许多定量科学领域中，随机A/B或A/B/N测试被视为黄金标准，用于评估处理效应。本质上，经典的A/B测试将用户随机分为对照组和处理组，以比较这些组之间的决策指标并确定实验的治疗效果。