6.1　什么是SRM问题

SRM问题主要是指实验组和对照组之间的实验参与单元数量（比如用户数、页面数、会话数等）的比率不匹配。比如，实验设计要求将一定比例的用户暴露给这两组变量，结果应该与设计非常匹配。由于可能受实验影响，不同实验组的指标会出现差异不同，将用户暴露于不同实验组必须独立于实验处理，因此不同实验组中的用户比例应该与实验设计相匹配。

举例来说，在一个实验中，实验组和对照组分别被分配10%的用户，理想的情况是在每个组中看到大致相等的用户数，而实际结果是实验组有821588个用户，对照组有815482个用户。两者的比率是0.993，而根据实验设计比率应该是1.0。0.993的样本比率的P值为1.8×10-6（计算方法见6.3.1节），意味着在实验组和对照组具有相同用户数量的设计中，出现此比率或更极端情况的概率为1.8×10-6。于是，我们认为这属于观察到了一个极不可能发生的小概率事件。

由于小概率事件发生了，因此我们倾向于认为实验的实现过程有较大概率存在错误。因为大概率存在错误，所以不应该信任该实验的任何指标和结果。简单来说，在样本比例的P值较低，且实验样本量足够大的时候，大概率存在SRM问题，此时其他的指标也无法被信任和采用，基本都是无效的。SRM问题体现为实验组和对照组的实际比例和理论比例有所偏差，而分析基于的是理论比例，这个偏差使得分析结果失真，严重时甚至会得到完全相反的结论。

需要特别注意的是，SRM问题中用户比率采用的数量是暴露给实验的全部用户，而不是实验后续漏斗路径中的用户，漏斗用户量的差异可能是实验效果导致的，这不属于SRM问题。