AB实验:科学归因与增长的利器
上QQ阅读APP看书,第一时间看更新

3.3 样本容量和边际误差

基于抽样分布中样本容量以及边际误差的分析,想要增加置信水平有两个方法。

●可以通过增加样本容量n来改变分布形状,使钟形更加集中。这方法的好处是可以在不增加边际误差的情况下增加置信水平。

●增大边际误差,即增加置信区间的宽度,可以在不改变样本容量的情况下,增加置信水平。

不同的指标类型,有不同的边际误差计算方法。指标主要分为均值类指标和比率类指标两种。

3.3.1 均值类指标

均值类指标的边际误差公式如下。

不难看出,边际误差和样本容量成反比,和方差成正比,和显著性水平成正比。在实际运用中,由于显著性水平的要求是相对固定的,一般为95%,变化空间比较小,因此方差一般是由样本数据计算得出,能通过一些手段,比如指标选择、异常处理等(详见第8章)进行改变。指标选择、指标计算方式的流程固化后,改变的空间就比较小了。在这个情况下,当我们需要获得更小的边界误差的时候,就需要更大样本容量n。究竟需要多大的样本容量n才能满足需要的边界误差呢?我们可以根据如下公式推导得出。

这个公式的含义是,在当前的方差水平下,要以1-α的把握检测出边际误差不大于ε的变化,至少需要n个样本。边际误差究竟是指什么呢?直观来说就是在统计中,业务人员主观上可以接受的误差范围。在用户使用时长的案例中,业务人员可以接受的误差为0.05min内,则需要的样本容量如下。

如果需要将边际误差减少到0.1min内,则需要的样本容量如下。

再举一个例子,已知一个公司的员工工资方差是500元,调查人员希望通过抽样调查的方式获得所有员工的平均工资。调查人员认为,估计出来的平均工资有95%的概率(置信水平)在真实平均工资100元(边际误差)左右浮动,是可以接受的。需要抽取多少个员工进行统计作为一个样本,才能满足上述边际误差的要求呢?计算公式如下。

根据公式计算,抽取97名员工进行统计就可以满足要求。如果希望这个估计范围更加准确,设定边际误差为50元,也就是分析人员认为,估计出来的平均工资要在真实值50元上下浮动,那么所需样本量如下。

这次需要抽取385名员工进行统计才可以满足要求。可以看出,边际误差减少为原来的时,所需样本容量变成原来的4倍,是指数级关系。

在应用中,应该根据实际需要来提出边际误差。在满足业务需求的情况下,尽量采用较大的边际误差水平。本例中,边际误差减少一半,所需要的样本容量就变为原来的4倍,实验参与用户增加了,就可能延长实验周期,相应地增加了实验计算量。如果实验有负面影响,那么受到影响的用户增加了,就可能扩大商业收入的损失。因为边际误差是业务需要检出的最低变化幅度,所以又称为最小检出水平。

3.3.2 比率类指标

比率类指标(比如点击率)的方差计算和均值类指标有所不同,不过样本容量和边际误差计算原理类似,不难推导出比率类指标的区间估计公式。

注意,这里由于在抽样前是未知的,因此需要用一个近似值来代替它。近似值的选取方法如下。

●使用经验值或者通过小样本抽取、计算出一个近似值。

●如果上述方法不可行,可以取=0.5,保证n取的是一个最大值,也就是说为任何其他情况,所需要的样本容量都会比=0.5时需要的样本容量小。

举一个例子,一般推荐信息流中,点击率为10%,那么=0.1,按照5%的变化幅度,该指标的边际误差为10%×5%=0.005,可计算出此时需要的实验样本容量如下。

这个数据表示的含义是,用38416个用户估计出整体用户的平均点击率,有95%的概率误差在5%范围内。