第2章　AB实验的关键问题

在日益浓厚的数据文化中，特别是在互联网领域，大家逐渐养成了“用数据说话”“一切都用实验决策”的思维方式。在过去几年里，我们看到AB实验大量增长，不仅实验组合更加多样化，每个实验观测的指标数量也大幅增加，有些实验的评估指标甚至增长到了成百上千个。AB实验的基本原理看似很简单，但在缺乏经验的实验者手中、简陋的AB实验平台上还是非常容易出错的。在没有很好的实验指导、良好的平台支撑的情况下，大部分人都无法设计有效的AB实验，不能正确地消化这成百上千个实验指标的结果。根据一项调研，实际上可能有三分之一的AB实验都存在问题。对AB实验的错误解读会导致非最优决策以及对业务增长的不准确预期，从而损害公司的长期利益。

导致AB实验结果被误判的原因有很多，从有偏差的实验设计、有偏差的用户选择到有偏差的统计分析，以及试图将AB实验结果推广到实验总体、实验时间框架之外等。本章主要基于AB实验的基本过程以及AB实验所需的基本技术要素，总结在进行AB实验的过程中，各个环节上可能存在的问题。