2.2　实验随机分流的3个问题

在对实验参与对象随机分流的环节中有如下3个关键问题。

●最小分流单元采用什么颗粒度是最佳的选择，是元素级别、页面级别、会话级别还是用户级别？选择不同颗粒度的最小分流单元，在评估实验效果的时候有什么不同，需要注意哪些问题？这些问题会在第4章详细讨论。

●在分流的时候，如何在不增加实验评估复杂度的情况下实现流量复用，基于产品和各个系统的综合考虑，采用什么样的流量框架是最合适的？采用什么样的随机函数可以提升随机分流的性能？这些问题会在第5章详细讨论。

●对于同一个实验中的各组实验对象，它们是同质的吗？存在SRM问题吗？如果存在这些问题，观察到的实验组和对照组之间的差异不是实验导致的，而是引入了其他系统性偏差，这就有可能导致有偏差的结论，甚至反向的结论。获得有偏差的结果是一场噩梦，它使整个AB实验徒劳无功。如果没有正确的诊断算法，找出这些偏差的根本原因并修复它，往往比运行AB实验本身需要更长的时间。根据一项调查，仅这种SRM问题导致AB实验无效的比例大约占所有无效实验的10%。关于随机分流，以及用户SRM等问题，会在第6章详细讨论。