图片说明： 生成的模型转化率图表，展示了“控制”和“挑战”相对于主要目标的每日差异。
一旦样本量和结果被确定为“具有统计意义”，一项体验将被宣布为获胜者。除此之外，建模工具还将能够总结出获胜体验将产生多大影响。
：说明抽样分布的图表
图片说明：该图显示了置信水平为 的错误概率的抽样分布
需要注意的事项
时间
测试时间越长，出错的几率就越低。“优化”至少需 求职者数据 要 周，但这只是一个基准。我们必须有足够多的代表性样本，这些样本都是经历过 或 体验的用户的加班经历，我们才能得出结论。
次要目标
我们的主要目标是在 测试设置期间重点关注的方面，但是，认识到测试对我们的次要目标的影响也很重要。例如，如果“挑战者”成功吸引更多用户访问某个页面，但退出率却大幅增加，这是否表明测试总体上是成功的？
未找到领导者
不确定的结果很常见，但也不全是坏消息。这仅仅意味着“挑战者”的表现既没有优于“控制者”，也没有低于“控制者”。我们可以反思、修改、重新假设并再次测试。
绩效分析师团队的下一步计划是什么？
我们的目标是让团队能够轻松地尝试新的假设，并在实施之前使用可用的工具来测试想法。随着我们不断壮大积极进取、才华横溢的团队，我们将继续朝着这一愿景努力。
我们将与产品负责人密切合作，建立产品性能评估，并与服务团队密切合作，在每个阶段嵌入性能分析流程。这样，我们就可以在整个产品生命周期中通过数据主导的决策来支持团队。