UK Database

所以，这两种颜色都不是坏选择，但显然也不是最好的选择。对我们来说，至少在理论上，这个问题无法解决，这为 A/B 测试提供了绝佳的机会。

设计实验
在设计实验时，我们决定创建三种变体来测试以下内容：

“在此注册！”按钮颜色变化的效果
“在此注册！”按钮设计变更的影响
按钮 CTA 变化的效果
我们希望 A/B 拆分测试能够捕捉到重大变化。我们还希望能够在不超过五周的时间内获得具有统计意义的结果。考虑到我们每月接待的访客数量（约 200,000），我们知道 美国华侨华人数据 在这段时间内，如果我们在基线上创建三个变体，样本量将足够强大，能够以 95% 的统计置信度捕捉到大于 2% 的效应。

指定页面上的基准转化率为 11%。我们的主要目标是能够评估包含 CTA 的按钮颜色变化是否会对转化率产生明显且可衡量的影响（对于该按钮而言）。

我们有两个次要目标，这就是我们测试另外两个变体的原因。首先，比较按钮设计的变化是否会对相同的转化率产生更大的影响——我们想知道问题是否出在按钮本身而不是颜色上。其次，我们想知道我们当前的 CTA 文本是否是真正的问题，而不是按钮本身。

案例研究结果

考虑到我们每个变体的样本量（介于 5,532 和 5,973 之间），最小可检测效应(MDE = BCR +/- (MDExBCR)) 为 13%–14%。该测试是单尾测试，因为我们对捕捉负面影响不感兴趣。

改进的结果远高于我们建立统计信心所需的 14% MDE。

正如我们所希望的那样，测试不同的变化让我们清楚地了解了颜色对“在此注册！”按钮效果的影响。有趣的是，改变按钮设计并没有比单独改变按钮获得更高的转化率。将按钮从绿色改为黄色后，转化率提高了惊人的 175%。

令我们惊讶的是，使用 CTA“立即播放！”并没有带来与基准 CTA 相比更好的转化率。然而，当仔细查看变体 #3 的结果时，我们发现测试变体的样本量未达到测试具有统计意义所需的数量。