A/B测试之前必须要了解的 10 件事

日期:2016-12-19 11:04:00

如今,转化率优化(CRO)已是营销人员必须具备的技能,并且与 ROI 直接挂钩。但是在优化网页的转化率方面又有太多因素要考量,如果你已经不堪其忧,请专心做一件事—— A/B 测试。

A/B测试,即你设计的页面有两个版本(A和B),A为现行的设计, B是新的设计。比较这两个版本之间你所关心的数据(转化率,业绩,跳出率等) ,最后选择效果最好的版本。

A/B测试

1.忘掉你原本对用户的了解

是的,人们都太容易陷入对用户年龄,性别,位置,或收入的假设之中。曾经,"客户分析"是与用户接触的最好的(甚至是唯一的)方法。即便是现在,它在市场营销中也占有一席之地。

2.建立一条基线

诚然,提高转换率是你的近期目标,但是在你开始 A/B 测试之前,你需要建立一条基线,如果你不知道你目前的转换率是什么,你将如何知道你未来的测试是成功的?(更多请看第5条)

3.对别人有效的方法,对你未必适用

你必须对你自己独特的内容与你自己独特的用户进行 A/B 测试。当然,你可以从其他CRO人员那里套用类似方法,但不要指望能得到相同的结果。

例如,一个销售鞋带公司和一个销售企业应用软件的公司,同样客户都很普遍,但是购买周期完全不会一样。前者的网页上修改一个按钮颜色能提高销量,对于后者可就未必如此。

4.一次只测试一项内容

这个是不言而喻的,但值得一提,因为非常重要。在一段时间,对一个变量进行 A/B 测试,这样的结果是可读的。但是如果你改变你的标题在同一时间你改变你的导航,你怎么会知道哪个变量促成了最多的转换?

5.不要急于下结论

在 A/B 测试中,统计置信指的是如果再次运行相同的测试,是否能有相同的结果。换句话说,它会告诉你测试结果是否可信。

例如,假设在购物车页面进行 A/B 测试,其中"A"是单选按钮而"B"是下拉菜单。于是就有了结论,"B"提高了75%的转换率。显然,B更好,是这样吗?

不一定。因为有三个事实需要考虑:

样本容量
还是上面的例子,如果你的样本量为4人,这意味着只有3人喜欢下拉菜单。当然,这是一个良好的开端,但在1000的样本量仍是这一结果的可能性极低;因此,本次测试的结果属低置信度。

容错率
例如,在样本大小为500时,99%的客户倾向于下拉菜单,你可以相当肯定的是,你的误差率较低。如果,49%的用户喜欢下拉菜单,51%的用户喜欢单选按钮,那么随机性就不得不考虑进来了,你应该继续运行测试,直到一个更高的置信度。

用户规模
如果你的整个用户群体的规模是25万,你的样本量为25人,这样产生测试结果也不具有高置信水平。

6.路要一步一步走

老生常谈的一名话了。随着客户的看法和期望的发展,CRO永远是一个不断前进的目标。不怕犯错,从中练习,你就会成为一个 A/B 测试的高手。

7.多收集一些意见

用户测试从未像现在这样重要,也从未如此简单!即使你没有这样一个部门去专门做用户测试,也选择一些免费和低成本的服务。

Peek by UserTesting

Peek 是一个超级简单,快捷的方式,收集有关您的网站的定性反馈。

优点:信息反馈一般是公正的,详细的,而且免费!

缺点:不能在其目标受众之外测试接口。此外,费时较长。

Amazon Mechanical Turk

优点:一般比较廉价,可扩展,定量,你可以预先选择标准。
缺点:这通常是通过调查引擎,可以引入人为的过滤器。

底线:有反馈总比没有反馈强!

8.实际用户表现可能和用户调查数据相左

用户调查会引入人员误差,而原始用户表现统计数据则不会有这些问题。

例如,你现在急着去开会,要打印文件却发现打印机没墨了,你会怎么做呢?

也许你会说,很简单啊,换个新墨盒打印完呗。如果这是一个用户调查,我会接受你的回答。

但是如果是在用户测试环境,我会记下你敲了打印机4下,清除卡纸,又狂按"取消"按钮7次,再换下墨盒。整理文件时你又打翻了咖啡,洒在了衣服上,于是只好重新安排会议时间。

在调查中,你确实没有说谎,你也确实换墨盒了,只是会忽略前前后后那么多行为。

9.明确定义你成功的标准

不要忘记初衷: CRO 是要提高转化率。不是打开率,点击率,转发率,好评率,或固定率。(除非你的网站就是做这个的)

底线:心中有一个目标,优化周围的目标,你的内容。一切是一个关键绩效指标(KPI)。

10.不要去测试无关紧要的因素

用你的常识去测试你的直觉,直接测试高影响因素。

用数据帮助用户优化产品,提升转化、留存和你想要的一切。 用数据验证最佳方案,提高产品设计、研发、运营和营销效率,降低产品决策风险。

让我们协助您将需求落地

*请填写需求信息,我们会在24小时内与您取得联系。