做 WooCommerce 跨境电商运营的朋友们每天都要进行资料统计和分析,但是仅仅只是针对某一群体或某一类产品的资料并不表示很全面,为了能进行整理的资料分析,他们有时候会进行 AB 测试,以此来获取更精准的产品以及使用者资料。很多新手卖家对 AB 测试不是很了解,今天跨境电商小编就来跟大家分享一下这个话题。

什么是 AB 测试?

A/B 测试是一种流行的网页优化方法,可以用于增加转化率注册率等网页指标。简单来说,就是为同一个目标制定两个方案(比如两个页面),将产品的使用者流量分割成 A/B 两组,一组试验组,一组对照组,两组使用者特点类似,并且同时执行。试验执行一段时间后分别统计两组使用者的表现,再将资料结果进行对比,就可以科学的帮助决策。

AB 测试的操作方法

通常做 AB 测试是一个逐步设计的过程,在过程中需要注意以下几个要点:目标、方案、设计、资料、分析。具体操作步骤如下:

1 、根据业务场景的需求,设立 AB 测试的目标,也就是需要改进的点。
2 、根据目标建立优化方案,通常优化的点是单一要素。
3 、依照优化方案进行相关的 AB 版本设计,这里需要注意的是 AB 两个版本通常只有优化方案中的单一要素不同,其他介面需保持一致。
4 、资料收集,设计好 AB 测试版本后,将流量合理分发至每个版本,然后收集使用者的行为资料。
5 、测试结果分析,统计显著性按照 95% 进行区分,达到标准并且可以维持一段时间则可以结束实验;如果达不到标准则需要延长测试时间;如果长时间达不到标准则需要考虑终止测试。

AB 测试结果分析指南

AB 测试结果的分析可以分为两个方面的分析,一是统计学分析;一是业务分析。

1 、统计学分析

上面简单提到了统计学分析,所谓统计学分析即通过统计学的角度来分析是否可信。这里有三个层面:第一是分析 AB 两个版本之间的差异性,通过统计显著性来反映;之后再分析差异大小,这里通过改进效果来表示,即转化率的提高或降低的幅度;最后是差异区间,表示转化率改进的空间范围。

统计显著性:
统计显著性也叫显著性,是指两个群体的态度之间的任何差异是由于系统因素而不是偶然因素的影响,同时假定控制了影响差异性的其他影响因素,剩下的是我们推断的因素,但这个也不能够 100% 保证,因此会有一个概率值即显著性水平。

如前面所提,统计显著性的值代表了如下含义:

1)95% 以上:优化版本和原始版本之间有显著的统计差异,转化率的 “改进” 是可信的;
2)90%~95%:优化版本和原始版本之间的统计差异存有疑问,转化率的 “改进” 是存有疑问的;
3)90% 以下:优化版本和原始版本之间没有显著的统计差异,转化率的 “改进” 是不可信的;

改进效果:
AB 测试中优化版本与原始版本相比转化率提高的幅度。计算公式是:(优化版本转化率-原始版本转化率)/原始版本转化率。

差异区间:
也就是 AB 测试的优化版本与原始版本之间转化率差异最可能分布的区间范围。例如:A 版本为原始版本,B 版本是优化版本,A 的转化率为 10%,B 的转化率为 15%,则转化率的绝对差异为 5%,而转化率的相对差异为 50% 。

2 、业务分析

通过以上统计学分析确定了可信度之后,就需要对 AB 测试的结果进行业务分析。因为统计学分析中我们已经得出了差异性要素,在通过行业知识、客户心理、使用者行为习惯、喜好等角度进一步分析,从统计的数字中挖掘出差异的真正的原因。

当然,并非所有的事情都可以使用 AB 测试,有时多个设计稿可能会有非常大的差异,这样的情况一般不太适合做 A/B 测试,因为它们的变数太多了,变数之间会有较多的干扰,很难通过 A/B 测试的方法来找出各个变数对结果的影响程度。