做 WooCommerce 跨境電商運營的朋友們每天都要進行資料統計和分析,但是僅僅只是針對某一羣體或某一類產品的資料並不表示很全面,為了能進行整理的資料分析,他們有時候會進行 AB 測試,以此來獲取更精準的產品以及使用者資料。很多新手賣家對 AB 測試不是很瞭解,今天跨境電商小編就來跟大家分享一下這個話題。
什麼是 AB 測試?
A/B 測試是一種流行的網頁優化方法,可以用於增加轉化率註冊率等網頁指標。簡單來説,就是為同一個目標制定兩個方案(比如兩個頁面),將產品的使用者流量分割成 A/B 兩組,一組試驗組,一組對照組,兩組使用者特點類似,並且同時執行。試驗執行一段時間後分別統計兩組使用者的表現,再將資料結果進行對比,就可以科學的幫助決策。
AB 測試的操作方法
通常做 AB 測試是一個逐步設計的過程,在過程中需要注意以下幾個要點:目標、方案、設計、資料、分析。具體操作步驟如下:
1 、根據業務場景的需求,設立 AB 測試的目標,也就是需要改進的點。
2 、根據目標建立優化方案,通常優化的點是單一要素。
3 、依照優化方案進行相關的 AB 版本設計,這裏需要注意的是 AB 兩個版本通常只有優化方案中的單一要素不同,其他介面需保持一致。
4 、資料收集,設計好 AB 測試版本後,將流量合理分發至每個版本,然後收集使用者的行為資料。
5 、測試結果分析,統計顯著性按照 95% 進行區分,達到標準並且可以維持一段時間則可以結束實驗;如果達不到標準則需要延長測試時間;如果長時間達不到標準則需要考慮終止測試。
AB 測試結果分析指南
AB 測試結果的分析可以分為兩個方面的分析,一是統計學分析;一是業務分析。
1 、統計學分析
上面簡單提到了統計學分析,所謂統計學分析即通過統計學的角度來分析是否可信。這裏有三個層面:第一是分析 AB 兩個版本之間的差異性,通過統計顯著性來反映;之後再分析差異大小,這裏通過改進效果來表示,即轉化率的提高或降低的幅度;最後是差異區間,表示轉化率改進的空間範圍。
統計顯著性:
統計顯著性也叫顯著性,是指兩個羣體的態度之間的任何差異是由於系統因素而不是偶然因素的影響,同時假定控制了影響差異性的其他影響因素,剩下的是我們推斷的因素,但這個也不能夠 100% 保證,因此會有一個概率值即顯著性水平。
如前面所提,統計顯著性的值代表瞭如下含義:
1)95% 以上:優化版本和原始版本之間有顯著的統計差異,轉化率的 “改進” 是可信的;
2)90%~95%:優化版本和原始版本之間的統計差異存有疑問,轉化率的 “改進” 是存有疑問的;
3)90% 以下:優化版本和原始版本之間沒有顯著的統計差異,轉化率的 “改進” 是不可信的;
改進效果:
AB 測試中優化版本與原始版本相比轉化率提高的幅度。計算公式是:(優化版本轉化率-原始版本轉化率)/原始版本轉化率。
差異區間:
也就是 AB 測試的優化版本與原始版本之間轉化率差異最可能分佈的區間範圍。例如:A 版本為原始版本,B 版本是優化版本,A 的轉化率為 10%,B 的轉化率為 15%,則轉化率的絕對差異為 5%,而轉化率的相對差異為 50% 。
2 、業務分析
通過以上統計學分析確定了可信度之後,就需要對 AB 測試的結果進行業務分析。因為統計學分析中我們已經得出了差異性要素,在通過行業知識、客户心理、使用者行為習慣、喜好等角度進一步分析,從統計的數字中挖掘出差異的真正的原因。
當然,並非所有的事情都可以使用 AB 測試,有時多個設計稿可能會有非常大的差異,這樣的情況一般不太適合做 A/B 測試,因為它們的變數太多了,變數之間會有較多的干擾,很難通過 A/B 測試的方法來找出各個變數對結果的影響程度。