A/B測試
此條目可參照英語維基百科相應條目來擴充。 |
A/B測試為一種隨機測試，將兩個不同的東西（即A和B）進行假設比較[1][2]。該測試運用統計學上的假設檢定和雙母體假設檢定。 A/B測試可以用來測試某一個變量兩個不同版本的差異，一般是讓A和B只有該變量不同，再測試其他人對於A和B的反應差異，再判斷A和B的方式何者較佳[3]。
概述
正如其名稱所示，A/B測試通過對比只有一個變量不同的同一產品的兩個不同版本的表現來研究該變量的作用以及影響。其中版本A可能是當前正在使用的版本，而版本B是改進版。例如，一個電商網站的購買流程就很適合做A/B測試，因為即使滯留率(drop-off rate)的微小改善也能大幅提升銷售利潤。（例如，對於電商網站而言）對產品的極大改變包括文字內容，架構，圖片，顏色*等。
多參數檢驗或多項測試與A/B測試類似，但前者測試更多變量或控制更多變量。簡單的A/B測試不適用於觀察性研究，准實驗研究和非實驗研究。
A/B測試被視為一種哲學上的和商業策略上的改變，雖然其本身幾乎等價於早已廣泛應用的被試間設計[4]。作為一種網頁開發中的哲學，A/B測試使其更具備循證實踐的色彩。A/B測試的優點在於它幾乎對任何事物（變量）都是連續的，並且，很多自動化電商軟體現在可以對還未完成的資料庫進行A/B測試。
例子
一個公司擁有一個覆蓋2000名消費者的資料庫，公司現在決定創建 一個帶有折扣代碼的郵件廣告以提高銷售額。為此公司創建了兩個版本的郵件廣告並分別發給其中1000人：第一種內容為「本周六優惠結束！請用優惠代碼A！」，第二種內容為「優惠即將結束，請用優惠代碼B」。兩種廣告除此段廣告詞外所有其他元素均相同。然後公司通過分析兩種優惠碼的使用情況來研究廣告詞的影響。統計結果表明，使用代碼A的電子郵件的響應率為5％，使用代碼B的電子郵件的響應率為3％。因此，公司確定在這種情況下，第一種用語方式會更有效，並將在以後的銷售中使用類似的說辭。當然，更精確的做法還應檢查A和B的響應率差異是否在統計上顯著，以排除隨機誤差的影響。
上述示例中，測試的目的是確定哪種方法更能鼓勵客戶購物。但是，如果測試的目的是研究哪個電子郵件將產生更高的點擊率（即，收到電子郵件後實際點擊該網站的人數），那麼結果可能會有所不同，比如，也許有更多收到代碼B的客戶訪問了該網站，但由於廣告中沒有說明促銷的結束日期，所以他們中的許多人可能並不急於立即購買。
細分定位
A/B測試通常隨機、均勻地選取受試群體，然而受試群體對其的反應可能是非均勻的。比如在用於測試A版本的群體a中的平均反饋為x，而在用於測試B版本的群體b中的某一部分人b'的平均反饋高於x,而b群體的整體平均反饋低於x[5]。
繼續舉前文中的例子，假設收到優惠碼A的人中，男性的平均購買率為2%，女性平均購買率為8%，總體的平均購買率為5%，而在收到優惠碼B的人中，男性的平均購買率為5%，而女性平均購買率為1%，總體則為3%。若如此，則說明應對不同性別的用戶使用不同的廣告詞。
相關條目
參考資料
- ^ Kohavi, Ron; Longbotham, Roger. Online Controlled Experiments and A/B Tests. Sammut, Claude; Webb, Geoff (編). Encyclopedia of Machine Learning and Data Mining (PDF). Springer. 2017 [2019-05-13]. （原始內容 (PDF)存檔於2019-10-18）.
- ^ Kohavi, Ron; Thomke, Stefan. The Surprising Power of Online Experiments. Harvard Business Review. September 2017: 74–82 [2019-05-13]. （原始內容存檔於2019-05-13）.
- ^ The ABCs of A/B Testing - Pardot. Pardot. [2016-02-21]. （原始內容存檔於2016-03-01） （美國英語）.
- ^ Split Testing Guide for Online Stores • Webics. Webics. 2012-08-27 [2019-12-23]. （原始內容存檔於2019-12-23） （英語）.
- ^ Advanced A/B Testing Tactics That You Should Know. online-behavior.com. [2019-12-23]. （原始內容存檔於2019-12-23）.