超越簡單指標：為什麼你的A/B測試需要的不僅僅是T檢驗結果

在進行A/B測試時，大多數團隊只停留在表面問題：「指標有沒有變動？」但如果我們告訴你，有一個更聰明的方法可以從實驗數據中挖掘更深層的洞察呢？讓我們來探討為什麼線性回歸值得在你的分析工具箱中佔有一席之地，即使T檢驗看起來已經足夠。

傳統方法：對會話數據進行T檢驗

想像一個電子商務平台推出了重新設計的橫幅，並希望衡量其對用戶會話時長的影響。最直接的方法？執行T檢驗。

計算結果顯示，處理效果為0.56分鐘——也就是用戶在會話中多花了大約33秒。這個提升是控制組與處理組平均值的簡單差異。乾淨、易於解釋、工作完成，是不是？

其實並非如此。

線性回歸的替代方案：相同答案，不同深度

現在讓我們用線性回歸來框架同樣的實驗。我們將處理狀態 (banner顯示：是/否) 作為自變數，會話時長作為因變數。

這裡變得有趣：處理的回歸係數也是0.56——與T檢驗結果完全一致。

這不是巧合。兩種方法都在檢驗相同的虛無假設。當你執行T檢驗時，你在問：「平均值之間有顯著差異嗎？」線性回歸則在問：「處理變數是否解釋了會話時長的變異？」對於單一的二元處理變數，這兩個問題在數學上是等價的。

但看看R平方值：只有0.008。模型幾乎無法解釋會話時長變異的原因。這個限制暗示著我們的分析存在一個關鍵缺陷。

隱藏的問題：實驗中的選擇偏誤

真相是：隨機分配在A/B測試中並不能完全消除選擇偏誤——它只會降低偏誤的程度。

選擇偏誤發生在控制組與處理組之間存在系統性差異，且這些差異超出了處理本身。例如：

• 回訪用戶比新用戶更頻繁遇到橫幅
• 時間段與處理曝光相關
• 不同用戶群體對橫幅的反應不同

在這些情況下，你的0.56分鐘提升可能被這些混雜因素誇大或縮小。你測量的是一個混合效果：真正的處理影響 加上 選擇偏誤。

解決方案：加入背景變數（協變數）來提供上下文

這正是線性回歸的優勢所在。通過引入混雜變數 (covariates)，你可以將真正的處理效果與背景噪音區分開來。

例如，加入實驗前的會話時長作為協變數——基本上是在問：「假設用戶在基線階段的會話模式已知，橫幅真正改變了他們的行為多少？」

結果會有天壤之別。R平方值飆升至0.86，表示86%的變異都被模型解釋。而處理的回歸係數也下降到0.47。

哪個數字更接近真實——0.56還是0.47？當我們用已知的0.5分鐘提升來模擬真實情況時，0.47明顯更接近真實值。調整協變數後的模型更具說服力。

為你的決策帶來的意義

1. 模型擬合改善，揭示你的實驗設計是否真正捕捉到用戶行為的驅動因素
2. 偏誤校正自動進行，降低基於誇大的或縮小的效果大小做出決策的風險
3. 信心提升，因為你不再容易受到隱藏混雜變數的干擾

超越T檢驗與線性回歸

這個原則還可以延伸。你的統計工具箱中還有其他測試——例如在R中的卡方檢驗、Welch’s t檢驗，以及更專門的方法。每一種都可以透過加入適當的模型調整來重新框架。

關鍵是：下次當你想依賴單一統計檢驗時，請思考是否有潛在變數正在扭曲你的畫面。用有策略地選擇協變數的線性回歸，能將A/B測試從簡單的通過/不通過，轉變為一個細緻的因果關係調查。

你的指標會感謝你的。