シンプルな指標を超えて：あなたのA/BテストにはT検定結果以上のものが必要な理由

A/Bテストを実施する際、多くのチームは表面的な質問、「指標は動いたか？」で止まります。しかし、実験データからより深い洞察を引き出す賢い方法があるとしたらどうでしょうか？なぜ線形回帰がT検定だけでは不十分な場合でも、あなたの分析テーブルに席を占める価値があるのか、その理由を探ってみましょう。

従来のアプローチ：セッションデータに対するT検定

例えば、ECプラットフォームがリニューアルしたバナーを導入し、その効果をユーザーのセッション時間に対して測定したいとします。最もシンプルな方法は？T検定を実行することです。

計算結果は、処理効果が0.56分（約33秒）増加したと示します。これは、コントロール群と処理群の平均の差として算出される、わかりやすく説明しやすい結果です。これで仕事は完了、と思いきや…。

線形回帰の代替案：同じ答え、しかし深さが違う

次に、同じ実験を線形回帰でフレーム化してみましょう。独立変数として処理状態(バナー表示：はい／いいえ)を設定し、従属変数にセッション時間を置きます。

ここで面白いのは、回帰係数が0.56になり、T検定と全く同じ値になることです。

これは偶然ではありません。両者とも、同じ帰無仮説を検証しているのです。T検定は「平均値に有意差があるか？」を問いますが、線形回帰は「処理変数がセッション時間の分散を説明しているか？」と問いかけます。二値の処理変数一つであれば、これらの問いは数学的に同じ問題に収束します。

ただし、R二乗値に注目してください：わずか0.008です。モデルは、セッション時間の変動のほとんどを説明できていません。これは、分析の重要な欠陥を示唆しています。

隠れた問題：実験における選択バイアス

ここで正直に言うと、A/Bテストにおけるランダム割り当ては、選択バイアスを排除しません。あくまで「減らす」だけです。

選択バイアスとは、コントロール群と処理群の間に、処理自体以外の体系的な差異が存在することを指します。例えば：

• リピーターは新規訪問者よりも頻繁にバナーに遭遇する
• 時間帯による効果が処理の露出と相関している
• ユーザーセグメントによってバナーの体験が異なる

こうした場合、0.56分の増加は、これらの交絡因子によって過大評価または過小評価されている可能性があります。実際には、「真の処理効果」＋「選択バイアス」の合成を測定しているのです。

解決策：共変量を加えて背景情報を補完

ここで線形回帰の強みが発揮されます。交絡変数(共変量)を取り入れることで、真の処理効果を背景ノイズから切り離すことが可能です。

例えば、事前のセッション時間を共変量に加えると、「ユーザーのベースラインのセッションパターンを考慮した上で、バナーが実際に行動をどれだけ変えたか？」と問いかけることができます。

結果は劇的に変わります。R二乗値は0.86に跳ね上がり、86％の分散を説明します。そして、処理係数は0.47に低下します。

どちらが正しい数字か？0.56と0.47のどちらか？実は、真の増加量が0.5分と既知のシナリオをシミュレーションすると、0.47の方がより近い値です。共変量を調整したモデルの方が、より正確な推定を提供します。

これが意思決定に与える影響

1. モデルの適合度が向上し、実験設計が実際のユーザ行動の真のドライバーを捉えているかどうかがわかる
2. バイアス補正が自動的に行われ、過大または過小評価された効果に基づく誤った意思決定のリスクを低減
3. 信頼性が高まる、隠れた交絡因子による歪みから結果を守ることができる

T検定や線形回帰を超えて

この原則はさらに拡張可能です。あなたの統計ツールキットには、カイ二乗検定（R）、ウェルチのt検定、より専門的なアプローチも含まれます。これらも適切なモデル調整を行えば、回帰分析に置き換えることが可能です。

要するに、次に「単一の統計検定だけを信用しよう」と思ったときは、潜在的な変数が結果を歪めていないかどうかを問い直してください。慎重に選んだ共変量を用いた線形回帰は、A/Bテストを単なる合格／不合格の二値判定から、より微妙な因果関係の調査へと変貌させるのです。

あなたの指標はきっと感謝します。