A/B test

【注意】ABテストを実施する前に知っておくべき統計学の真実

昨今のA/Bテストツールの流行に伴い、ABテストの実施は飛躍的に簡単になりました。しかし一方で、下記の記事に代表されるように、ABテストないしABテストツールの負の側面が嘆かれています

参考:【翻訳】Optimizelyを使ってクビになりかけたワケ ~統計学が苦手なマーケターへの薦め~

上記記事の筆者の主張をとてもざっくりまとめると

  • 「ABテストツールが示す結果の意味と、結果を出す仕組みをしっかりと理解しているか?」
  • 「統計的に見ると、あんまり意味ない結果を表示するんだぜ」
  • 「だからABテストを実施する前に統計学を学習しよう。それが無理でも、統計的見地に基いてしっかりテストしていこう」

というものです。

しかし、弊社としては、この筆者も問題をややこしくしているなあ、と思います。
統計学を考慮せずとも、ABテストを行う際にたった1つだけ、基本原則を心に留めておけばいいと思うんです。

テスト結果は現時点での推計。未来は予測していない。

それは、【世の中は変化する】という、とてもシンプルな原則です。

・・・
・・・
・・・

なんだそんなことか。。。と思うかもしれませんが、
このシンプルな世の中の不変の原則を理解してABテストを行っている企業、ベンダーがどれだけいるでしょうか?
どれだけ統計学を駆使して結論を見出しても、その強固な結論は「特定サンプルを元に推定した現時点での強固な結論」でしかないのです。

「特定サンプルを元にした」という前提は、
統計の神様がどれだけ頑張っても、99.999……%正しい!、としか言えないことを示しています。
要するに、100%正しいとは、どれだけ頑張っても言えないのです。

また、「現時点での」という前提は、
将来に渡りそのテスト結果が同じ確率で正しい、といえるかはわからない、ということを示しています。
そうです、統計学は抽出したサンプルの属性が変化しない前提で将来を予測しています。

すなわち、「今あるデータ」のことしか言っておらず、将来の予測はしてくれていません。
ユーザーの気持ち・ニーズの変化を捉えられないのです。

この事実は、ABテストツールが結果を出力するために使用している”検定”という統計学上の作業が、
特定の(特定期間に獲得した)サンプルに基いて結果を推計する作業である以上、
誰がどう頑張っても、避けられない事実です。

前述の記事では「2回同じテストをして同じ結果がでるか確かめたほうがいい」といっていますが、
1回目のテスト終了後から2回目のテスト終了後までの間にも世の中は移り変わり、ユーザーの気持ちは変化しています。
だから1回目と2回目でテスト結果が変わってしまっても、それはある種の必然なのです。

では、ABテストはやらないほうがいいのでしょうか?
弊社はそうは考えていません。
1つだけ意識してテストしていけば、ABテストはWEBサイト改善にとても有益です。

良い結果を反映した後も、CVRを比較し続ける

運用するにあたり意識しなければいけないことは
「勝利したページパターンを本番環境に反映した後も、解析ツールで前年、前月と比較して継続的にCVRが向上しているのか確認する」
ということです。

“解析ツールで”というのがミソです。
ABテストツールの管理画面ではなく、皆さんがいつも計測している解析ツール上で、本当に実数値としてCVRが向上しているのか確認し続けるのです。
ABテストツールの管理画面は余計な情報が多いですし、前述の記事にもある通り”ウソ”を表示することも多いですから。

そもそも、皆さんの目的は
「世の中のニーズにそってCVRを最大化すること」であって、
「ある時点でABテストツールを利用して実施したABテスト結果の信ぴょう性を、統計学を駆使して極限まで高くすること」ではないはずです。

極限まで検証したABテスト結果を本番に反映した結果、
1週間後、1か月後にGoogle Analyticsの画面でCVRが前週比で低下していたら、
どれだけABテストツールの管理画面上で素晴らしい結果がでていても、「将来的なCVRを向上させる」という観点においてABテストとその検定はあまり意味のない作業だった、ということです。

そのため、
「1つのテストに莫大な時間とお金をかけてテストし、検証する。」
「そしてそのテスト結果を本番に反映して、何年間もほったらかす」
というのが1番よくありません。
世の中の全てのモノに流行り廃り、”賞味期限”があるように、ABテストの結果にも”賞味期限”があるのです。

CVRを最大化させるためのあるべき姿は、
「テストして結果がでたら本番に反映する。」
「そして継続的に解析ツールでCVRが向上しているのかチェックし続ける」
「CVRがさがってきたら、過去にやったテストの結果を考慮して新しいテストを継続的に実施する」
というものであるべきです。

まとめ:物事の本質を考えよう

ABテストを実施する際に統計学を勉強することは間違っていませんし、その姿勢は素晴らしいと思います。
しかしながら、

  • そもそも統計学とはどういう学問か?
  • ABテストってどういう作業をおこなっているのか?
  • 世の中の基本原則は何なのか?

を意識すれば、難しく考えなくても、あるべき姿、やるべき作業は明確になるのではないでしょうか。
企業のWEB担当者の方も、ABテストベンダーの方々も、この”統計学の罠”とも言うべき事実をしっかり認識し、
“世の中は変化する”という原則を意識していかないと、せっかく有意義なABテストに先は無いかもしれません。

注釈)本ブログではメッセージを明確にするために、「統計学では未来予測ができない」と記載しました。精度の差があれど統計学で未来を予測、推計できることはこれまた事実であることは認識しておりますが、「統計学で99%確からしい」とされた仮説が実際に起こりうるかは未来に確認しないとわからない、という意味で記載しております。

短期で効果を出すためのA/Bテスト設計ガイド