成約率テストの精度とスピード

北岡 秀紀 北岡 秀紀
  • このエントリーをはてなブックマークに追加

インターネットのプロモーションで優れたところが、
リアルタイムでテストできることです。

先日、5日間限定のプロモーションを実施しました。

今回、見出しAと見出しBを作成していました。
発売を開始してそれぞれに29アクセスあったところで、
商品の販売数は見出しAは2、見出しBは0でした。

そこで見出しBを変更して、見出しCに変更。

すると、見出しCは次の50アクセスで3つ売れていました。

通常、販売ページの成約率は1%程度と言われます。
それで考えれば、29アクセスしかない状態で、
見切りをつけるのは早いと感じるかもしれません。

計算上でいけば、100~200アクセスは待つ必要があるということ。

しかし、見出しAは同じ29アクセスで既に2つ売れているのです。

ということは、見出しBには見切りをつける必要があるのです。
確かに、29アクセスだけの検証ですから、
誤差である可能性もゼロではありません。
あと70アクセス待てば、AよりもBの方が成約率が高いかもしれないのです。

しかし、その正確さよりもスピードの方を重視したのです。
今日、伝えたかったのは、この感覚です。

今回は特別価格が5日間という期間が限られていました。
ですから、確実な結果を待たず、結果の兆候が見えればそれに従ったのです。

それが売上2倍という結果を生んだのです。
「今回は結果的に良かったけど、もしそれ以降、
見出しAが全く売れていなかったらどうしたの?」
と思われたかもしれません。

その場合は、見出しAを削除して、
再度、見出しBをテスト、
これが売れなければ見出しDをテストするまでです。

テストにおいては、スピードと正確さはトレードオフの関係です。

※トレードオフ:どちらかをとれば、どちらかを失うこと
ならば、どちらを取るかは状況によって変えるべきなのです。
どうしてもできる限り正確にデータを取りたいという気持ちは理解できます。

しかし、テストとは過去の結果から未来を推論することです。
ということは、100%正確なテストなんてありえないということ。

それがわかれば、じっくり数字を取るよりも
「少しリスクがあってもテストの回転数を上げる」
という判断の方が賢いこともあることがわかると思います。
今回の話は概念的で難しいですが、
ぜひ繰り返し読んで理解していただければと思います。

  • このエントリーをはてなブックマークに追加

SNSでもご購読できます。

コメントを残す

*

*