デザイン変更をテストしましたが、結果に確信が持てません。どうすればいいですか？ [誰もが受けたい！アクセス解析5分クリニック] | Web担当者Forum

来栖君は「0.3％上がった」と言ったけど、いつのデータと比べて判断したのかな？

それはひょっとすると色の変化ではなく、季節変動などの影響でコンバージョン率が変化しただけかもね。あと、コンバージョン率だけに注目しているけど、アクセス数はどれくらい？

サンプルサイズも小さい可能性があるね。

来栖君が行ったのは「赤か青か？」つまり「AかBのどちらが優れているか」を判定するテストだ。そういうテストを「A/Bテスト」というんだ。

厳密にいうと来栖君が今回行ったのは本当の「A/Bテスト」ではないのだけれども、そのあたりも含めて、A/Bテストの注意点を説明していこう。

まず、A/Bテスト実施時は、次の3つに気を付けよう。

• 「テストの目的」をしっかり意識する
• 「母集団」（目的に沿った対象者）を選ぶ
• 偏りなくランダムに「標本」を抽出する

さて、今回の来栖君の「テストの目的」はなんだっけ？

そのテスト目的に意味はあるかな？　赤でも青でも、どちらでも構わないということはないかな？

テストしようという心構えは大切だ。しかし、もっと大切なのは、最初にテスト目的をしっかり考えることだ。そのためには、たとえば、

ページの背景色やページ内で使っている画像の色味とのバランスで考えると、ボタンの色が赤だとデザインがなじんで注目されにくくなっているのではないか、だとすると、アクションボタンの色を現在のページ構成でもっと目立つものにすることで、訪問者の意識がボタンに集まりやすくなり、結果としてコンバージョン率が高くなるのではないか。

といった明確な「仮説」を立てて、それを検証するためにテストしなければいけない。

そもそも、「どちらでもよい」という場合は、テストしても「どちらでもよい」という結果しか出ないからね。

よくあるよ。来栖君のように誤解している人も多いけど……。結果を出すコツは差が出やすい大胆なテストを作ることだね。でも、大胆なテストを作るには、目的意識がしっかりしていないとできない。テストには手間と時間がかかるから、最初にしっかり考えようね。

次は、目的に添った対象者を選ぶことと、偏りなくランダムに抽出することだね。「母集団」と「標本」と呼ぶのだけど、この2つは一緒に考えたほうがわかりやすい。一言でいうと「誰を相手にテストしたの？」という話だ。

今回はここが問題だ。たとえば、全国大学生の学力平均を知りたいのに、東大生だけに聞くのはあきらかに間違っているよね？　つまり、“目的に対して、偏ったデータを集めてテストしてはダメ”ということだ。

そう。12月と1月では、来栖君がテストしたい「通年のサイト訪問者全体」という母集団のなかでは、データが偏っている可能性が高い。それでは残念ながらテストにならないんだ。

だから、来栖君のコンバージョン率の変化は「適切なA/Bテストの結果」ではなく、「なんとなく試してみたら、たまたま違いが出た」に過ぎないんだ。

正しいテストをするには、「通年のサイト訪問者全体」という母集団から、偏りなくデータ抽出する必要がある。

そう無理だ。でも、来栖君のサイトで、ある月のユーザーの傾向が、「通年のサイト訪問者全体」と似ているといった期間はないかな？　そうであれば、たとえば「3月のユーザーからランダム抽出することで、似たような結果を出す」といったことができる。

図1　3月の訪問者全体が通年のサイト訪問者全体に似ているならば、「3月からランダムに抽出（標本）したユーザー」は、「通年のサイトの訪問者全体」の形によく似る

良い点に気がついたね。そのとおり、手動でA/Bテストを行うと、どうしても季節要因や外部要因の影響を受けがちなんだ。ではどうすればいいかというと、A/Bテストを適切に行ってくれるツールを使うんだ。

ありがたいことに、自動でA/Bテストを実行できる高機能なテストツールをGoogleが無料で提供してくれているんだ。そのツールの名前は「Googleウェブサイトオプティマイザー」というものだ。

• Googleウェブサイトオプティマイザー

ツールが統計的な計算をした上で、テスト期間中のアクセスを自動的にランダムに振り分けてテストを実行してくれるんだ。最初に設定してしまえば、しばらく後に、どちらが良かったか結果を教えてくれる。

期間は決まっていない。テストで重要なのは、「結果の差が明確なこと」と「サンプルサイズが大きいこと」なんだ。逆に、この2つが満たされていない限り、「ちゃんとA/Bテストで比較した」とは言えないと考えてよいだろう。

テストというのは、よりよい方法を高い確度で選ぶために実施するのだよね？　でもその前に判断してしまうというならば、テストそのものに意味がなくなってしまうよ。

もしウェブサイトオプティマイザーを使うならば、おおよそのテスト期間を知ることはできる。 以下のツールを使ってみよう。

• ウェブサイト オプティマイザー - 期間計算ツール

早く結果が知りたいという気持ちはわかるけど、テスト結果を信頼するためには、適切なサンプルサイズに対して結果に明確な差が現れていることが大切なんだ。

あと、よくある間違いは、目的なく「赤と青のどちらがよいか？」と単純な理由で実施すること。根拠がないテストで少し違いが出たとしても、それは時期が経つと逆転してしまうことも多い。気を付けよう。

テストを実施するならば、次の3つのポイントを考慮しよう。

• テストの目的を明確にし、大胆なテストを作る
• テスト目的に沿う母集団を決める
• 母集団に対してツールを使ってテスト。あとは結果が出るまで我慢する

いずれも、Web担当者としてのユーザー理解に基づく「仮説」がベースになることは忘れてはいけない。

また、テストではなるべくツールを使おう。ランダムにアクセスを振り分けたり、統計の計算を自動で行ったりしてくれる。ツールを使わずにサンプルサイズが小さい中で判断している人は多いけど、それでは結果の信頼性が危うい。

中小企業はアクセスが少ないために、テスト結果が出るまで待てないことも多いと思うけど、それならば、自分の勘を信じてどんどん進めてもよいと思う。

最後に補足になるけど、最もコンバージョンに影響を与えるのは「人」だ。

たとえば、腹ペコの人は、汚いラーメン屋でも、のれんをくぐるでしょ？　「サイトの外見」よりも「お客さんの“空腹感”の違い」が結果に大きな影響を与えるんだ。常に「1人1人のお客さん」が大切なんだから、それを忘れずにテストや判断を行っていこうね。