ホームページの変更が問い合わせに与える影響は、同時期の比較と正確な計測で検証します。この記事では、A/Bテストの仮説と指標、訪問者の割り当て、割合の計算、データ量と不確実性を踏まえた判断方法を解説します。
A/Bテストでは、訪問者を無作為にA案とB案へ割り当て、同じ時期に行動を測定します。ホームページの変更を判断するには、比較する指標と実験の設計 を定め、観測した差をデータの量や計測の正確さと合わせて評価します。（Microsoftの実験設計）
例えば、問い合わせボタンの文言を変更するなら、ボタンを押した人の割合と、問い合わせを送信した人の割合を記録します。公開前後だけの比較では、広告や曜日、料金改定も結果に関わるため、文言の影響を判断する材料が不足します。
何を変更し、どの行動に影響すると考えるかを1つの仮説にします。変更後に都合のよい数字を探す方法では、採用する根拠が曖昧になります。
問い合わせを送信するボタンなら、A案を 送信、B案を 問い合わせを送信する にする比較が考えられます。予約が成立する画面、相談内容だけを送る画面では、文言も実際の操作に合わせます。ボタンやフォームの例は マイクロコピーの書き方 で説明しています。
初回の比較では変更する要素を絞りましょう。見出し、写真、ボタンを一緒に変更すると、結果はその組み合わせの評価になり、各要素の影響を区別できません。
主要な成果が問い合わせなら、完了した人の割合を主な指標にします。クリック率は途中の行動として記録し、入力エラーやページの表示速度も点検します。Microsoftの実験運用は、改善を測る指標に加え、悪化や計測の異常を検出する指標を組み合わせています。（Microsoftの実験中の計測）
A案とB案を同じ期間に配信し、割り当てに使う識別子と、行動を集計する単位を決めます。利用する実験ツールで、再訪時の表示、割り当ての記録、送信完了の記録を検証します。
訪問者単位の比較なら、同じ識別子では同じ案を表示する設定にします。ブラウザーのCookieを使う識別では、Cookieの削除や別端末の利用で、同じ人の行動を別の識別子で数えることがあります。そのため、集計した単位が人物、ブラウザー、セッションのどれかを説明します。
50対50の配分を設定しても、有限の人数では件数に差が出ます。偶然のばらつきと説明できる範囲を外れた差は、割り当てや記録の欠落を調べる理由になります。設定した配分と実測の不一致はSRMと呼ばれ、Microsoftは結果の分析前に検査しています。（MicrosoftのSRM診断）
B案の送信完了が一部記録されていなければ、実際の問い合わせが増えていても、数字は減ったように見えます。配信された案と送信結果を同じ識別子で対応させ、不具合を修正して比較をやり直します。
率の差を計算した後に、その差をどの程度の精度で推定できるかを判断します。人数の少ない比較では、数件の増減が率を大きく動かします。
計算例（数値は仮定）：各案へ割り当てた500の識別子のうち、1回以上問い合わせを完了した識別子がA案で20、B案で25あったとします。同じ識別子で繰り返した送信は1として数えます。
| 案 | 割り当てた識別子数 | 問い合わせを完了した識別子数 | 完了率 |
|---|---|---|---|
| A | 500 | 20 | 4% |
| B | 500 | 25 | 5% |
差は 1ポイント、A案を基準にした相対的な増加は25%です。この表は観測値の計算例であり、B案の採用判断には推定の精度と他の指標も必要です。
検出する最小の変化、通常の完了率、利用する統計手法によって必要な人数が変わります。実験ツールで人数と実施期間を設計し、途中で数字がよく見えたことだけを理由に終了しない運用にします。途中の結果を使う手法では、繰り返し判定する影響を考慮します。
割合の差は信頼区間でも評価できます。信頼区間は、標本のばらつきを考慮した推定の幅です。NISTは2つの割合の差に対する計算方法を示しています。区間が改善と悪化の両方を含むなら、観測した率だけで優劣を確定する根拠は不足しています。（NISTの割合の差の信頼区間）
差を検出できなかった実験では、効果が小さい可能性と、人数が足りず判定できない可能性を検討します。訪問者が少ないサイトでは、利用者に操作してもらって問題を特定する方法も使えます。
比較した案、期間、指標、割り当ての単位、計測の不具合、率の差と不確実性、採用した理由を記録します。反映後も問い合わせの受付や表示の不具合を点検しましょう。
採用した原稿やサービス説明をホームページへ反映する際は、公開後も内容を更新できる制作方法を選びます。
SpreadSite は、Googleスプレッドシートで内容を管理し、テンプレートを使ってホームページを作成・公開・更新できるノーコードツールです。
検証したサービス説明や案内を反映するホームページづくりに、ぜひ使ってみてください！
A: A/Bテストは、同時期に無作為に割り当てた案を比較します。変更前後の比較では、曜日、広告、価格などの変化も記録し、変更だけの影響と区別して解釈します。
A: 必要な人数は、通常の完了率、検出する変化、統計手法によって異なります。実験ツールで人数と期間を設計し、集計単位も統一します。
A: 観測した差、推定の幅、検出できる変化を確認して判断します。人数が不足していれば、効果の大小を判定する材料も不足します。
A: 問い合わせが主な成果なら、送信完了率と入力エラーも評価します。クリック率が増えても、問い合わせが完了するとは限らないためです。
