広告経由の購入率が下がっても、各広告から来た訪問の購入率は上がっていることがあります。この記事では、シンプソンのパラドックスが起こる仕組み、訪問数の構成比をそろえた比較、広告予算やページ修正の判断に必要な情報を解説します。
検索広告とSNS広告の購入率がどちらも上がったのに、広告経由の訪問全体では購入率が下がることがあります。広告の担当者がページの改善を取り消す前に調べるべきなのは、各広告から来た訪問が全体の何割を占めたかです。購入率が低い流入元の割合が増えると、流入元ごとの上昇と全体の低下が同時に起こります。
集団ごとの比較と全体の比較で結果の方向が逆転する現象を、シンプソンのパラドックスと言います。マーケティング研究でも、各集団の率の変化と集団構成の変化が、集計した率に及ぼす影響を検討しています。（Lipovetsky・Conklinの集計分析）
購入率と訪問数の構成比 を同じ表に置くと、ページの反応が変わったのか、来訪した集団の割合が変わったのかを検討できます。全体の率は実際の結果として残し、構成比をそろえた率は比較用に計算するのが、この記事で提案する分析方法です。
次の計算例では、購入率の分母を広告経由のセッション数、分子をそのセッション内で購入が1回以上あったセッション数とします。セッションはサイトへの一連の訪問を数える単位です。同じ人の再訪は別セッションになり、一つのセッションで複数回購入しても分子は1と数えます。
計算例（数値は仮定）
同じサイトの連続する二つの30日間を比べます。各セッションは検索広告かSNS広告のどちらか一方に分類し、広告以外の訪問は含めません。購入の定義と流入元の分類方法は両期間で共通です。
| 流入元 | 前期のセッション数 | 前期の購入セッション数 | 前期の購入率 | 後期のセッション数 | 後期の購入セッション数 | 後期の購入率 |
|---|---|---|---|---|---|---|
| 検索広告 | 900 | 81 | 9% | 200 | 24 | 12% |
| SNS広告 | 100 | 1 | 1% | 800 | 24 | 3% |
| 広告経由の合計 | 1,000 | 82 | 8.2% | 1,000 | 48 | 4.8% |
検索広告は9%から12%、SNS広告は1%から3%へ上がっています。一方、購入セッション数の合計は82から48へ減り、全体の購入率も下がっています。各行の計算はすべて成立します。
変わったのは訪問の内訳です。検索広告のセッションは広告経由全体の90%から20%へ減り、SNS広告は10%から80%へ増えました。この例で購入率が相対的に低いSNS広告の比重が増えたことが、全体の率を押し下げています。検索広告とSNS広告の一般的な優劣を示す数値としては使いません。
全体の購入率は、購入セッション数の合計 ÷ セッション数の合計 で計算します。各流入元の率を単純平均すると、セッション数が違う流入元を同じ重さで数えることになります。
前期の率を単純平均すると、(9% + 1%) ÷ 2 = 5%です。しかし実際の購入セッション数は82、セッション数は1,000なので、広告経由全体の購入率は8.2%です。全体の実績を求めるには、それぞれの訪問数を反映する必要があります。
同じ計算は、各流入元の購入率に、その流入元が全セッションに占める割合を掛け、足し合わせても求められます。
このように、件数の比率を重みに使う平均を加重平均と言います。全体の購入率には、各流入元の購入率と、各流入元が占めるセッションの割合の両方が反映されます。
Simpsonの1951年の原論文も、集団内の関連と、集団を合併した後の関連が一致しない例を示しています。さらに、同じ数表でも分類が何を意味するかによって解釈が変わることを論じています。細かく集計するだけで分析が完成する、と考えるのは早計です。（Simpsonの原論文）
流入構成の違いを除いた比較には、両期間へ共通の構成比を適用します。この例では、前期の検索広告90%、SNS広告10%を固定して、後期の率を再計算します。
後期の比較用購入率 = 12% × 90% + 3% × 10% = 11.1%
前期の同じ構成での率は8.2%なので、差は2.9ポイントです。これにより、検索広告90%、SNS広告10%という共通の重みで比較すると、後期の流入元ごとの率が全体を押し上げる計算になる、と説明できます。
11.1%は、前期の構成比を使って計算した比較指標です。後期に実際に購入があったセッションの割合は4.8%です。広告の配信量を変更したときに、購入率が同じ値を保つという予測も、この計算には含まれません。
| 指標 | 答える疑問 | この例の後期の値 |
|---|---|---|
| 実際の購入率 | 広告経由の全セッションのうち購入があった割合は？ | 4.8% |
| 構成比を固定した購入率 | 前期と同じ重みで各流入元の率を比べるとどうなる？ | 11.1% |
共通の重みには、前期や両期間を合計した構成比などを使えます。どの構成を基準に比較するかを計算前に決め、両期間へ同じ値を適用してください。流入が0件の区分では購入率を求められないため、その区分の率を0%として補うと比較の意味が変わります。
広告予算を決めるには、購入率に加えて費用と購入後の利益が必要です。この例では両期間のセッション数は同じで購入セッション数が減っていますが、広告費、注文金額、原価の情報がありません。購入率だけでSNS広告を停止する判断はできません。流入元ごとの広告費と注文の利益を対応させ、追加投資で利益が増えるかを検討します。
ページの変更を評価するには、流入元ごとの率が上がった理由をさらに調べます。期間中に価格、配信する検索語、利用端末の構成も変わっていれば、その影響が残ります。UC Berkeleyの教材も、施策以外の差が結果に影響する交絡を説明し、施策の効果を調べる方法として無作為に割り付けた比較を示しています。（UC Berkeleyの比較と交絡の解説）
実務では、次の情報を判断につなげます。
流入元ごとの率の上昇は、観測した結果です。ページ修正が上昇を生んだという因果関係の検証は、追加の仕事として残ります。
全体の購入率が低下したときは、購入があったセッションの割合と、流入元ごとの訪問の内訳を併せて計算しましょう。実際の購入率は事業の結果を示し、構成比を固定した率は同じ重みでの比較を示します。両方を使うことで、予算配分を検討する仕事と、ページの変更を検証する仕事を具体化できます。
ページを修正する際は、広告で案内した商品、掲載価格、購入へのリンクがページの内容と一致しているかを点検し、不一致を直します。何を変更したかと変更日も記録しておくと、次の比較で修正内容を追えます。
SpreadSite は、Googleスプレッドシートで内容を管理し、テンプレートを使ってホームページを作成・公開・更新できるノーコードツールです。
広告で案内する商品情報や料金を掲載するホームページの作成に、ぜひ使ってみてください！
A: どちらも、それぞれのセッションに対する正しい集計です。全体の率は広告経由の全訪問の実績を表し、流入元ごとの率はその流入元で購入があった訪問の割合を表します。答える疑問が異なるため、両方を残します。
A: 各流入元のセッション数が異なると、単純平均は全体の率とずれます。購入セッション数を合計してセッション数の合計で割るか、セッション数の構成比で重みを付けた平均を使ってください。
A: この計算は共通の流入構成で過去の率を比べるためのものです。将来の訪問者の反応、広告費、注文金額は計算に含まれません。売上を予測するには、それらについて別の根拠が必要です。
A: 率の上昇に加えて、価格や訪問者の構成など同時に変わった要素を調べます。ページ変更の効果を評価するには、無作為に割り付けるA/Bテストなど、変更の有無を比較できる設計が必要です。
