顧客アンケートで回答者の90%が満足していても、答えなかった人を含む顧客全体の評価は不明です。この記事では、回答率と満足割合の違い、無回答バイアスの計算例、未回答者への追加調査と調査結果の掲載方法を解説します。
アンケートに答えた顧客の90%が満足と回答しても、顧客全体の90%が満足しているとは限りません。答えなかった顧客の満足状況が不明だからです。サービスを改善する判断には、満足と答えた割合に加え、誰に質問を送り、何人から回答を得たかが必要です。
回答者と未回答者の間で、調べている満足状況が異なると、回答者だけの集計と顧客全体の値に差が生じます。この問題を無回答バイアスと呼びます。米国世論調査協会のAAPORも、回答率だけでは無回答による誤差の有無や大きさを判断できないと説明しています。（Standard Definitions）
回答した顧客の評価と、顧客全体について推定した評価を区別 して読む必要があります。
以下は、人数を仮定した計算例です。ある月にサービスを利用した顧客100人全員に質問を送り、全員に案内が届いたとします。一人につき1回だけ回答でき、20人が満足状況の質問に回答し、18人が満足、2人が不満足を選びました。回答はこの二択とし、残り80人は未回答です。
回答者の満足割合は18÷20＝90%、質問を送った100人に対する回答率は20÷100＝20%です。二つの割合は分母が異なります。
同じ回答結果でも、未回答の80人が次のどちらだったかによって、全体の満足割合は変わります。
| 未回答者について置く仮定 | 回答者の満足人数 | 未回答者の満足人数 | 全100人の満足割合 |
|---|---|---|---|
| 未回答者も90%が満足 | 18人 | 72人 | 90% |
| 未回答者は40%が満足 | 18人 | 32人 | 50% |
1行目は（18＋72）÷100＝90%、2行目は（18＋32）÷100＝50%です。 回答から得られる18人という満足人数は同じでも、未回答者についての仮定で全体は変わります。 90%も50%も、この調査だけで判明した顧客全体の値ではありません。
不満を持つ顧客が答えなかったと断定することもできません。未回答者も回答者と同じ割合で満足している可能性があります。回答がないことは、不満足という回答とは異なります。
回答を増やす努力には意味があります。ただし、総回答数が増えたという事実だけでは、回答者と未回答者の満足状況の差は求められません。
先ほどと同じ100人全員への調査で、80人から回答を得て72人が満足と答えたと仮定します。回答率は80%、回答者の満足割合は90%です。未回答の20人が全員不満足なら全体の満足割合は72%、全員満足なら92%になります。20人の回答しかなかった例より不明な人数は減りますが、それでも顧客全体が90%という答えには確定しません。
自社で回答を集める際は、満足した顧客だけへ依頼する方法を避け、同じ利用期間の顧客へ同じ質問を送ります。たとえば、利用後の評価を調べるのに、翌月も契約を続けている顧客だけへ送ると、利用後に解約した顧客は初めから調査に含まれません。これは、依頼を受けたのに答えない問題より前に、誰へ依頼したかという問題です。
全体の満足状況を推定するには、答えていない顧客について情報を増やす必要があります。実務上の方法として、未回答者にも同じ質問を再送し、既存の連絡方法で回答を依頼することが考えられます。AAPORの調査指針も、複数回の連絡や異なる方法での連絡を、回答を増やす方法として挙げています。（Best Practices for Survey Research）
追加で回答した人の満足割合は、最初の回答者とは別に計算します。追加回答者の方が低ければ、最初の回答者より満足割合の低い顧客から回答を得たことが分かります。ただし、最後にも答えていない人の満足状況は依然として不明です。追加回答者の割合を、そのまま未回答者全員の割合にはできません。
顧客の利用記録も手掛かりになります。たとえば、同じ月の利用者について、契約継続者と解約者それぞれの依頼人数、回答人数を集計します。解約者の回答率が低ければ、その人たちの声が少ない調査だと分かります。ただし、解約には価格や利用目的の終了などもあり得るため、解約を不満足の回答へ置き換えません。
質問文や回答方法を変更すると、同じ顧客でも回答が変わる可能性があります。前月との差を評価する際は、質問文、回答項目、依頼する時期と方法をそろえます。AAPORも、時系列比較で質問文や調査方法を可能な限り同じにするよう説明しています。（Best Practices for Survey Research）
回答者の90%が満足という結果から、顧客全体の90%が満足とは判断できません。本文の最初の例で判明したのは、100人へ依頼し、20人が回答し、そのうち18人が満足を選んだことです。全体の評価を推定するには、未回答者にも質問するなど、欠けている顧客の情報を補う必要があります。
調査結果をホームページへ掲載する際にも、 満足と答えた人数と、その質問に答えた人数を併記 します。調査した利用期間、依頼人数、質問文と回答項目も添えれば、読者は90%がどの顧客のどの回答から計算されたかを把握できます。回答者の評価と、顧客全体についての推定を混同しない説明になります。
SpreadSite は、Googleスプレッドシートで内容を管理し、テンプレートを使ってホームページを作成・公開・更新できるノーコードツールです。
サービス内容や顧客アンケートの結果と調査方法を伝えるホームページの作成に、ぜひ使ってみてください！
A: 20人中18人が満足と答えたなら、回答者の満足割合90%という計算は正しいです。その数値を、答えていない80人も含む100人全体の満足割合へ置き換えるには、追加の情報や仮定が必要です。
A: 未回答は不満足と同じ回答ではないため、不満足へ置き換えません。本文の例では、回答した20人のうち2人が不満足で、80人の満足状況は不明です。
A: 回答率だけで判断する一律の数値はありません。回答者と未回答者の満足状況の差によって、全体との違いが変わります。本文では回答率80%でも、未回答者についての仮定によって全体の満足割合は72%から92%になります。
A: 解約者にも回答を依頼し、追加回答で得た評価を集計します。解約者の回答率が低いという事実だけでは、その全員が不満足かどうかは分かりません。解約件数と満足状況への回答は、異なる記録として計上します。
