テストで成績下位だった人の平均点が研修後に上がっても、その上昇のすべてを研修の効果とは判断できません。この記事では、一時的に低い点を取った人を選ぶと起きる平均への回帰と、架空の点数例、研修群と待機群を比較して効果を調べる方法を解説します。
商品知識テストの点数が低かった社員に追加研修を行い、次のテストで平均点が上がったとします。この結果だけでは、研修によって何点上がったかは分かりません。最初のテストで一時的に低い点を取った人を選んだこと自体が、次の平均点の上昇につながる場合があるためです。
1回目の点数で成績下位の人を選ぶと、2回目には、その人たちの平均点が選抜前の集団全体の平均に近づくことがあります。この現象を 平均への回帰 と呼びます。Barnettらの方法論の論文は、最初の測定値で一部の人を選び、その人たちだけを追うと、この影響が目立つと説明しています。（Regression to the mean: what it is and how to deal with it）
研修の効果を調べる問いは、受講者の点数が上がったかに加えて、 研修を受けなかった場合と比べて何点違ったか です。
1回のテストの点数には、身に付いている知識のほか、出題内容との相性や偶然の読み違いなど、その回だけの変動も含まれます。点数が低い人を選ぶと、知識が不足している人とともに、たまたま普段より低い点を取った人も含まれます。
その一時的な低下が次回も同じ大きさで続くとは限りません。学んだ内容が増えていなくても、選んだ集団の平均点が次回に上がることがあります。反対に、最初に高得点だった人だけを選べば、次の平均点が下がる場合もあります。（The need to control for regression to the mean in social psychology studies）
この説明から、誰でも次の点数が必ず平均へ近づくとは言えません。また、研修後に点数が上がったという観測だけで、その上昇がすべて平均への回帰だったとも決められません。研修による学習と、一時的な変動の両方が含まれる可能性があります。
以下は、仕組みを示す架空の計算例です。社員4人とも知識の水準は変わらず、テストを何度も受けた場合の平均点が70点だと仮定します。各回の点数は、互いに独立に、同じ確率で60点か80点になるものとします。追加研修は誰も受けません。
表には、この仮定のもとで起こり得る1組の結果を示しています。実在する研修の測定値ではありません。
| 社員 | 1回目の点数 | 2回目の点数 | 1回目が低得点の集団に含まれるか |
|---|---|---|---|
| A | 60点 | 60点 | 含まれる |
| B | 60点 | 80点 | 含まれる |
| C | 80点 | 60点 | 含まれない |
| D | 80点 | 80点 | 含まれない |
1回目が60点だったAとBだけを追うと、平均点は60点から、（60＋80）÷2＝70点へ上がります。研修を実施していなくても、選んだ2人の平均点は 10点 上がっています。一方、4人全体の平均点は、両方の回で70点です。
この仮定では、最初に60点だった人も、2回目に60点か80点を取る確率はそれぞれ2分の1です。そのため2回目の期待値は70点になります。ただし、2人とも再び60点になることもあり、表の結果が毎回再現されるわけではありません。
現実には社員ごとの知識量も、テストの変動の大きさも異なります。この例の10点を実際の研修から一律に差し引くことはできません。
研修の効果を調べる方法として、同じ点数基準で選んだ社員を、すぐに追加研修を受ける群と、次のテスト後に受ける待機群へ無作為に割り当てる方法を提案します。待機が業務上許容される研修で使う応用案です。
両群が同じ基準で選ばれていれば、最初の低得点による平均への回帰は両群に生じ得ます。無作為割当と比較群を組み合わせ、群どうしの変化を比べる考え方は、YuとChenの論文でも説明されています。これは企業研修の効果を測った研究ではなく、反復測定での推論を検討した論文です。（The need to control for regression to the mean in social psychology studies）
たとえば、両群の開始時の平均が50点で、次のテストでは研修群が65点、待機群が60点だったと仮定します。研修群の上昇は15点ですが、待機群でも10点上がっています。両群の上昇幅の差は、 15－10＝5点 です。
この5点が、追加研修の平均的な効果を推定する材料になります。少人数の偶然の差もあり得るため、人数と点数のばらつきを使い、推定値の不確かさも評価します。5点という差だけで、効果が確実にあったとは判断できません。
比較には、同じ時期に同じ採点基準で行うテストを使います。待機群も通常業務で学ぶ可能性があるため、この比較で測るのは 通常業務での学習に追加研修を加えた効果 です。研修資料が待機群にも共有された場合や、片方の群で欠席が多かった場合は、予定した比較の意味が変わります。
低得点者の研修群を、成績上位者も含む全社員と比較しても、選ばれ方が異なります。全社員の平均点が変わらない一方で低得点者の点数が上がったとしても、本文の架空例のように、研修なしで起こる場合があります。
比較群を置けないときは、受講者の平均が50点から65点へ上がったという観測結果と、研修によって15点上がったという効果の推定を区別してください。前後の点数は学習状況の記録に使えますが、その記録だけでは研修を受けなかった場合との差を求められません。
成績下位の人の平均点が研修後に上がっただけでは、研修の効果は決まりません。最初の低得点で人を選ぶと、研修なしでも点数が上がり得ます。追加研修の価値を調べるなら、同じ基準で選んだ待機群との比較など、研修を受けなかった場合を推定する設計が必要です。
研修事業のホームページで受講実績を紹介する際にも、テストの内容、人数、測定時期と、比較群の有無を記載すれば、掲載された点数の意味が伝わります。受講前後の変化を、そのまま研修だけによる効果として紹介しないようにします。
SpreadSite は、Googleスプレッドシートで内容を管理し、テンプレートを使ってホームページを作成・公開・更新できるノーコードツールです。
研修内容や受講実績を具体的に伝えるホームページの作成に、ぜひ使ってみてください！
A: 研修による学習と平均への回帰は、同時に生じる可能性があります。前後の点数だけでは、上昇のうち何点が研修によるものかを区別できないという問題です。
A: 一人ひとりの次の点数を決める法則ではありません。最初に極端な点数の人を選んだとき、その集団の次回の平均値に生じ得る傾向です。本文の例でもAの点数は変わっていません。
A: 低得点者だけの研修群とは選ばれ方が異なります。同じ点数基準で選んだ人を無作為に研修群と待機群へ割り当てれば、両群に生じ得る平均への回帰も含めて比較できます。
A: 受講前後に何点を取ったかという学習状況の記録になります。ただし、研修を受けなかった場合の点数が不明なので、その差のすべてを研修の効果とは判断できません。
