平均誤差がゼロでも予測より遅く納品する案件は残る
納品日の予測がどれだけ正確かは、平均誤差がゼロという結果だけでは判断できません。予測より4日遅い納品を+4日、4日早い納品を−4日として足すと、合計は0日になります。しかし、どちらの納品日も予測した日とは違います。
ここで予測するのは、依頼を受け付けてから納品を完了するのにかかる日数です。以下では、実際にかかった日数から予測した日数を引いた値を誤差と呼びます。プラスは予測より遅い納品、マイナスは予測より早い納品を表し、この値を案件ごとに求めて平均したものが 平均誤差 です。
平均誤差では、早い納品と遅い納品の日数が相殺されます。各案件の予測と実際の納品日がどれだけ近かったかを知るには、早い・遅いの区別を取り除いた差の日数も計算します。
4件の予測と実績を比較すると何が分かるか
4件の納品について、予測と実績を仮定します。予測は各依頼の受付時点で行ったものとし、実績は受付日時から納品完了日時への経過時間を日数で表します。1日を24時間とし、休日や顧客の返答を待つ時間も含めます。担当者の実作業時間を合計した値とは異なります。
| 案件 | 受付時に予測した日数 | 納品に実際にかかった日数 | 実績から予測を引いた誤差 | 早い・遅いを問わない差の日数 |
|---|
| A | 5日 | 9日 | +4日 | 4日 |
| B | 9日 | 5日 | −4日 | 4日 |
| C | 6日 | 8日 | +2日 | 2日 |
| D | 8日 | 6日 | −2日 | 2日 |
Aは予測より4日遅く、Bは4日早く納品しています。Cは予測より2日遅く、Dは2日早く納品しています。この4件の平均誤差は、(4 − 4 + 2 − 2)÷ 4で 0日 です。
したがって、平均誤差0日が示すのは、この4件では予測より遅かった日数の合計と、早かった日数の合計が等しいということです。各案件の予測日と実際の納品日が一致した件数は、4件中0件です。
顧客がAの納品物を使う作業を予測納品日の翌日から予定していたなら、Aの4日の遅れは、その作業の開始にも影響します。Bが早く納品されても、Aの顧客が待つ日数は短くなりません。複数案件の平均と、一つの案件で発生した日数の差を混同すると、こうした影響を見落とします。
平均絶対誤差で予測と実績の差の日数を求める
各案件の予測が実績と何日違ったかを平均するには、表の右端の値を使います。−4日は4日、−2日は2日として計算し、4日、4日、2日、2日を合計して4件で割ると、平均3日 です。
このように、差の符号を取り除いた値を絶対値と呼び、その平均を 平均絶対誤差(MAE) と呼びます。早い納品も遅い納品も差の日数として加えるため、相殺は起こりません。(予測誤差と平均絶対誤差の計算式)
同じ4件でも、平均誤差は0日、平均絶対誤差は3日になります。前者は予測が短すぎる方向と長すぎる方向のどちらに偏っていたか、後者は予測と実績が平均で何日違ったかを示します。
平均絶対誤差3日は、どの案件も予測から3日以内に納品できたという意味ではありません。表のAとBは4日違っています。納品日が予測から何日違ったのかを知るには、平均値に加えて案件ごとの日数も残します。
実験でも平均的な偏りと各予測の誤差は別に評価された
Buehlerらの1994年の第4研究では、心理学を学ぶ大学生123人がコンピューター課題の完了日時を予測しました。予測前に過去の経験を思い出す指示を受ける群、過去と同じく期限の何日前に終えるかも考える群、そうした指示を受けない群を比較しました。
過去の経験を今回の予測に結び付ける指示を受けた群では、指示のない群と比べて、完了日時を実際より早く予測する平均的な偏りが減りました。一方、予測と実績の差を絶対値で評価すると、指示による改善に統計的な有意差はありませんでした。偏りの減少を、各予測が実績に近づいたという結果と同じには読めません。(第4研究の方法と結果)
予測より遅い納品と約束した納期への遅延を区別する
予測より遅く納品したかは、予測日との比較で決まります。約束した納期を守ったかは、顧客との合意日との比較で決まります。この二つの日付が異なるなら、評価も別になります。
たとえば、受付から5日後に納品できると予測し、顧客とは受付から7日後を納期として合意したとします。実際の納品が受付から6日後なら、予測より1日遅いものの、約束した納期には1日早く納品しています。
したがって、平均絶対誤差が小さいという数値だけでは、約束した納期を守ったかは分かりません。納期への遅延を調べるなら、合意した日時と実際の納品日時を案件ごとに比較し、遅延した件数と日数を数えます。
見積もりの改善は同じ基準で作った予測と実績を比べる
平均誤差ゼロだけで、納品日の予測が正確だったとは言えません。受付時に予測した日数と、受付から納品に実際にかかった日数を案件ごとに比較し、平均誤差と平均絶対誤差を計算してください。予測が短すぎる傾向を調べるのか、実績との差の日数を減らすのかによって、判断に使う指標が変わります。
見積もり方法を変更した後も、受付時点の予測を保存して完了後の実績と照合します。実績を知ってから予測値を書き換えると、納品前にどれだけ正確に予測できていたかを評価できません。予測精度の評価に、方法を作るために使ったデータとは別の新たなデータを使うという考え方は、予測の教科書でも説明されています。(新たなデータで予測精度を評価する理由)
サービスの案内ページにも、日数を数え始める時点と納品を完了する時点、休日を含むかどうかを記載すると、掲載した所要日数の意味が伝わります。
SpreadSite は、Googleスプレッドシートで内容を管理し、テンプレートを使ってホームページを作成・公開・更新できるノーコードツールです。
サービスの受付手順や納品日程を具体的に伝えるホームページの作成に、ぜひ使ってみてください!
SpreadSiteでホームページを作成する →