「新規も既存も勝率が下がったのに、全体の勝率は上がったんです」

クラスの平均点が上がっても、全員が勉強したとは限りません。点数の低い生徒が転校していっただけでも、平均は上がります。全体の平均は、中身の一人ひとりが変わらなくても、組み合わせが変わるだけで動きます。

「平均単価が上がった」

小さい商談をたくさん失注し、大きい商談だけが残っただけかもしれない

「勝率が上がった」

難しい新規の商談を減らし、勝ちやすい既存顧客の商談が増えただけかもしれない

「受注までの日数が短くなった」

簡単な案件の比率が増えただけかもしれない

冒頭の「どちらも下がったのに全体は上がる」は、シンプソンのパラドックスと呼ばれる現象です。全体の数字は、新規・既存、顧客の規模、チャネルなど、先に決めておいた分け方で必ず分けて確かめます。都合のいい分け方を後から探さないことも大事です。

戦争中、帰還した戦闘機の弾痕を調べて「弾痕の多い場所を補強しよう」という案が出たとき、統計学者は逆を言いました。弾痕のない場所を補強すべきだ。そこを撃たれた機体は、帰ってこられなかったのだから。残ったものだけを見ると、結論が逆になります。

受注した顧客へのアンケート

「決め手は機能でした」。でも、失注した顧客が離れた理由は聞いていない

ウェビナー参加者の受注率

高いのは、もともと買う気の高い人が自分で選んで来ているからかもしれない

トップ営業がやっていること

同じことをして結果が出なかった人を見ていない

失敗した側、来なかった側、途中で消えた側も、同じように見ます。そして「この人たちは、どう選ばれてここにいるのか」を問います。

アイスクリームが売れる日ほど、水難事故が多い。でも、アイスが事故の原因ではありません。暑い日という、両方を動かす共通の原因があります。

「活動が多い商談ほど勝率が高い」という相関には、少なくとも3つの説明があります。

活動を増やしたから、勝った

活動が原因。これなら「活動を増やせ」は正しい

勝てそうな商談だから、活動を増やした

逆の因果。活動を増やしても、勝率は上がらない

大型で重要な案件だから、活動も多く、力も入った

共通の原因。本当に効いているのは案件の選び方かもしれない

ここで先に反論しておきます。「どの説明でも、活動を増やして損はないのでは」と思うかもしれません。ですが、逆の因果だった場合、勝てない商談にまで活動を割くことになり、勝てる商談に使えたはずの時間が減ります。相関を見つけたら3つの説明を並べ、条件をそろえて比べ、大きな判断の前には実験で確かめます。

勝率が上がったとき、新規と既存に分けても上がっていますか？

分けると下がっているなら、構成のわな

成功した案件だけでなく、失注した案件も同じように分析していますか？

していなければ、選ばれ方のわな

施策に参加した人としなかった人は、もともと同じような人たちですか？

違えば、参加者の数字の良さは施策の効果とは言えない

「この施策が効いた」と判断した根拠は、相関だけですか？

相関だけなら、逆の因果と共通の原因を疑う

最近の「改善した」という報告を1つ選び、中身を分けて見てください。新規と既存に分けても、規模で分けても、同じように改善しているでしょうか。分けた途端に改善が消えるなら、変わったのは成果ではなく、組み合わせだったのかもしれません。