「新しいSFAを入れてから、商談化率が上がりました」「同じ時期に、市場も良くなっていませんか?」
施策を入れた前と後を比べて「効果があった」と報告する。とても自然なやり方ですが、前と後のあいだには、季節も市場も人も変わっています。施策が本当に効いたのかを確かめる方法と、確かめた数字を目標にしたときに起きることを整理します。
シリーズ「営業の数字の「測り方」と「因果」」3/3本目
実験:当てる群と当てない群を、くじ引きで分ける
新しい肥料が効くかを確かめるには、畑を2つに分けて、片方にだけ肥料をまくのが一番確実です。どちらにまくかはくじ引きで決めます。くじ引きなら、日当たりや土の良し悪しが両方に同じように散らばるので、差が出ればそれは肥料のおかげと言えます。
- 新しいフォローメールは、商談化を増やすか
- くじ引きで半分のリードに新しいメール、残り半分に今までのメール
- 初回連絡を早くすると、商談化が増えるか
- 半分のリードは1時間以内に連絡、残り半分は今まで通り
- ウェビナーの招待は効くか
- くじ引きで招待しない顧客を残しておく(ホールドアウト)
何を測るか、どれくらいの期間・件数で判断するか
顧客IDの末尾の数字などで。人の判断を入れない
たまたま差が出たところで止めると、偶然を効果と取り違える
差が出なかった数字の代わりに、差が出た別の数字を報告しない
実験できないとき:比べる相手を、何とかしてつくる
全員に一斉に新しいSFAを入れる場合のように、くじ引きで分けられないことも多くあります。そのとき、前後比較の代わりに、比べる相手をつくります。
- 段階的に入れる
- 全員に一斉ではなく、チームごとに時期をずらす。これだけで、入れたチームとまだのチームを比べられる
- 差の差を見る
- 施策を当てたグループの前後の変化から、当てなかったグループの前後の変化を引く。市場の変化を取り除ける
- 自己申告で補う
- 「何がきっかけでしたか」と直接聞く。データに残らないきっかけが見える
ここで先に反論しておきます。「段階的に入れると、全員に届くのが遅れる」と思うかもしれません。ですが、一斉に入れると比べる相手がいなくなり、効いたのかどうかが永遠にわかりません。効かなかった施策を、効いたと思って続けるほうが、遅れるよりずっと高くつきます。
指標のゲーム化:目標にした指標は、指標として壊れる
テストの点数を目標にすると、テストに出るところだけ勉強するようになり、点数は上がっても実力は上がりません。「指標が目標になると、良い指標ではなくなる」と言われます。
- 勝率を目標にすると
- 負けそうな商談を作らない、失注を入れない
- 商談数を目標にすると
- 質の低い商談を大量に作る
- 活動件数を目標にすると
- つながらない電話、テンプレートのメールが増える
- 予測の精度を目標にすると
- 低めに予測して確実に超える
対になる指標をセットで見ます(勝率と商談数、活動件数と接続率)。評価に使う指標と、改善に使う指標を分けます。そして、数字が急に良くなったら、まず行動の変化を疑います。
測定のコスト:判断を変えない測定は、やめてよい
毎日体重を測るのは安いですが、毎日血液検査をするのは高くつきます。測定には、入力と集計の手間、そして数字を気にしすぎて本来の仕事が減るというコストがあります。どんな結果が出ても同じ判断をするなら、その測定はやめてかまいません。大まかな測定で判断が変わらないなら、精度を上げる必要もありません。使われていないレポートは、四半期ごとに止めます。
自己診断
- 施策の効果を、当てなかった群と比べて確かめたことはありますか?
- 前後比較だけなら、市場や季節の変化と区別できていない
- 新しい施策を、全員に一斉に入れていませんか?
- 段階的に入れるだけで、比べる相手が生まれる
- 目標にしている指標と対になる指標を、一緒に見ていますか?
- 見ていなければ、ゲーム化に気づけない
- 毎週作っているレポートのうち、判断に使われているものはいくつありますか?
- 使われていないものは、止める候補
シリーズ:営業の数字の「測り方」と「因果」
- 1.基本編:何を、何と比べて、どれくらいの差なら意味があるか
- 2.落とし穴編:構成・選択・相関のわな
- 3.実験編:効いたかどうかを確かめる(この記事)
6つのシリーズの全体像は仕組みの設計:6つの要素にまとめています。
問い
次に新しい施策を始めるとき、全員に一斉に入れる前に、「効いたかどうかを、何と比べて確かめるか」を1行だけ書いてみてください。その1行があるかないかで、半年後に残る学びが大きく変わるはずです。