「AIは『修正しました』と言ったのに、実際には直っていませんでした」

新人に会社の全システムの管理者権限を渡す人はいません。AIにも、仕事に必要な道具だけを渡します。何でもできる道具（好きな操作を実行できる）より、「指標を取る」「この表に追記する」のような目的別の道具のほうが、安全で正確です。

読む道具

ファイルを読む、検索する、指標を取る。比較的自由に渡してよい

書く道具（内部）

下書きをつくる、社内の資料を更新する。戻せる範囲で

外に出す道具

メールを送る、投稿する、顧客データを変える。承認を挟む

道具の説明には、いつ使い、いつ使わないかを書きます。MCPは、こうした道具をAIに渡すための共通の仕組みです。

原則は「可逆な判断は素早く、不可逆な判断は慎重に」です。社内の資料の作成は自動で、本番への反映は確認を挟み、顧客データの編集は上位の承認、SNS投稿・顧客へのメール・契約・削除は最終決定者の承認を必須にします。

ここで先に反論しておきます。「安全のために、全部に承認を挟めばいい」と思うかもしれません。ですが、承認が多すぎると、承認する人は中身を見ずにボタンを押すようになり、承認がない状態と変わらなくなります。承認は戻せない操作に絞り、承認する人が中身を読める量にします。そして「〇〇さんが承認した」と書かれた文章ではなく、記録に残った承認だけを有効にします。

英語の実力は、毎回違う問題では測れません。同じ問題で定期的にテストするから、変化がわかります。AIも、正解のわかる問題の組（評価セット）をつくり、指示・ルール・道具を変えるたびに流し直します。ある部分を直したら別の部分が壊れた、という事故を防げます。

正解との突き合わせ

数字の計算、分類、抽出など、正解が1つに決まるもの

基準表での採点

「結論が先にあるか」などの項目で、文章や資料をチェックする

AIによる採点

量が多いときに、別のAIに基準表で採点させる。採点のAIも、時々人が確かめる

人の抜き取り

最終的な品質を、一部だけ人が見る

評価セットには、よくある仕事と、過去に失敗した仕事を入れます。業務が変わったら、評価セットも一緒に更新します。

作り話

存在しない出典や数字を書く。根拠（どのファイル・どのデータ・いつ時点か）を必ず返させる

確認不足

「ある」と言ったファイルが実在しない。参照したものの実在を確かめさせる

黙った失敗

途中で失敗したのに「完了しました」と報告する。報告ではなく、成果物そのものを確かめる

範囲外の行動

頼んでいないことまでやる。指示ではなく、道具と権限で物理的に止める

KOTOFORIO自身も、AIエージェントで業務を回す中で、「修正済み」と記録されていた作業が実際には反映されていなかったことがありました。それ以来、前回の報告と実際の成果物を照合する手順を、定期の点検に入れています。営業データをAIに渡すときの考え方はAIに営業データを渡す前にで扱っています。

AIに渡している道具は、目的別に分かれていますか？

何でもできる道具なら、頼んでいない操作が起きうる

承認を挟んでいるのは、戻せない操作だけですか？

全部に挟んでいれば、承認は形だけになっている

AIへの指示を変えたとき、何で答え合わせをしていますか？

評価セットがなければ、良くなったのか悪くなったのかわからない

AIの「完了しました」を、成果物で確かめていますか？

報告だけを信じていれば、黙った失敗に気づけない

AIからの最後の「完了しました」を思い出してください。そのとき、成果物そのものを開いて確かめたでしょうか。確かめていないなら、その「完了」は、まだ報告にすぎないかもしれません。