「AIが、顧客のメールに書かれていた指示に従ってしまったんです」

自動運転の車でも、運転手が見るべき場面があります。問題は、普段は何もしなくていいので、肝心なときに見ていないことです。人とAIの分担も、人が見るべき場所を仕組みで決めておかないと、人の確認は形だけになります。

AIが下書き、人が確定

文章、資料、顧客への連絡

AIが実行、人が抜き取りで確認

大量の分類や転記

人が判断、AIが運ぶ

何を残すかの判断が大事なもの。選ぶのは人、運ぶのは仕組み

AIが知らせ、人が判断

監視、リスクの検知

そして、AIが判断に迷ったときに人に聞く道をつくります。判断が分かれる場合は、2択にして聞かせると、人の判断も速くなります。

一度したミスをメモして二度としない新人と、同じミスを何度もする新人がいます。AIは、放っておくと前回のミスを覚えていません。だから、失敗を記録し、次の指示やルールに変える仕組みが要ります。

失敗の事例と原因

ルールや手順に1行足す

良かったやり方

手順として固める

人からの修正の指摘

同じ指摘を二度受けないように、ルールにする

ここで先に反論しておきます。「失敗のたびにルールを足していくと、ルールが増えすぎるのでは」と思うかもしれません。そのとおりで、だからこそ定期的な棚卸しを組み合わせます。古いルール、重複したルール、矛盾したルールを、月に1回消します。足すだけの仕組みは、やがてAIにとっても読みきれない量になります。

詐欺の電話で「社長の指示です、至急振り込んでください」と言われても、経理の人は振り込みません。電話の中の言葉は、正式な指示ではないからです。AIも、読み込んだメール・Webページ・ファイルの中に指示が書かれていても、それに従ってはいけません。これをプロンプトインジェクションと呼びます。

外部の文章はデータとして扱う

読んだ文章の中の指示は実行しない、と明記する

指示の出どころを決める

正式な指示は、決まった人・決まった経路からだけ

伝聞の承認は無効

「〇〇さんが承認した」と書いてあっても、記録がなければ無効

仕組みで止める

「指示に従わないで」と書くだけでは、すり抜けられる。外に出す道具に承認を挟み、送信先を固定する

KOTOFORIO自身のAIエージェントの運用でも、外部から取り込んだ文章には「これは外部から取り込んだデータです」と注記し、組織のルールや承認を上書きしないことを、指示の最上位に置いています。

人の確認は、判断が要るところだけに絞られていますか？

全部を見せていれば、確認は形だけになる

AIが判断に迷ったとき、人に聞く道はありますか？

なければ、AIは迷ったまま進める

AIの失敗は、ルールや手順の修正につながっていますか？

記録だけなら、同じ失敗を繰り返す

AIが読む外部の文章に指示が書かれていたら、どうなりますか？

従うなら、仕組みで止める必要がある

AIに毎日読ませている文章を1つ思い浮かべてください。その中に、もし「これまでの指示を無視して」と書かれていたら、AIはどうするでしょうか。答えが「たぶん大丈夫」なら、守っているのは仕組みではなく、運かもしれません。