Day 4
暴走と停止
ここまでで「回る仕組み」は作れるようになりました。今日は反対側、「止まる仕組み」を作ります。 止まらずに回り続けるAIは、頑張り屋ではありません。事故です。 今日はまず、その事故をあなたの手元で起こしてもらいます。
今日のゴール
- 暴走の正体が「終わりの定義がないこと」だと体験で理解する
- 非常ブレーキ3種「回数上限・無進捗検出・予算上限」を説明できるようになる
- 暴走の逆の事故「偽完了」を体験し、数えられる完了条件が両方向に効くと知る
- ループの3つの型(ノーチェック・チェックつき・レビュー役つき)を区別できるようになる
まずは体験
今日の経費チェックAIには設定パネルがあります。手順は3ステップです。
- 完了条件を「完璧になったら終了」にし、ブレーキをすべて外して回す。止まらないので、あなたの手で停止ボタンを押してください。
- 同じ完了条件のまま、ブレーキを1つずつ入れて回し直し、どこで止まるかを見る。
- 完了条件を「6件すべてを仕分けたら終了」にして回す。ブレーキなしでも1周で止まることを確かめる。
- 最後に完了条件を「AIが完了と言ったら終了(自己申告)」にして回す。今度は逆に、早く止まりすぎることを確かめる。
暴走の正体
いま見たとおり、暴走したAIは壊れても反抗してもいません。指示に忠実です。 問題は「完璧になったら終了」という完了条件に、満たしたかどうかを確かめる方法がないことでした。 人間相手なら「完璧じゃなくても、まあこのへんで」という常識が終わりを作ります。 AIのループには、その常識の代わりに検証できる完了条件を書いておく必要があります。 「いい感じに」「ちゃんと」「完璧に」。人間の職場で便利なこの言葉たちが、ループでは終わりの来ない呪文になります。
非常ブレーキ3種
| ブレーキ | 何を見張るか | 止まったときの意味 |
|---|---|---|
| 回数上限 | 反復の回数 | 想定より長引いている。設計を見直すサイン |
| 無進捗検出 | 同じ状態の繰り返し | 続けても同じ場所を回るだけ。人間に相談すべき状況 |
| 予算上限 | お金(利用料) | 最後の砦。他の見張りをすり抜けても財布側で止まる |
大事な感覚はひとつ。ブレーキは発動しないのが正常です。 明確な完了条件で回した3回目、ブレーキは一度も働きませんでした。それでも必ず付けます。 シートベルトと同じで、使わなかった日も無駄ではありません。 「人間が見ていれば止められる」は停止条件ではない、というのが今日いちばんの持ち帰りです。
もうひとつの事故: 偽完了
体験の4番目では、逆向きの事故が起きました。AIは「主要な申請は仕分けた。完了です」と報告して止まりましたが、 実際に処理されたのは6件中4件。しかも残った2件は、人間への相談が必要な深夜タクシー代と、金額不一致の文房具。 いちばん確認が必要だった案件です。 これを偽完了(premature completion)と呼びます。暴走が「終われない」事故なら、偽完了は「終わったフリ」の事故です。
やっかいなのは、非常ブレーキが効かないことです。ブレーキ3種が見張っているのは回数・進捗・お金、つまり「長すぎる」方向だけ。 早く止まりすぎる偽完了は、素通りします。 防ぎ方は暴走と同じ場所にあります。完了をAIの宣言ではなく、数えられる形で定義する。 「未処理が0件」「6件すべてに判定の記録がある」。こう書いてあれば、「完了です」という申告は照合の前で止まります。 検証できる完了条件は、両方向に効く一枚の壁です。終われない暴走も、終わったフリも、同じ壁が防ぎます。
ループの3つの型: 点検はどこに入るか
| 型 | 点検のタイミング | 使いどころ |
|---|---|---|
| ノーチェックループ(open loop) | 点検なし。AIが「終わった」と言うまで回る | お試し・デモまで。仕事には使わない |
| チェックつきループ(closed loop) | 1回の行動ごとに、規定・台帳と照合する | 実務の基本形。Day1のループモードがこれ |
| レビュー役つきループ(review loop) | 並走する検証役が、まとめて点検して差し戻す | 長く回す仕事・品質が問われる仕事 |
3つを分けるのは、「No」と言える要素がどこに入っているかです。 規定・台帳・検証役。照合相手のないループは、AIが自分の答えに賛成し続けるだけの機械になります。 昨日の「検証役は別の目」という話は、ここにつながっています。
照合相手がいないと何が起きるか、ひとつ例を見ておきます。 経費チェックAIが「この取引先は毎回きちんとしているので、今後は自動で承認してよいはずです」と提案してきたとします。 理由は筋が通って聞こえます。実際、過去に差し戻しは一度もありませんでした。 それでも過去の申請でこの新しいやり方を試すと、まぎれこんでいた規定違反をいくつか見逃すとわかりました。だからこの提案は採用しません。 AIはしばしば、変更したい理由をもっともらしく語ります。判断を分けるのは語りの説得力ではなく、その変更で、これまでの見逃しが本当に減ったかという照合です。 照合する相手がいなければ、もっともらしい理由はいつでも通ってしまいます。
今日のまとめ
- 暴走の正体は、悪意でも故障でもなく「検証できる終わりの定義がない」こと
- 非常ブレーキは回数上限・無進捗検出・予算上限の3種。発動しないのが正常、それでも必ず付ける
- 暴走の逆は偽完了(終わったフリ)。ブレーキは効かない。数えられる完了条件だけが両方向を防ぐ
- ループは「No と言える要素」があって初めて信頼できる。点検の入る場所で3つの型に分かれる
ミニ課題(5〜10分)
-
Day3で作った6部品対応表に、2行足してください。
- 完了条件: 何がどうなったら終わり? それは誰が見ても判定できる形になっているか?
- 非常ブレーキ: 回数・無進捗・予算の3つを、あなたの仕事の言葉で書くと?
- (ハンズオン)いつものチャットAIに、自分の仕事の完了条件を渡してこう頼んでください。 「この完了条件を、第三者が見ても終わったと判定できる形に書き直してください。「いい感じ」「ちゃんと」は禁止です。」 書き直された条件が、あなたの最初の「検証できる完了条件」です。