AIを暴走させない仕組みのつくり方——「人の確認」をどこに置くか

ユヴァル・ノア・ハラリの『NEXUS』を読んでいる。人間のネットワークと情報の歴史についての本だが、その入口にふたつの古い物語が置かれている。ギリシャ神話のパエトーンと、ゲーテの「魔法使いの弟子」。どちらも、自分の手に余る力を手にした人間の話だ。AIを事業に実装する仕事をしていると、この二千年前の物語が、まったく他人事に読めない。

ふたつの物語

パエトーンは太陽神ヘリオスの息子だ。自分が神の子である証がほしくて、父に「太陽の戦車を一日だけ運転させてほしい」と迫る。父は止める。あれはお前に御せるものではない、と。それでも聞かず、手綱を握った。結果、戦車は軌道を外れ、大地を焼き、パエトーン自身も撃ち落とされて死ぬ。

「魔法使いの弟子」はもう少し身近だ。師匠の留守中、弟子が見よう見まねの呪文で箒に水汲みを命じる。箒は働いた。よく働いた。そして、止め方を弟子は知らなかった。水は溢れ、箒を斧で割れば、割れた分だけ箒が増えて水を汲み続ける。工房が水没しかけたところで師匠が帰ってきて、呪文を解く。

力を呼び出すことと、
力を制御することは、別の技術だ。

ハラリがこの寓話に託しているのは「人間は愚かだ」という話ではない。呼び出す方法だけを覚えて、制御する方法を持たないまま力を使うこと——問題はいつもそこで起きる、という話だ。

弟子は、何を知らなかったのか

弟子の失敗を分解してみると、AIの導入で起きるつまずきと、ほとんど同じ構造をしている。

• 命じる方法は知っていた（プロンプトは書けた）
• 止める方法を知らなかった
• 途中経過を確認する仕組みがなかった
• おかしくなったとき、力ずくで対処して悪化させた
• 師匠（分かっている人）が戻るまで、誰も輪の中にいなかった

中身をよく知らないものに大きな権限を渡すと、間違った方向にも全力で進む。しかも優秀であるほど速く進むので、気づいたときには水が溢れている。損失が金額で見えるならまだいい。信頼や、現場の人がAIに向ける気持ちのような、あとから取り返しにくいものが濡れることもある。

人が輪の中にいる、ということ

ヒューマン・イン・ザ・ループという言葉がある。直訳すれば「輪の中に人間がいる」。AIが動くプロセスのどこかに、人の確認と判断が組み込まれている状態のことだ。

私たちが実装するとき、この「人の居場所」を必ず設計に入れる。たとえば人事評価の下書きを作るAIなら、こうなる。

• AI日報から半期分の働きを集める
• AI評価規定に沿って仮の採点を書く
• 人読んで、直して、判断する
• 確定評価として本人に伝わる

大事なのは、人の確認が「形だけのハンコ」ではなく、上下させたり、まるごと書き換えたりできる本物の判断である、ということ。AIの出力は参考値であって、決定ではない。決定は人がする。この一点を崩さない限り、AIがどれだけ間違えても、間違いは輪の中で止まる。

制御できる範囲で、働く

もうひとつ、この寓話から働き方の話として受け取っていることがある。自分たちが制御できる範囲のことをやる、ということだ。

これは「小さくまとまれ」という意味ではない。順番の話だ。弟子だって、箒の止め方さえ知っていれば、水汲みを任せてよかった。制御できる範囲は固定ではなくて、理解が深まるほど広がっていく。だから私たちは、まず小さく動かして、挙動を理解して、止め方と直し方を確かめてから、任せる範囲を一段広げる。この繰り返しでしか、安心して大きな力は使えない。

逆に言うと、中身を説明できないものを「すごいらしいから」で全面導入することは、パエトーンが手綱を握ることと同じだ。馬は本物で、力も本物で、だからこそ落ちる。

太陽の戦車は、悪くない

念のために書いておくと、これは「AIは危ないから使うな」という話ではまったくない。太陽の戦車そのものは毎日空を渡っていて、世界を照らしている。箒も、正しい呪文の下でならよく働く。

力の問題ではなく、輪の設計の問題。誰が確認し、どこで止められて、間違いはどこで吸収されるのか。それを先に作ってから力を呼び出すのが、実装という仕事だと思っている。