私は最近、プロンプトに答える前に複数の AI モデルが相互に議論することを強制するシステムを構築しました。 1時間かかりました。ちょっと怖いです。そしてそれは私が今年構築した最も重要なことかもしれません。
その理由を説明しましょう。
単一モデルの罠: 明らかに間違っています
すべての AI コンサルタントやシステム アーキテクトは、この悪夢を目にしたことがあります。毎回同じように展開されます。
AI モデルは、特定のソフトウェア アーキテクチャを推奨します。クライアントが構築します。それは根本的に欠陥があります。結果: 50,000 ドルの書き換え。
AI モデルはこう言います。「はい、この正規表現は安全です。」チームはそれを実稼働環境にデプロイします。結果: 大規模なセキュリティ侵害。
AI モデルは、新しいコンプライアンス アプローチを提案します。規制当局はその会社を監査します。結果：100万ドルの罰金。
単一のモデルには、どんなに先進的であっても、固有の盲点があります。彼らは自分たちが何を知らないのかを知りません。さらに危険なのは、社内に彼らの成果物に異議を唱えるレッドチームが存在しないことだ。
現在のエンタープライズテクノロジーにおける最大のリスクは、AI が間違っているということではありません。それは、AI の動作を誰もチェックしない場合、AI は自信を持って間違っているということです。
解決策: 敵対的な熟議
単一の全知の神託に依存する代わりに、私は、取締役会- 複数の個別の LLM からなる評議会は、ユーザーに回答を提供する前に問題について議論することを強制されます。
システム内での実際の審議は次のようになります。
ラウンド 1 (提案):キミ K2.7 が提案する、「この機能にはサーバー送信イベントを使用してください。よりシンプルで軽量です。」
ラウンド 2 (批評):クロード作品 4.8 は次のように主張しています。「デュアルプロトコルの負債を見逃していました。ほとんどのダッシュボードは必然的に双方向機能を必要とするようになります。SSE がボトルネックになります。」
ラウンド 3 (反論):キミ K2.7 はこう答えます。「正当な指摘です。しかし、トランスポートの抽象化によってこの問題は解決されます。速度を上げるために今すぐ SSE を実装し、後で大規模な書き換えを行わずに WebSocket にシームレスに切り替えることができます。」
結果:どちらのモデルも技術的には勝てませんでした。代わりに、評議会は、どちらのモデルも当初から存在しなかった、非常に微妙な第 3 のオプションを作成しました。
これは投票システムではありません。 3 つの出力の平均を取っているわけではありません。それは構造化された敵対的な意見の相違それは本当の意思決定基準を表面化させます。
評議会の運営方法
このシステムは、AI 導入のユニットエコノミクスと安全性プロファイルを変えます。このアーキテクチャが実現するものは次のとおりです。
スマートなコストルーティング。シンプルでリスクの低いクエリを、最も安価な機能モデルにルーティングします。尋ねる「天気はどうですか？」費用は 0.0006 ドルです。トリビアでプレミアム トークンを燃やす必要はありません。
インテリジェントなエスカレーション。複雑で一か八かの意思決定を自動的にマルチモデルの議論フェーズにエスカレーションします。厳密なアーキテクチャのレビューには 0.09 ドルかかる場合があります。これは、50,000 ドルの書き換えに対する安価な保険です。
タスクの分解。それは、大規模で曖昧なタスクを中断します。「グローバルなフィンテックプラットフォームを設計する」- 特定のエージェント ペルソナが処理する 5 ～ 7 つの特殊なステップに分かれています。単一のモデルがスコープを詰まらせることはありません。
徹底的な透明性。信頼度スコアを備えた反対意見を明らかにします。意見の相違を隠蔽することは決してありません。モデルが一致しない場合は、正確な場所と理由がわかります。
不変の監査証跡。誰が何を言ったのか、そしてなぜ決定に至ったのかを正確に追跡可能な完全な履歴が生成されます。規制当局が尋ねると、記録は手元にあります。
キッカー？このシステム全体は既存のシステム上で実行されます。OpenClaw プリミティブ。新しい独自のインフラストラクチャは必要ありません。これは純粋な構成と高度なプロンプト エンジニアリングです。
本当の洞察: 馬力よりもガバナンス
この実験から得られる主な点は、達成することではありません。より良いAI。それは約ですAI ガバナンス。
人間社会が一か八かの決断をどのように扱うか考えてみましょう。
- 裁判所には訴追側と弁護側がいます。
- 科学には厳格な査読が必要です。
- ビジネスは取締役会によって指導されます。
- 医療はセカンドオピニオンに依存します。
一体なぜ、AI 支援による意思決定、つまり人命や企業の存続にますます影響を与える意思決定が、人間による意思決定よりも厳格でなければならないのでしょうか?
仕事の未来に対するビジョン
エンタープライズ AI に対する私のビジョンは厳格です。
単一の AI が、構造化された熟慮なしに人間の生命に影響を与える決定を下すべきではありません。
自動化されたすべての決定は、その理由、信頼度、および反対意見を示す必要があります。
監査証跡は厳密に交渉の余地がありません。
コンピューティング コストは制約であり、最終的な目的ではありません。
この評議会パターンは移植可能です。新しいスタンダードとして登場しつつあります。そして最も重要なのは、オープンソースであることです。幻覚の問題を完全に解決するわけではありませんが、目に見える形で、透明性があり、安価に解決できます。
企業が実際に信頼できる AI と人間の架け橋を構築したい場合は、単一のモデルに答えを求めるのはやめてください。評議会の設立を開始します。
完全なシステムはオープンソースであり、依存関係なしで Python だけをインストールしてすぐにインストールできます。
GitHub で確認してください。https://github.com/james-mtsoln/llm-council
時代の先を行きましょう。
— ジェームス