我最近構建了一個系統,迫使多個人工智能模型在回答提示之前相互辯論。花了一個小時。這有點可怕。這可能是我今年建造的最重要的東西。
讓我解釋一下原因。
單一模型陷阱:肯定是錯誤的
每個人工智能顧問和系統架構師都見過這樣的噩夢。每次都會以同樣的方式進行。
人工智能模型推薦特定的軟件架構。客戶端構建它。它從根本上來說是有缺陷的。結果:花費 50,000 美元重寫。
人工智能模型表示,“是的,這個正則表達式是安全的。”團隊將其部署到生產中。結果:嚴重的安全漏洞。
人工智能模型提出了一種新穎的合規方法。監管機構對公司進行審計。結果:罰款 100 萬美元。
單一模型無論多麼先進,都存在固有的盲點。他們不知道自己不知道什麼。更危險的是,沒有內部紅隊挑戰他們的產出。
目前企業技術面臨的最大風險並不是人工智能會出錯。人工智能肯定會犯錯誤,因為絕對沒有人檢查它的工作。
解決方案:對抗性審議
我沒有依賴單一的全知神諭,而是建立了一個系統,召集了董事會——由多個不同的法學碩士組成的委員會,在向用戶提供答案之前被迫就問題進行辯論。
這是系統內部真正的審議的樣子:
第一輪(提案):Kimi K2.7建議,“使用服務器發送的事件來實現此功能。它更簡單、更輕便。”
第二輪(批評):克勞德·奧普斯 4.8 認為,“你錯過了雙協議債務。大多數儀表板不可避免地會變得需要雙向功能。SSE 將成為我們的瓶頸。”
第三輪(反駁):Kimi K2.7回應,“正確的觀點。但傳輸抽象解決了這個問題——我們現在可以實現 SSE 以提高速度,並在以後無縫切換到 WebSocket,而無需進行大規模重寫。”
結果:這兩種模型在技術上都沒有獲勝。相反,該委員會提出了一個非常微妙的第三種選擇,這兩種模式都沒有開始。
這不是投票系統。它沒有取三個輸出的平均值。它是結構化的、對抗性的分歧這迫使真正的決策標準浮出水面。
理事會如何運作
該系統改變了人工智能部署的單位經濟性和安全性。該架構實現了以下目標:
智能成本路由。它將簡單、低風險的查詢路由到最便宜的模型。詢問“天氣怎麼樣?”成本 0.0006 美元。無需在瑣事上燃燒高級代幣。
智能升級。它會自動將複雜、高風險的決策升級到多模型辯論階段。嚴格的架構審查可能需要花費 0.09 美元。這是針對 50,000 美元重寫的廉價保險。
任務分解。它打破了巨大的、模糊的任務——比如“設計一個全球金融科技平臺”- 分為由特定代理角色處理的五到七個專門步驟。沒有單一型號會阻礙範圍。
徹底的透明度。它會顯示不同的觀點並附上置信度分數。它永遠不會掩蓋分歧。如果模型不同意,您可以準確地看到哪裡和原因。
不可變的審計跟蹤。它生成完整的、可追蹤的歷史記錄,準確記錄誰說了什麼以及為何做出決定。當監管機構詢問時,您就有了文字記錄。
踢球者?整個系統運行在現有的OpenClaw 基元。它需要零新的專有基礎設施。它是純粹的配置和先進的提示工程。
真正的洞察:對馬力的治理
這個實驗的主要收穫並不是要實現更好的人工智能。這是關於人工智能治理。
想想人類社會如何處理高風險決策:
- 法院有控方和辯護方。
- 科學需要嚴格的同行評審。
- 企業由董事會指導。
- 醫學依賴於第二意見。
到底為什麼人工智能輔助決策——日益影響人類生活和企業生存的決策——比人類決策不那麼嚴格呢?
未來工作的願景
我對企業人工智能的願景是嚴格的:
任何單一人工智能都不應在未經結構化深思熟慮的情況下做出影響人類生活的決策。
每個自動化決策都必須表明其推理、置信度以及任何不同意見。
審計追蹤是絕對沒有商量餘地的。
計算成本是一個約束,而不是最終目標。
該理事會模式是可移植的。它正在成為一個新標準。最重要的是,它是開源的。它並不能完美地解決幻覺問題,但它可以以可衡量的、透明的和廉價的方式解決它。
如果您想建立企業真正可以信任的人工智能與人類的橋樑,請停止向單一模型尋求答案。開始建立理事會。
完整的系統是開源的,可以零依賴安裝——只需Python。
在 GitHub 上查看:https://github.com/james-mtsoln/llm-council
保持領先地位。
— 詹姆斯


