我最近构建了一个系统,迫使多个人工智能模型在回答提示之前相互辩论。花了一个小时。这有点可怕。这可能是我今年建造的最重要的东西。
让我解释一下原因。
单一模型陷阱:肯定是错误的
每个人工智能顾问和系统架构师都见过这样的噩梦。每次都会以同样的方式进行。
人工智能模型推荐特定的软件架构。客户端构建它。它从根本上来说是有缺陷的。结果:花费 50,000 美元重写。
人工智能模型表示,“是的,这个正则表达式是安全的。”团队将其部署到生产中。结果:严重的安全漏洞。
人工智能模型提出了一种新颖的合规方法。监管机构对公司进行审计。结果:罚款 100 万美元。
单一模型无论多么先进,都存在固有的盲点。他们不知道自己不知道什么。更危险的是,没有内部红队挑战他们的产出。
目前企业技术面临的最大风险并不是人工智能会出错。人工智能肯定会犯错误,因为绝对没有人检查它的工作。
解决方案:对抗性审议
我没有依赖一个无所不知的神谕,而是建立了一个系统,召集了董事会——由多个不同的法学硕士组成的委员会,在向用户提供答案之前被迫就问题进行辩论。
这是系统内部真正的审议的样子:
第一轮(提案):Kimi K2.7建议,“使用服务器发送的事件来实现此功能。它更简单、更轻便。”
第二轮(批评):克劳德·奥普斯 4.8 认为,“你错过了双协议债务。大多数仪表板不可避免地会变得需要双向功能。SSE 将成为我们的瓶颈。”
第三轮(反驳):Kimi K2.7回应,“正确的观点。但传输抽象解决了这个问题——我们现在可以实现 SSE 以提高速度,并在以后无缝切换到 WebSocket,而无需进行大规模重写。”
结果:这两种模型在技术上都没有获胜。相反,该委员会提出了一个非常微妙的第三种选择,这两种模式都没有开始。
这不是投票系统。它没有取三个输出的平均值。它是结构化的、对抗性的分歧这迫使真正的决策标准浮出水面。
理事会如何运作
该系统改变了人工智能部署的单位经济性和安全性。该架构实现了以下目标:
智能成本路由。它将简单、低风险的查询路由到最便宜的模型。询问“天气怎么样?”成本 0.0006 美元。无需在琐事上燃烧高级代币。
智能升级。它会自动将复杂、高风险的决策升级到多模型辩论阶段。严格的架构审查可能需要花费 0.09 美元。这是针对 50,000 美元重写的廉价保险。
任务分解。它打破了巨大的、模糊的任务——比如“设计一个全球金融科技平台”- 分为由特定代理角色处理的五到七个专门步骤。没有单一型号会阻碍范围。
彻底的透明度。它会显示不同的观点并附上置信度分数。它永远不会掩盖分歧。如果模型不同意,您可以准确地看到哪里和原因。
不可变的审计跟踪。它生成完整的、可追踪的历史记录,准确记录谁说了什么以及为何做出决定。当监管机构询问时,您就有了文字记录。
踢球者?整个系统运行在现有的OpenClaw 基元。它需要零新的专有基础设施。它是纯粹的配置和先进的提示工程。
真正的洞察:对马力的治理
这个实验的主要收获并不是要实现更好的人工智能。这是关于人工智能治理。
想想人类社会如何处理高风险决策:
- 法院有控方和辩护方。
- 科学需要严格的同行评审。
- 企业由董事会指导。
- 医学依赖于第二意见。
到底为什么人工智能辅助决策——日益影响人类生活和企业生存的决策——比人类决策不那么严格呢?
未来工作的愿景
我对企业人工智能的愿景是严格的:
任何单一人工智能都不应在未经结构化深思熟虑的情况下做出影响人类生活的决策。
每个自动化决策都必须表明其推理、置信度以及任何不同意见。
审计追踪是绝对没有商量余地的。
计算成本是一个约束,而不是最终目标。
该理事会模式是可移植的。它正在成为一个新标准。最重要的是,它是开源的。它并不能完美地解决幻觉问题,但它可以以可衡量的、透明的和廉价的方式解决它。
如果您想建立企业真正可以信任的人工智能与人类的桥梁,请停止向单一模型寻求答案。开始建立理事会。
完整的系统是开源的,可以零依赖安装——只需Python。
在 GitHub 上查看:https://github.com/james-mtsoln/llm-council
保持领先地位。
— 詹姆斯


