简而言之:我们对每个主要AI编码模型进行了真实的水星科技解决方案开发任务 — 前端和后端。排名:Fable > Kimi K3 > Claude Opus 4.8 > Grok 4.5 > Codex 5.5 > Kimi 2.7 > Claude Opus 4.6 > GLM 5.2 > MiniMax。Fable 赢了。不是因为它是最大的模型,而是因为它理解什么是“完成”。
这里是詹姆斯,水星科技解决方案的首席执行官。 来自我在香港数码港的办公室——2026年7月17日
我花了过去两周做一些我几个月前就应该做的事情:将每个主要的AI编码模型与实际工作进行测试。
不是基准测试。不是LeetCode。不是“编写一个Python函数来排序一个列表。”而是真正的工作。需要处理边缘案例的React组件。需要与第三方服务集成的API端点。不能丢失数据的数据库迁移。那些在生产环境中真正会出错的东西。
这是我们学到的。
方法论:没有基准测试,只有实战
我们给每个模型相同的任务:
1. 前端:构建一个响应式仪表板,具有实时数据可视化、错误处理和无障碍合规性
2. 后端:设计一个具有身份验证、缓存和在负载下优雅降级的速率限制 API
3. 集成:使用适当的 TypeScript 类型、错误边界和加载状态连接这两者
没有手把手指导。没有 "逐步思考" 的提示。只有高级工程师在周一早上会收到的规范。
我们在四个维度上得分:
• 正确性:它是否没有错误地工作?
• 完整性:它是否处理边缘情况,还是仅仅处理正常情况?
• 可维护性:其他工程师能在六个月内阅读和修改这个吗?
• 速度:从提示到可交付代码需要多长时间?
排名:什么获胜了,为什么
1. Fable — 那个“完成”的黑马
Fable 排在我们的榜单首位,老实说,我没想到这一点。它不是最受追捧的模型。它的参数数量也不是最多的。但Fable在以下方面做得比其他任何人都好:它理解 "可编译的代码 "和 "可发布的代码 "之间的区别。
在我们的前端任务中,Fable 在没有请求的情况下生成了错误边界。它添加了加载骨架。它为屏幕阅读器包含了适当的 ARIA 标签。当我们请求后端时,它构建了速率限制与电路断路器和当缓存失败时的回退策略。
这是一个像高级工程师一样思考的模型,而不是刚学会语法的初级工程师。
速度也令人难以置信。Fable 在 12 分钟内完成了我们的三项任务套件。下一个最快的是 Kimi K3,耗时 18 分钟。
为什么 Fable 胜出:它生成的是生产就绪的代码。不是演示代码。不是教程代码。是处理那些你只在第一次生产故障后才想到的边缘情况的代码。
2. Kimi K3 — 可靠的工作马
Kimi K3 是我真正信任的生产代码模型。它没有 Fable 那么“聪明” — 不会给你带来意想不到的优雅解决方案。但它也不会给你带来意想不到的错误。
1M 的上下文窗口是真正的杀手级功能。我们将整个代码库(47K 行)输入给它,并要求它添加一个功能。它理解了模式,遵循了约定,并生成了看起来像是我们团队编写的代码。
Kimi K3 的优势在于:长上下文任务、重构遗留代码、在大型项目中保持一致性。当“有效”比“惊艳”更重要时,它就是你想要的模型。
权衡:K3在绿地任务上比Fable慢。它需要时间来读取上下文、理解模式并生成合适的代码。但当你在三天后不再调试神秘的集成故障时,这段时间是值得的。
3. Claude Opus 4.8 — 理论家
Opus 4.8是房间里最聪明的模型。它会解释为什么你的架构是错误的,建议三个更好的替代方案,并撰写一份关于权衡的白皮书。它也是最有可能将一个简单的CRUD端点过度工程化为一个具有事件溯源的分布式系统的模型。
Opus问题:它太深思熟虑了。给定一个应该花30分钟的任务,Opus 4.8会花20分钟在设计文档上,15分钟在实现上,然后建议你重构整个代码库以匹配新模式。
当你需要深入推理——复杂算法、架构决策、安全分析——时,Opus 4.8无与伦比。当你需要在周五之前交付时,它就是一个负担。
成本现实检查: Opus 4.8 很贵。就像,“也许我们应该再雇一个工程师”那么贵。在 Aider 排行榜上,每 1000 个任务的价格为 65.75 美元,这是一款针对高端问题的高端工具。
4. Grok 4.5 — 带有警告的速度恶魔
Grok 4.5 非常快。就像,实际上快。它在 8 分钟内生成了我们的前端任务。代码运行正常。看起来不错。
但是当我们对后端进行压力测试时——用并发请求进行攻击,模拟缓存故障,测试边缘情况——Grok 的代码开始出现问题。它在处理正常路径时表现得很好。处理不正常路径时?就没那么好了。
Grok 是原型设计的模型,而不是生产使用的模型。如果你需要在一个下午验证一个想法,Grok 可以满足你的需求。如果你需要安心入睡,知道你的 API 不会在凌晨 3 点崩溃,那就另寻他处。
xAI 因素:Grok 与 X/Twitter 数据的集成使其在实时上下文中具有优势。但对于纯编码而言,这种优势并不转化为更好的代码质量。
5. Codex 5.5 — 专家
Codex 5.5 是当你将一个模型优化为仅仅用于一件事:代码生成时的结果。它是这个列表中最好的纯编码器。语法完美,模式地道,变量名实际上是有意义的。
但如果让它解释为什么它选择了特定的方法,或者考虑技术决策的商业影响,它就沉默了。Codex 写代码。它不考虑代码。
使用 Codex 的时候:你确切知道自己想要什么,只需要快速输入。这是世界上最昂贵的自动补全——有时候,这正是你所需要的。
OpenAI 生态系统:当你已经在 OpenAI 生态系统中时,Codex 5.5 表现出色。与 ChatGPT 的集成,对 GPT 风格输出的熟悉,一致的 API——这是一个舒适的选择,而不是一个大胆的选择。
6. Kimi 2.7 — 稳健的老兵
Kimi 2.7 是我们在 K3 存在之前使用的模型。它可靠、一致且可预测。它不会让你大吃一惊,但也不会让你的代码库崩溃。
诚实的评估:如果你可以使用 K3,就没有理由使用 2.7。仅仅是上下文窗口(256K 对比 1M)就使 K3 成为不同类别的工具。但对于使用旧计划或有遗留集成的团队来说,2.7 仍然是一个完全称职的工程师。
价格合适:在 Aider 排行榜上,每 1000 个任务的价格为 1.24 美元,Kimi 2.7 是预算冠军。虽然不是最好的,但它是最好的价值对于不需要尖端技术的团队。
7. Claude Opus 4.6 — 旧一代
Opus 4.6 感觉像是 4.8 辉煌的预览,但缺乏精致。它同样有过度思考的倾向,但准确性较差。相同的架构雄心,但有更多的漏洞。
跳过它。如果你在 Anthropic 生态系统中,直接去 4.8。4.6 和 4.8 之间的差距不是逐步的 — 而是一个不同的模型类别。
8. GLM 5.2 — 区域竞争者
GLM 5.2 是你从未听说过的最佳模型——除非你在中国。它比任何西方模型更好地处理了我们的中文需求,并且对本地 API 生态系统(微信、支付宝、钉钉)的理解确实令人印象深刻。
但对于通用开发呢?还可以。不是很好。还可以。代码可以运行,但它比较保守。它不会建议现代模式。它不会优化性能。它会给你一个在 2022 年编译并运行的解决方案。
智谱 AI 的角度:GLM 得到了智谱 AI 的支持,智谱 AI 是中国领先的 LLM 实验室之一。对于为中国市场开发的团队来说,GLM 的文化和监管意识是一个真正的优势。对于其他人来说,它只是一个好奇。
9. MiniMax — 进行中的工作
MiniMax 排在我们列表的底部,我对此感到遗憾,因为团队显然在努力。但努力并不等于交付。
生成的代码是... 功能性的。它编译了。它运行了。但它错过了每个其他模型捕捉到的边缘情况。错误处理很少。TypeScript 类型很松散。当我们要求它进行性能重构时,它使代码变得更慢。
MiniMax 可能会达到那个水平。但现在,它还不适合生产开发。
中国 LLM 领域:MiniMax 是一个拥挤的领域的一部分,其中包括 Qwen、DeepSeek 和 GLM。在这些公司中,它正在努力区分。MiniMax 和 DeepSeek-V3.2(在 Aider 上为 74.2%)之间的代码质量差距明显。
没有人谈论的模式
这让我最惊讶的是:最好的模型并不是最大的模型。
Fable 并没有在最大的参数数量上运行。Kimi K3 的运营成本也不是最高的。但两者都理解一些更大模型所忽视的事情:发货是一种心态,而不是一种能力。
我们列表中排名靠前的模型有一个共同特征:它们生成的代码就像是其他人需要维护它一样。它们添加注释,处理错误,考虑那些只在周六凌晨 2 点出现的边缘情况。
那些失败的模型呢?它们生成的代码就像是编码面试——解决问题,通过测试,继续前进。这不是软件的工作方式。这是软件崩溃的方式。
**发货原则:** 最好的代码不是最聪明的代码。是那些在原作者度假且生产数据库着火时仍然有意义的代码。
基准测试所说的(以及我们为何忽视它们)
我提到过我们没有使用基准测试。但在我们的测试之后,我确实查看了它们,以看看我们的经验是否与排行榜数据相符。
Aider LLM 排行榜 (aider.chat/docs/leaderboards) 讲述了一个有趣的故事:
| 模型 | Aider 分数 | 每千个任务成本 | 风格 | |-------|-------------|-------------------|-------| | GPT-5 (高) | 88.0% | $29.08 | diff | | o3-pro (高) | 84.9% | $146.32 | diff | | Gemini 2.5 Pro (32k 思考) | 83.1% | $49.88 | diff-fenced | | Grok 4 (高) | 79.6% | $59.62 | diff | | DeepSeek-V3.2-Exp | 74.2% | $1.30 | diff | | Claude Opus 4 (32k 思考) | 72.0% | $65.75 | diff | | Kimi K2 | 59.1% | $1.24 | diff | | Grok 3 Beta | 53.3% | $11.03 | diff | | GPT-4.1 | 52.4% | $9.86 | diff | | Claude 3.5 Sonnet | 51.6% | $14.41 | diff |
模式: 最昂贵的模型(o3-pro 为 $146.32,Opus 4 为 $65.75)并不保证最佳结果。GPT-5 以 $29.08 的价格超越了这两者。DeepSeek 以 $1.30 的价格提供了 74.2% 的表现——几乎与 Opus 4 的 72.0% 相匹配,成本仅为其 1/50。
我们的经验与此一致。 Fable 和 Kimi K3 不是我们测试过的最昂贵的模型。但它们是那些始终提供可交付代码的模型。
这对你的团队意味着什么
如果你在 2026 年构建软件,这里是我的建议:
1. 对于新项目,使用 Fable。当你从零开始并需要快速行动而不破坏一切时,Fable 的 "高级工程师" 直觉是无与伦比的。
2. 对于遗留工作使用 Kimi K3。1M 的上下文窗口意味着它实际上可以理解你现有的代码库,而不仅仅是生成忽略你约定的新代码。
3. 对于架构决策使用 Opus 4.8。当你设计需要扩展的系统时,当安全性很重要时,当你在进行百万美元的技术投资时 — Opus 的深度值得过度思考。
4. 停止使用其他所有东西进行生产。Grok 用于原型。Codex 用于自动补全。但在没有认真审查的情况下,不要将它们的代码交付给用户。
5. 考虑成本方程。在水星,我们为关键任务并行运行多个模型。使用 Kimi K3($1.24/1K 任务)与 Opus 4.8($65.75/1K 任务)的成本意味着我们可以在相同预算下迭代 50 倍。这不仅更便宜——而且更快。
更大的图景
我们正在实时观察编码的商品化。“我会写代码”和“我可以发布产品”之间的差距正在缩小。一个使用 Fable 或 Kimi K3 的 Builder 可以完成过去需要五个人的工作。
但问题是:这些模型在编码方面的进步速度超过了大多数工程师使用它们的进步速度。
在 2026 年,能够蓬勃发展的工程师不是那些写最多代码行的人。他们是那些提出正确问题、批判性地审查生成代码,并知道何时接受 AI 建议以及何时覆盖它的人。
模型是工具。判断仍然在于你。
或者正如杨文里所说:“获胜的最有效方式是让敌人失去战斗的意志。”在 2026 年,敌人是复杂性。获胜的模型是那些能够使复杂性可管理的模型。
水星科技解决方案: 加速数字化。


