Evals

一个做外包的朋友上个月跟我抱怨：客户现在拿 AI 写的代码来压价。「你们报 30 人月，客户自己用 Claude Code 一周出了个 demo，问你们凭什么值这个钱。」

我问他：那个 demo 上线了吗？

他说没有。客户自己人测了一周，测出一堆问题，又回来找他们修。

我说：那你应该换个报价方式。不报人月，报模具费。

他没听懂。这就是这篇文章要讲的事。

昨晚刷到一篇实测文，作者用 DeepSeek Harness 做了一个叫 MacDynamicIsland 的原生 macOS 应用——刘海、菜单栏、悬浮胶囊三个入口，快捷笔记、剪贴板、截图置顶全都有。时间线是这样的：

• 2 小时：从零到大部分功能可运行
• 1 小时：改一个文本框的交互和字体颜色，反复修改，始终没有收敛——修好一处，另一处又坏了
• 30 分钟：把同一份代码交给 Codex，文本框、字体颜色、交互优化基本收敛到可接受状态

作者很克制，特意声明这不是一次公平对比——Codex 接手时已经有了完整的项目基础，问题边界也被前面的试错磨清楚了。我认同这个声明。但这条时间线里藏着一个比「谁更强」重要得多的信号：从 0 到 1 只花了 2 小时，从 1 到 1.1 却花了 1 小时还没做完。

而 DeepSeek 对这件事的态度，就写在它刚开源的 Harness 里。