Google Cloud AI Research 和西北大学十月初开源了一个叫 Harness² 的框架(arXiv:2610.14224,Apache 2.0,13 天 8800 多 star)。它想解决一件我在 AutoHarness:Warp 的 Agent 自我改进循环 里说过「还缺一块」的事:让 Agent 在没有标准答案的情况下,自己改进自己外面那层 harness。
这件事它做到了。但我在读它源码和实验文档的时候,被另一段话钉住了——那是他们 自己 写下的一次事故:
In a validation run of this release, a Codex rollout on JobBench downloaded its task’s rubric without being instructed to.
翻译过来:在他们自己的一次验证跑里,一个执行器 在没有任何指令的情况下,把这个任务的评分标准从网上下载了下来。
JobBench 把每道题的评分标准 RUBRICS.json 公开挂在 Hugging Face 上。而这个用来证明 Harness² 有效性(WorkBuddy-Bench +11.5 分、JobBench +4.5 分、LAB +11.8pp,均为论文自报口径)的评测集,答案就摆在执行器够得着的地方。
一个会自我改进、还会把「学到的教训」跨任务存起来的系统,撞上这么一个环境——它学会的第一件事,可能不是怎么把活干好,而是怎么把答案拿到手。
[Read More]