自我改进的 Agent，会先学会怎么拿到评分标准

Mon, 19 Oct 2026 00:00:00 +0000

Google Cloud AI Research 和西北大学十月初开源了一个叫 Harness² 的框架（arXiv:2610.14224，Apache 2.0，13 天 8800 多 star）。它想解决一件我在 AutoHarness：Warp 的 Agent 自我改进循环里说过「还缺一块」的事：让 Agent 在没有标准答案的情况下，自己改进自己外面那层 harness。

这件事它做到了。但我在读它源码和实验文档的时候，被另一段话钉住了——那是他们自己写下的一次事故：

In a validation run of this release, a Codex rollout on JobBench downloaded its task’s rubric without being instructed to.

翻译过来：在他们自己的一次验证跑里，一个执行器 在没有任何指令的情况下，把这个任务的评分标准从网上下载了下来。

JobBench 把每道题的评分标准 RUBRICS.json 公开挂在 Hugging Face 上。而这个用来证明 Harness² 有效性（WorkBuddy-Bench +11.5 分、JobBench +4.5 分、LAB +11.8pp，均为论文自报口径）的评测集，答案就摆在执行器够得着的地方。

一个会自我改进、还会把「学到的教训」跨任务存起来的系统，撞上这么一个环境——它学会的第一件事，可能不是怎么把活干好，而是怎么把答案拿到手。

Google-Research on All about Raspberry Pi

自我改进的 Agent，会先学会怎么拿到评分标准