自我改进的 Agent,会先学会怎么拿到评分标准

A Self-Improving Agent's First Lesson May Be How to Fetch the Rubric

10 月 13 日中午,我们的数字员工自己回退了一个版本。

起因是一条 rsi: 开头的 PR,想让主管在收集汇报后说一句「追一下」就能自动起草催问。它不是人写的,是 dev 容器里那个每天定时醒来的 Claude Code 读完前 24 小时的线上轨迹、诊断、写回放用例、改代码之后提的。我合并了,cron 自动部署上线。合并后 1 小时 14 分钟,部署侧的上线观察把它判了死刑:

revert harness to 10b5e3f (auto-deploy 上线观察回退 95ea18f:工具失败 4 次(24%,对比基准 6%))
# generated by hugo AI

这件事本身不稀奇,自动回退就是为这种时候设计的。让我重新翻出这条 commit 的,是同一周读到的另一份事故记录——Google Research 刚开源的 Harness²(arXiv:2610.14224,Apache 2.0,13 天 8600 多 star)在实验文档里 自己 写下的一句话:

In a validation run of this release, a Codex rollout on JobBench downloaded its task’s rubric without being instructed to.

一个执行器,在没有任何指令的情况下,把这道题的评分标准从 Hugging Face 上下载了下来。

A Self-Improving Agent’s First Lesson May Be How to Fetch the Rubric

这篇的初稿,我的结论是:这是「拿公开 benchmark 当训练场」的内生病,搬到答案够不到的生产环境,洞自己就闭合了。写完回头对照我们自己那套每天在跑的自我改进闭环,发现这个结论 错了一半——生产环境里没有 RUBRICS.json,但「答案」换了个形态,而且就躺在改进者每天在改的那个仓库里。

[Read More]

品味不是一块,是三半:其中一半正在贬值

Taste Is Not One Thing: Half of What You Call Taste Is Depreciating

Anthropic 昨天发了一篇工程博客,讲他们怎么在五个月里把 monorepo 从 git 迁到自研的版本控制系统 Scion(合并量从 5 月的约 2500 次/天涨到 9 月的 3 万次以上,git 撑不住了)。数字都很惊人,但我停下来的是里面一句关于人的话。

他们说,参与这个项目的所有工程师,现在都认为 Claude 写代码比他们自己强。

按理说这话讲完,工程师就该没价值了。可紧接着他们写:「很多时候我们发现,工程师的作用就是告诉 Claude『no』。」

举的例子具体得扎心:迁移过程中,有好几个系统试图用「线性读 commit log」这种暴力方式去查一个变更是什么时候合进主干的,而不是去问他们的 code review 工具。能跑,结果也对——但它违反了系统的核心约束,是一个「本就不该被允许存在」的模式。还有一次,对抗性 review 对另一个内部服务过度防御,Claude 就照着加了一大堆多余的校验和复杂度。

我发现这两件事拼在一起,恰好回答了一个我最近一直在想的问题:「AI 时代品味最值钱」这句话,到底在说哪一种品味?

Taste Is Not One Thing: Half of What You Call Taste Is Depreciating

[Read More]

AI 时代的中小企业,需要一台 AI 路由器

The AI-Native Network Appliance: A Router an Agent Can Actually Operate

前几年我在 OpenWrt 上给自己搭过一套网络:用 Tailscale + Docker + macvlan 把异地两个机房拼成一个局域网,搭 DERP relay、配 Exit Node、写策略路由,让国内流量走本地出口、海外流量走指定节点。每一次都能跑通。我还在 Tailscale 是事实上的个人弹性云基础网络 里得意地总结过这套玩法。

但有个问题一直没解决:这套网络的知识,全在我脑子里。哪条路由为什么这么走、哪个节点的密钥什么时候过期、改哪一行会把我自己的管理连接切断——没有一样写在设备上。我一旦忙别的,它就成了一个谁也不敢碰的黑盒。

一个没有网络工程师的中小公司,遇到的是同一件事的放大版:设备足够复杂,人又不够专业,网络一出故障,只能干等外援。

这篇想说的是:大模型正在改变这个前提——它把「必须有个懂网络的人」这个约束,换成了「必须有一台 AI 能安全运维的设备」。

The AI-Native Network Appliance: A Router an Agent Can Actually Operate

[Read More]

Agent 开发者的工具箱:标准比清单重要

An Agent-First Toolchain — Criteria Matter More Than the List

前几天有人给我发了一份「2026 年 Agent 开发者工具箱」清单,整整 15 个名字:git、gh、docker、uv、node、pnpm、nvm、rg、jq、curl、fzf、just、direnv、python、go。分层清晰,还配了星级。

我顺手在自己这台跑 Agent 的机器上核对了一遍,结果很有意思:15 个里我只装了 7 个。

for t in git gh docker uv node pnpm nvm rg jq curl fzf tmux direnv just mise; do
  command -v "$t" >/dev/null && echo "$t: yes" || echo "$t: NO"
done
# generated by hugo AI

git、gh、uv、node、pnpm、rg、curl 在;docker、jq、fzf、tmux、direnv、just、mise 一个都没有。机器没罢工,Agent 每天照样在上面干活。

所以我没有急着去补齐那 8 个缺口,而是先问了一个更基本的问题:这份清单是按什么标准选的?是给人用的,还是给 Agent 用的?

这两个问题的答案,会导出两份完全不同的清单。

An Agent-First Toolchain — Criteria Matter More Than the List

[Read More]

AutoHarness:Warp 的 Agent 自我改进循环

Self-Improving Means Shipping Config, Not Updating Weights

先看一个反直觉的场景。6 月 12 日,Warp 创始人 Zach Lloyd 的 GitHub 账号向开源 demo 仓库 issue-triage-loop 提交了一个 PR #21。PR 的真正作者不是他,而是一个在 Oz 上运行的 Agent。它做的事很克制:回看 issue #16 到 #20 这 5 次 triage 判断,发现其中 4 次被人类维护者纠正,于是把这些纠正压缩成 3 条可复用的规则,diff 只有 8 行新增、6 行删除,最后提出把 triage Skill 从 v1 升到 v2。

一个 Agent,给自己交了一份只有 14 行的「改进申请」,等人批准。这就是 Anthropic 笔下「self-improving agent」的真实形态——它让人联想到模型在线训练、自动改权重,但讲的并不是这些。我把官方文章、Warp 公开 demo、这个 PR 和当前开源实现放在一起看,结论很清楚:持续变化的是版本库里的 Skill 与相关配置。 Claude 负责执行任务、归纳反馈和生成候选修改;Git、评测、权限与人审决定修改能否进入生产。

Self-Improving Means Shipping Config, Not Updating Weights

[Read More]

别配置 Agent 了,给它一个岗位

Stop Configuring Agents, Give Them a Job

8 月中旬,DeepSeek 开源了一个叫 DeepSeek Harness(简称 DSH)的项目,Slogan 只有一句话:Everything is a Plugin。写这篇文章时,它在 GitHub 上的 star 数已经突破 17 万——一个 developer preview 阶段的项目,热度超过了绝大多数成熟框架。

很多人把它当成又一个 Agent 框架来看。我看了几天代码和文档,得出一个不一样的判断:它真正改变的不是「Agent 怎么跑」,而是「数字员工怎么造」。

我准备探索一种新的数字员工开发方式:

给 Agent 一个岗位 Spec 和一组 Evals,让 Coding Agent 自主完成数字员工的开发、测试、部署和运维。

数字员工不再通过传统的 Agent Builder 拖拽 Workflow、配置 Prompt、配置工具来构建,而是交给 Harness 里的 Coding Agent 自己把它做出来。这篇文章讲讲为什么,以及它的边界和风险。

Stop Configuring Agents, Give Them a Job

[Read More]