Evals 是新的 PRD

Evals Are the New PRD

上个月,我们团队一位产品经理花了两周写了一份 40 页的 PRD,描述一个智能审批 Agent 的需求。用户故事、流程图、异常分支、验收标准,写得滴水不漏。

她把 PRD 丢给 Coding Agent,说:「按这个做。」

三天后 Agent 交付了。代码能跑,测试通过,接口对齐。但她试了五分钟就皱眉:「这不是我要的东西。」

哪里不对?她说不清。审批流程是对的,权限校验是对的,消息通知是对的。但 Agent 处理「领导已读不回超过 48 小时」的策略,不是她脑子里想的那个。PRD 里写的是「超时后自动提醒」,Agent 就老老实实给所有超时审批发了一轮提醒——包括那些「领导出差没看手机」的非紧急件。她真正想要的是「先判断这条审批是否紧急,紧急的才提醒,不紧急的等下次汇总」。

这个判断,她没写进 PRD。因为她觉得这是「常识」。

Agent 没有常识。Agent 只有你给它的判据。

Evals Are the New PRD

[Read More]

AI 时代产品迭代速度提升一倍:不只是编码快了

Every Link in the Product Loop Got Compressed — Not Just Code

上个月和一个做 SaaS 的朋友吃饭。他的产品刚上线四个月,已经迭代了 9 个版本。

我说:「你以前在互联网公司,一个季度能发几个版本?」

他想了想:「两个。还得是顺利的情况下。」

「现在呢?」

「一个月两个。有时候三个。」

我问他为什么快了这么多。他的回答让我愣了一下:

「不只是写代码快了。是 所有事 都快了。调研快了,做素材快了,看数据快了,连决定砍哪个功能都快了。」

这句话比「AI 让编程效率提升 10 倍」重要得多。因为它指向一个被严重低估的变化: AI 压缩的不是产品迭代的某一个环节,而是全链路。

产品迭代全链路压缩

[Read More]

AI 原生团队的三力模型:远见、流动、补位

Three Operating Layers Behind a True AI-Native Team

上周一个朋友(某 SaaS 公司的产品 lead)发我一段视频:他们公司请来了一位"AI 转型顾问",PPT 上密密麻麻写着 30 多项行动——成立 AI 委员会、设立 AI OKR、采购 AI 工具矩阵、推行 AI 培训计划、设置 AI Champion……

看到第 24 页时他截图问我:“你觉得我们三个月后会变成 AI 原生团队吗?”

我反问他:“你最近一次把一个想法从冒出来到上线,用了多少天?”

他沉默了一会儿:“上一个功能,从 PRD 评审到线上,47 天。”

我说:“那不管你们买多少工具,请多少顾问,你们都不是 AI 原生团队。”

隔壁一家 5 个人的初创团队,同期上线了 11 个功能,每个从想法到用户手里平均 6 天。两边用的是同一批模型、同一批工具,差距来自完全不同的地方。

[Read More]