同一个任务,AI 第一次折腾了好几分钟,第二次只用了 4.3 秒

From Seven Failed Clicks to 4.3 Seconds — Four Lessons on Buttons, Menus, URLs, and Skills

我给跑在本机的 AI 助手下了一个再普通不过的指令:「打开公众号后台,准备发一篇新文章。」

对我来说这是十秒钟的事:扫码进后台、点左侧「内容管理」、点「新的创作」、点「文章」,编辑器就开了。

但我马上意识到有场好戏要看——屏幕上这些按钮,在 AI 眼里长着完全另一副模样。

From Seven Failed Clicks to 4.3 Seconds — Four Lessons on Buttons, Menus, URLs, and Skills

[Read More]

Grok Bot 的跟班学习,会先干掉 RPA 市场

RPA Is Low-Code Programming, and Demonstration Is Its Final Compiler

今年 2 月,我写过一篇工程文章 通过桌面录屏实现自动化 RPA 的最佳实践:用录屏捕获屏幕画面和鼠标键盘事件,让多模态大模型理解操作序列,再自动复现。为了验证可行性,我自己写了实现——光录制模块和关键帧提取就是几百行代码,文末我还特意提醒:这条路离可用产品有距离。

六个月后,8 月 11 日,SpaceXAI 把这个机制直接做成了正式产品 Grok Bot。每个 Bot 拥有一台独立的云端 Linux 虚拟机,学会一个流程不需要任何配置:你像平常一样操作一遍,Bot 在旁边看着、记下来,下次它自己干。想用,先买 $200/月的 SuperGrok Heavy 订阅,或者 $120/人/月的团队版。

媒体标题都在喊「马斯克终极大招」「数字同事上岗」「硅谷炸锅」。但我想聊一个被忽略的部分:Grok Bot 最狠的不是「能干活」——能干活这件事,Claude Cowork 能做,OpenAI 也能做。真正狠的是 跟班学习 这四个字。它第一个会干掉的市场,不是聊天框,不是 Office,而是 RPA 行业。

RPA Is Low-Code Programming, and Demonstration Is Its Final Compiler

[Read More]

AI 操作你的电脑,最大的对手不是防火墙

The Real Adversary of Computer Use Agents Is Not Detection, But Behavioral Biometrics and Cost

上周帮一个朋友调他的 AI Agent。需求很简单:自动登录一个美国政府网站,填三张表,提交。

他选了 VNC 路线——Agent 通过远程桌面连上一台真实 Mac,操作真实的 Chrome 浏览器。逻辑很对:真实浏览器没有 navigator.webdriver 标记,没有 CDP 连接痕迹,TLS 指纹是真的,Canvas 指纹是真的。从浏览器的视角看,就是一个正常用户坐在键盘前。

他很有信心。然后 Agent 在第二步就被拦住了。

不是被防火墙拦的,不是被反爬拦的。是 Cloudflare Turnstile 弹了一个无感验证,Agent 的鼠标 瞬移 到了按钮上, 零毫秒 完成点击。没有移动轨迹,没有加速度变化,没有人类手指的微颤。

一个人类不可能这样操作。而 Cloudflare 知道。

AI 操作电脑的四层对抗

[Read More]

Agent 操作浏览器的九条路线:从 Playwright 到 Computer Use

Nine Tiers of Browser Automation for AI Agents — and the Layered Architecture That Actually Works

上个月一个团队来找我,说他们要做企业内部的 AI Agent,需要操作浏览器。

第一个问题就是:「用 Playwright 还是 Browser Use?」

我说这个问题本身就问错了。就像你问「盖楼用钢筋还是混凝土」——答案是都用,但用在不同的层。

Browser Automation 在 AI Agent 语境下,已经不是一道单选题。它是一张技术地图,九个梯队,各有适用场景。而真正在生产环境里跑通的企业 Agent,几乎都是 分层架构——API 优先,结构化浏览器控制居中,Vision 兜底。

Agent 浏览器自动化八梯队

[Read More]

LLM 自动化 vs RPA:省的不是智能,是编排成本

Explore Once, Compile to Code, Execute Forever

上周五晚上,一个做 RPA 的朋友跟我吐槽:他们给某电商平台搭的自动化流程,上线三个月,页面改版了两次,每次改版都要派人重新录制操作、调整元素定位、测试回归。「甲方觉得 AI 这么火,为什么你们的机器人还是这么脆弱?」

这个问题问得好,但答案可能不是他期望的。

脆弱的不是 AI,是 每次页面变化都要人工重新编排 这个工作模式。影刀、UiPath 这类传统 RPA 工具,本质上是人工录制 + 元素定位的自动化回放。它的优势是稳定——录制好的流程跑一千次都不会出错。它的劣势也很明显——页面改了,流程就废了,而修复的成本和第一次录制一样高。

大模型的 Computer-Use 和 Browser-Use 走了一条完全不同的路,但大多数人只看到了它「贵」和「慢」的一面,没看到它真正值钱的地方。

LLM 自动化 vs RPA:从线性成本到摊销成本

[Read More]