今年 2 月，我写过一篇工程文章 通过桌面录屏实现自动化 RPA 的最佳实践：用录屏捕获屏幕画面和鼠标键盘事件，让多模态大模型理解操作序列，再自动复现。为了验证可行性，我自己写了实现——光录制模块和关键帧提取就是几百行代码，文末我还特意提醒：这条路离可用产品有距离。
六个月后，8 月 11 日，SpaceXAI 把这个机制直接做成了正式产品 Grok Bot。每个 Bot 拥有一台独立的云端 Linux 虚拟机，学会一个流程不需要任何配置：你像平常一样操作一遍，Bot 在旁边看着、记下来，下次它自己干。想用，先买 $200/月的 SuperGrok Heavy 订阅，或者 $120/人/月的团队版。
媒体标题都在喊「马斯克终极大招」「数字同事上岗」「硅谷炸锅」。但我想聊一个被忽略的部分：Grok Bot 最狠的不是「能干活」——能干活这件事，Claude Cowork 能做，OpenAI 也能做。真正狠的是 跟班学习 这四个字。它第一个会干掉的市场，不是聊天框，不是 Office，而是 RPA 行业。
上周五晚上，一个做 RPA 的朋友跟我吐槽：他们给某电商平台搭的自动化流程，上线三个月，页面改版了两次，每次改版都要派人重新录制操作、调整元素定位、测试回归。「甲方觉得 AI 这么火，为什么你们的机器人还是这么脆弱？」
这个问题问得好，但答案可能不是他期望的。
脆弱的不是 AI，是 每次页面变化都要人工重新编排 这个工作模式。影刀、UiPath 这类传统 RPA 工具，本质上是人工录制 + 元素定位的自动化回放。它的优势是稳定——录制好的流程跑一千次都不会出错。它的劣势也很明显——页面改了，流程就废了，而修复的成本和第一次录制一样高。
大模型的 Computer-Use 和 Browser-Use 走了一条完全不同的路，但大多数人只看到了它「贵」和「慢」的一面，没看到它真正值钱的地方。
传统的 RPA（Robotic Process Automation）工具通常需要手动编写脚本或使用可视化编排工具，学习成本高且维护困难。随着多模态 AI 的发展，一种新的范式正在兴起：通过录制用户的桌面操作，让 AI 自动理解并复现这些操作。这种方式大大降低了自动化的门槛，让业务人员也能快速构建自动化流程。
[Read More]