当 10 万个定时任务同时敲门:MaaS 平台调度优化实战

从整点风暴到分布式调度——平台视角的六个关键策略

上周五下午 3 点,告警群炸了:MaaS 层的 GPU 推理集群 QPS 在 60 秒内从 1200 飙到 18000,p99 延迟从 800ms 打到 45 秒,大量请求 429。

排查发现原因很"朴素"——大约 3 万个 OpenClaw 实例的定时任务都跑在整点。每个实例可能只有 1-3 个 cron job(数据摘要、定时巡检、报表生成),但所有人的 cron 都写着 0 * * * *0 0 * * *。三万乘以三,就是整点瞬间涌来的近十万个 LLM 推理请求。

这不是应用层的 bug,而是平台设计的缺陷。当你的平台承载成千上万个租户的定时任务时,“整点风暴"不是意外——它是必然。问题是:作为平台设计者,你该怎么办?

[Read More]

AI的MaaS层最核心的能力:把一个不稳定的概率接口,变成一个可运营的服务

Model as a Service不是套壳API,而是AI应用从Demo到生产的关键基础设施

很多人对MaaS(Model as a Service)的理解停留在"套一层API"——把OpenAI的接口包一下,加个Key管理,做个用量统计,就叫MaaS了。如果这就是MaaS的全部,那它确实没什么技术含量,随便一个API Gateway就能干。

但现实是:几乎所有在生产环境跑AI应用的团队,最终都会自建或依赖一个MaaS层。 不是因为他们闲,而是因为裸调模型API在生产环境里根本撑不住。

MaaS层真正要解决的问题是:把一个概率性的、无状态的、昂贵的模型API调用,变成一个可靠的、可观测的、成本可控的服务。

[Read More]