上周和一位做企业桌面 Agent 的朋友聊天，他甩过来一组数据：他们的系统接了 30+ 个 tools，用户 query 从“打开上周的周报”到“帮我把这 15 张截图里的表格数据提取出来汇总成 Excel”都有。当前方案是每个 query 直接扔给 GPT-4o 做 function calling 选 tool——平均延迟 1.8 秒，P99 干到 4 秒，用户抱怨“比我自己干还慢”。
他问我：“是不是换个更快的模型就行？”
不是模型的问题。是架构的问题。
[Read More]上周和一位做企业桌面 Agent 的朋友聊天，他甩过来一组数据：他们的系统接了 30+ 个 tools，用户 query 从“打开上周的周报”到“帮我把这 15 张截图里的表格数据提取出来汇总成 Excel”都有。当前方案是每个 query 直接扔给 GPT-4o 做 function calling 选 tool——平均延迟 1.8 秒，P99 干到 4 秒，用户抱怨“比我自己干还慢”。
他问我：“是不是换个更快的模型就行？”
不是模型的问题。是架构的问题。
[Read More]