智能体上线第一个月：四个数字看它有没有在干活

去年冬天，一家做电子配件的客户上线了客服智能体。三个月后开会，老板问了一句：它到底替我们省了多少活？团队翻了半天，给出一个数字——对话量 12000 次。

这个数字回答不了这个问题。12000 次里，有多少是客户真问到了答案，有多少答错了却没人发现，有多少是同一个人在同一个问题上反复问？这三件事都没有答案时，“12000 次”只说明它被点开了 12000 次。

上线不是一个交付动作，而是把一件东西交给一个每天都要用的岗位。这篇讲第一个月怎么把它量出来：四个数字、一张抽检表、每周 20 分钟。

一、“在跑”和“在干活”不是一回事

先说三种我们真见过的“看起来在跑”：

• 调用量很高，但九成是同一类问题。一个内部助手月调用六千多次，其中五千次是问“年假还剩几天”。这不是智能体在工作，是把一个本来能查的地方做得更难找了。
• 转人工率七成以上。它答两句就转人，客户还得多点一次。业务量没降，客户多等一轮，等于在原有流程外面套了一层壳，还多了一处会出错的地方。
• 答得挺好，但没人知道有它。上线时发过一封通知，两个月后新来的业务员不知道它存在，还在群里问同事。

判断标准要落在业务结果上，不在它的活跃度上：同一件事，以前要几个人、做多久；现在要几个人、做多久。这句话朴素，却能立刻筛掉大部分“看起来很热闹”的汇报。

二、第一个月只记四个数字

指标一多就没人看。第一个月只记四个，纸笔或表格都行：

数字	怎么算	第一个月看什么	常见误读
处理量占比	它独立处理完的会话或工单 ÷ 这件工作的总量	看趋势是否在往上爬，不在看绝对值	只报“它答了多少次”，不报总量
一次解决率	没转人工、也没被追问同一件事的比例	稳定在六成上下再谈扩大场景	把“没转人工”当成“解决了”
兜底率	答不上来转人的比例，以及转的时候有没有带上上下文	看转过去之后，客户有没有被重新问一遍	把兜底当失败去压，压出硬答
一周改动条数	这一周往它里面补了几条知识、改了几句说法	第一个月每周都该有；连续两周为零就是没人管	把上线当成交付终点

这里不给统一的目标值。售后问答、报价核算、内部审批三类业务，基线差得很远：审批类要的是准确，宁可多转人工；问答类要的是覆盖率，允许一部分兜底。所以看的是自己这四周的走势，不是别人的数字。文中的比例只是行业里常见的大致范围，不是承诺。

三、“没转人工”不等于“解决了”

这是最容易被数字骗的一处。客户问完直接关掉窗口、问题没解决也没投诉，账面上算“已处理、未转人工”——一次失败的对话，被记成了一次成功。

补法很土但有效：每周随机抽 10 条对话，不挑成功的看。每条只看三件事：

1. 内容对不对得上。它引用的价格、交期、认证、政策，是不是当前有效的版本。
2. 客户有没有下一步动作。留下联系方式、约了时间、下了样品单——有动作，说明这次对话真的推进了。
3. 有没有“答得很顺但是错的”。语言流畅和内容正确是两件事，后者只能靠人看。

抽检表四列就够：日期 / 对话编号 / 对不对 / 错在哪一类。一个月攒下 40 条，错因的分布会自己浮出来——通常集中在一到两类。改这两类，比“全面重训一遍”划算得多，也快得多。

四、三类错误，改法完全不同

错误类型	典型表现	该从哪里改
过时	报价、交期、认证有效期还是上季度的	换知识源，并指定一个固定更新的人；改提示词没用
编造	知识里根本没有这条，它拼了一个很像样的答案	加兜底规则：没把握就说“这个我确认一下”，然后转人
口径不一	两个部门两种说法，它照着两边各说一遍	先统一人，再统一它；口径没定，改多少遍都还会回来

还有第四类，答非所问：客户问“能不能做小批量”，它答了一段公司简介。这多半是意图识别的问题，加上两三个正确示例通常就能收敛，不必动模型。把它当成“模型不行”去换供应商，钱花了，问题还在。

五、谁来看这四个数字

一个人，不是委员会。

• 每周固定 20 分钟：看四个数字，抽 10 条对话。写进日历，别靠想起来。
• 这个人要能改东西：能补知识、能改说法、能调兜底规则。只能汇报的人看三个月也改不动一条。
• 老板每月看一次，只问三句：处理量占比在涨吗？上周错的那几类改了没有？下周改哪一条？
• 别做大屏。挂在墙上没人数的图，不如桌上那张手写的纸。第一个月只求把事实看清楚，不求好看。

这一条比技术选型更影响结果。我们见过答得不算聪明的智能体，靠每周补十条知识越用越准；也见过模型选得很贵的那一类，因为没人管，三个月后开始报旧价格。

六、第一个月之后：补、删、定

1. 补：把“它答不上来的问题”整理成清单，逐条补进知识库。这张清单本身就是资产——它比任何一次内部培训都具体，说的正是客户真正在问什么。
2. 删：一个月没人问过的话术、没人用的功能，砍掉。智能体也会越改越臃肿，臃肿之后答得更慢、更不准，员工也就更不愿用。
3. 定：定一个固定复检日，每月一次，跟价格、政策、新认证同步。没有这一天，第二年它会开始说旧话，而且说得很自信。

顺序别颠倒。很多团队一上来就想“加功能”，可连它现在答错了什么都不知道；先把错的改对，再加场景，第一个月的投入才没有白花。

七、算成本时容易漏掉的两件事

第一，用量和费用是连着的。按调用量计费的方案，用量涨了账单就涨。提前估一个“一次对话大约多少钱”，比月底对着账单找原因省心；也要知道哪些调用是白花的——比如同一个人反复问同一句，或者把它当搜索引擎使。

第二，省下来的是重复劳动的时间，不是人头。第一次就按“省了几个人”去算，多半会失望：人还在，只是不用再逐条复制粘贴。更靠得住的算法是——同一类问题这个月被问了多少次，其中多少次不需要人介入。这个数字涨上去，编制才有讨论的余地。这一点在客服智能体能省多少重复劳动那篇里算过一笔明细。

八、多语种与在线时段：总量会骗人

做外贸的客户尤其要拆开看：

• 时差。它替你接的是你睡觉的那八小时。这部分处理量单独记一行——最容易被误当成“它很能干”，其实只是那段时间本来没人值班。
• 语种。别只看总量。常见情况是一门语言占了九成，另一门几乎全是兜底：那门语言的知识还没喂进去，客户问什么都答不上。按语种分开看，问题立刻现形。
• 口径。不同国家的认证、交期、付款说法不一样，抽检要按语种抽，只抽中文等于没抽到海外那半边。

多语种这件事在多语言外贸站的六项上线验收里写过一半，这里补另一半：站建好了，接询盘的那个智能体同样要按语种验收。

九、一句话

上线第一个月的价值，不在于它多能干，而在于你终于拿到了关于它的数字。四个数字、每周十条抽检、一个人负责改——这三件做到了，第二个月才谈得上扩场景；做不到，它就只是一个装在官网角落、偶尔被人点开的窗口。

附：第一个月验收表

一页纸，四周四行，周五填：

周次	处理量占比	一次解决率	兜底率	本周改动条数	抽检 10 条的结论
第 1 周					错在哪一类、大概几条
第 2 周
第 3 周
第 4 周

月底把四行横着看一遍：趋势比绝对值有用，改动条数比满意度评分诚实。如果四周里有两周改动为零，先别急着加功能，先把那件事定下来——谁来管它。

想让我们陪你过一遍第一个月——从四个数字的口径，到每周十条抽检怎么记——可以把现在的情况发给我们，我们按你实际的业务量给一份能直接用的验收表。

本文由建沅网络AI智能体方向的技术团队撰写，观点来自一线项目实践。如需转载请联系我们并注明出处。