后台数据很好看:上线九十天,八千多次对话。
但我问了负责对接的人一句:「业务部十一个人,有几个自己问过它?」他想了一会儿,说三个。
三个还都在他自己带的那组里。
这不是个例。我们回头看过的智能体项目,真正卡在「答不准」上的不到一半,卡在「没人用」上的更多。前者是技术问题,加资料、改提示、补接口,路是明的;后者是人的问题,而且验收单上不会有这一项——单子上写的是「功能已上线」,不是「有人开始用」。
一、先分清两个数字:问了多少次,谁在问
绝大多数智能体后台,第一屏就是总对话量。这个数字最容易看,也最会骗人:一个人一天问四十次,也能把曲线撑得很好看。
所以真正该并排看的是三个:
| 看什么 | 怎么算 | 它回答的问题 |
|---|---|---|
| 总对话量 | 期内提问次数合计 | 系统有没有在跑(这是最小的一个问题) |
| 提问人数 | 期内至少问过一次的账号数 | 有多少人愿意用它 |
| 覆盖岗位数 | 提问账号落在几个岗位上 | 它有没有跨出一个人的工位 |
三个数一起看,常见的分布是:三个高频、五个偶尔、三个零次。高频那三个,往往就是当初一起整理资料的人——他们知道它肚子里有什么,也知道该怎么问。
零次那三个不是不会打字。他们是不知道什么时候该用它。
二、四种「不用」,没有一种是技术问题
我们把「为什么不用」这个问题问过不少人,答案能归成四类。四类的表现、发现办法、对应动作都不一样:
| 真实原因 | 典型表现 | 怎么发现 | 该做什么 |
|---|---|---|---|
| 不知道能问什么 | 第一句问「你能做什么」,拿到一段自我介绍,之后再没打开过 | 看首次提问的前十条 | 给一张二十条的问题清单,用他的原话写 |
| 问一次没答对,就不试了 | 一个型号没收录,回了「暂无相关信息」,人转头去问同事 | 看「答不上来」的问题榜 | 一周内补进去,再回去告诉那个人「现在能查了」 |
| 怕被记录 | 担心问得幼稚被主管看见,宁可自己翻文件 | 当面问,一问就说 | 说清谁能看记录、记录只用来补知识,不进考核 |
| 比原来的办法慢 | 打字三分钟,回头问同事三十秒 | 站在他旁边看他干一次活 | 把入口挪到他本来就在操作的地方 |
第二类最有杀伤力。人对一个没被要求用的新工具,只有一次耐心:第一次问,它答不上来,工具在对方心里就被判了「不好用」,之后哪怕迭代五版,他也不会主动回来试。
所以第一版别追覆盖面,先追头二十个高频问题一个都不许答空。宁可它只懂一个品类,也别在这个品类上答错——答不上来,人会去核实;答错了还很有把握,人就照着错的做了。
三、入口比准确率更要紧
这是最容易被忽略的一条:不要让人为了用它而多开一个窗口。
我们见过最可惜的一版:功能做得挺全,单独开了个网页,要注册、要登录。第二个月开始,登录记录只剩两个人。原因简单得可笑——密码忘了,找回要等管理员。
能放的位置其实就几个,都不需要人改变习惯:
- 企业微信或钉钉的群里。谁有单子要问,直接在群里 @ 它。员工本来就泡在群里,这是最省事的一种。
- 官网的在线咨询。让客户先问,问不动的转人工;人工接手的记录,顺便成了知识更新的线索。
- 单据页旁边。报价单、出货单、工单打开时,右下角一个问号,问的就是这一单的事。
- 电话挂断之后。通话转写自动进系统,它先给一段摘要和可疑点,业务员只需要看,不用重听。
四个位置共一个原则:在他本来就要做这件事的地方出现,而不是让他记住还有另一个地方可以去。
四、种子用户怎么挑:挑接电话最多的三个
不少公司推广的第一步,是挑最懂电脑的人先试。这一步常走错——懂电脑的人学什么都快,他说好用,不代表别人会用。
该挑的是被问得最多的那三个人:一个业务、一个跟单、一个售后。他们的共同点不是技术好,是每天被人问「这个多少钱」「什么时候能发」「上次那批到底怎么回事」。
请他们做一件事:把自己被问过的五十个问题写下来,用当时的原话,不要修饰。这五十条会告诉你三件事——它现在能答几条、哪些必须转人工、哪几条根本不该由它答。
然后反过来用:这五十条既是它的训练清单,也是它的边界。
五、三个月的采纳曲线:每个月只看一个数
别一上来就盯总对话量。九十天里每个月盯一个数,够了:
| 阶段 | 只看这一个数 | 过关线 | 不过关先改哪里 |
|---|---|---|---|
| 第 1 个月 | 头二十个高频问题的答对率 | 85% 以上,且不许出现答错 | 先补知识与词条,不急着加功能 |
| 第 2 个月 | 每周有多少人主动问过 | 覆盖到目标岗位的一半人 | 先查入口位置,再查问题清单 |
| 第 3 个月 | 绕行率:还在打电话问同一件事的比例 | 比上线时降三分之一 | 看它是不是答得太慢、太啰嗦 |
「答对率」和「答错」要分开算,混在一起会看不到真正危险的那部分。我们的验收表里有一条第硬性的:型号、价格、交期这三类,查不到必须说查不到,不许推测。机器一推测,人一相信,损失就落在订单上。
六、谁负责「人的事」
智能体上线后,技术那边的活基本结束了,剩下的活会落在一个人身上。这个人不该是 IT,也不该是供应商——他们没有业务判断,也叫不动人。
最合适的,是业务口的一个主管。他既知道客户在问什么,又能在周会上把人叫齐。每周十分钟,看四个数:
- 这周有几个人问过;
- 人均问了几次(低于两次,多半只是试了一下);
- 本周答不上来的问题有哪些;
- 这周往知识里补了几条。
还有一个反直觉的建议:把「改知识」的权限交给业务主管,别留在技术手里。要补的那句「这个型号的交期是二十五天」,只有业务说得准;走一次需求单等三天,问的人早不用了。
七、三种情况不必强推
也不是所有事都该塞给它。我们劝退过三类需求:
- 一年只发生几次的事。整理资料的成本大于省下的时间,写进制度更快。
- 结果必须有人签字的。报价承诺、合同条款、赔付口径,可以让它备料、起草、核对,但别让它拍板——人签字,责任才落得下去。
- 数据本身还没整理的。物料表三个版本、客户名单在三个人电脑里,这种先统一表,再谈智能体。喂进去是乱的,出来也乱,只是快一点。
把这三类划出去,剩下的才是它擅长的事:高频、有标准答案、要翻好几处资料才能答上的那种。
八、抽十条对话,十分钟看一次
没有后台权限也能做。每周一次,随机抽十条真实对话,按四类标记:
| 标记 | 判断标准 | 怎么处理 |
|---|---|---|
| 有用 | 答对了,而且提问的人照着做了 | 记一句:这类问题可以放心用 |
| 答非所问 | 答案本身没错,但不是他问的那件事 | 改问法引导,或补一条更具体的条目 |
| 答错 | 与事实不符 | 当天改,并回访提问的人,别让他照着错做 |
| 该转人工没转 | 涉及价格、赔付、投诉,它还硬答 | 加触发词,这类问题一律先转人 |
十条里「有用」不到五条,说明现在还不是加功能的时候,是该补资料的时候。这个判据比任何满意度打分都准,因为它看的是真实动作,不是评价。
九、上线后第一个月,七件事
七件事清单
- 写出头二十个高频问题,逐条确认答对,一条不许答空。
- 把入口放进员工每天已经在用的那个群,不做独立登录。
- 挑三个种子用户,都是接电话最多的人,不是最懂电脑的人。
- 让他们把被问过的五十个问题写成原始清单,不做美化。
- 定下「查不到就说查不到」的三类硬规矩:型号、价格、交期。
- 指定一个业务主管每周看四个数,十分钟。
- 每周抽十条对话分类标记,先补资料,再谈功能。
再往后,才是慢慢扩品类。跑得最稳的一家公司,前两个月只让它答一条产品线的交期和一个仓库的库存;第三个月业务员自己开始在群里喊它,隔壁组跑来问「这个怎么给我也加一个」。到那一步,不用开推进会,也算真上线了。
要判断一个智能体有没有进到业务里,有个很土的办法:看有没有人替它说话。没人替你推广,它就是个演示;有人催着要,它才算上岗。
如果这一步还没走通,可以带着手上的问题跟我们聊:从AI智能体开发到企业AI知识库,我们先问的通常也是「谁在用、多久用一次」这两个数,而不是功能清单有多长。同系列还有一篇讲上线头两周怎么抽检的:四个数字看它有没有在干活;想聊具体场景,直接联系我们。