後台資料很好看:上線九十天,八千多次對話。
但我問了負責對接的人一句:「業務部十一個人,有幾個自己問過它?」他想了一會兒,說三個。
三個還都在他自己帶的那一組裡。
這不是個案。我們回頭看過的智能體專案,真正卡在「答不準」上的不到一半,卡在「沒人用」上的更多。前者是技術問題,加資料、改提示、補接口,路是明的;後者是人這一側的問題,而且驗收單上不會有這一項——單子上寫的是「功能已上線」,不是「有人開始用」。
一、先分清兩個數字:問了多少次,誰在問
絕大多數智能體後台,第一屏就是總對話量。這個數字最容易看,也最會騙人:一個人一天問四十次,也能把曲線撐得很好看。
所以真正該並排看的是三個:
| 看什麼 | 怎麼算 | 它回答的問題 |
|---|---|---|
| 總對話量 | 期內提問次數合計 | 系統有沒有在跑(這是最小的一個問題) |
| 提問人數 | 期內至少問過一次的帳號數 | 有多少人願意用它 |
| 覆蓋崗位數 | 提問帳號落在幾個崗位上 | 它有沒有跨出一個人的座位 |
三個數一起看,常見的分布是:三個高頻、五個偶爾、三個零次。高頻那三個,往往就是當初一起整理資料的人——他們知道它肚子裡有什麼,也知道該怎麼問。
零次那三個不是不會打字。他們是不知道什麼時候該用它。
二、四種「不用」,沒有一種是技術問題
我們把「為什麼不用」這個問題問過不少人,答案能歸成四類。四類的表現、發現辦法、對應動作都不一樣:
| 真實原因 | 典型表現 | 怎麼發現 | 該做什麼 |
|---|---|---|---|
| 不知道能問什麼 | 第一句問「你能做什麼」,拿到一段自我介紹,之後再沒打開過 | 看首次提問的前十條 | 給一張二十條的問題清單,用他的原話寫 |
| 問一次沒答對,就不試了 | 一個型號沒收錄,回了「暫無相關資訊」,人轉頭去問同事 | 看「答不上來」的問題榜 | 一週內補進去,再回去告訴那個人「現在能查了」 |
| 怕被記錄 | 擔心問得幼稚被主管看見,寧可自己翻檔案 | 當面問,一問就說 | 說清誰能看記錄、記錄只用來補知識,不進考核 |
| 比原來的辦法慢 | 打字三分鐘,回頭問同事三十秒 | 站在他旁邊看他做一次 | 把入口挪到他本來就在操作的地方 |
第二類最有殺傷力。人對一個沒被要求用的新工具,只有一次耐心:第一次問,它答不上來,工具在對方心裡就被判了「不好用」,之後哪怕迭代五版,他也不會主動回來試。
所以第一版別追覆蓋面,先追頭二十個高頻問題一個都不許答空。寧可它只懂一個品類,也別在這個品類上答錯——答不上來,人會去核實;答錯了還很有把握,人就照著錯的做了。
三、入口比準確率更要緊
這是最容易被忽略的一條:不要讓人為了用它而多開一個視窗。
我們見過最可惜的一版:功能做得挺全,單獨開了個網頁,要註冊、要登入。第二個月開始,登入記錄只剩兩個人。原因簡單得可笑——密碼忘了,找回要等管理員。
能放的位置其實就幾個,都不需要人改變習慣:
- 企業微信或釘釘的群組。誰有單子要問,直接在群裡 @ 它。員工本來就泡在群裡,這是最省事的一種。
- 官網的線上諮詢。讓客戶先問,問不動的轉人工;人工接手的記錄,順便成了知識更新的線索。
- 單據頁旁邊。報價單、出貨單、工單打開時,右下角一個問號,問的就是這一單的事。
- 電話掛斷之後。通話轉寫自動進系統,它先給一段摘要和可疑點,業務員只需要看,不用重聽。
四個位置共一個原則:在他本來就要做這件事的地方出現,而不是讓他記住還有另一個地方可以去。
四、種子使用者怎麼挑:挑接電話最多的三個
不少公司推廣的第一步,是挑最懂電腦的人先試。這一步常走錯——懂電腦的人學什麼都快,他說好用,不代表別人會用。
該挑的是被問得最多的那三個人:一個業務、一個跟單、一個售後。他們的共同點不是技術好,是每天被人問「這個多少錢」「什麼時候能發」「上次那批到底怎麼回事」。
請他們做一件事:把自己被問過的五十個問題寫下來,用當時的原話,不要修飾。這五十條會告訴你三件事——它現在能答幾條、哪些必須轉人工、哪幾條根本不該由它答。
然後反過來用:這五十條既是它的訓練清單,也是它的邊界。
五、三個月的採納曲線:每個月只看一個數
別一上來就盯總對話量。九十天裡每個月盯一個數,夠了:
| 階段 | 只看這一個數 | 過關線 | 不過關先改哪裡 |
|---|---|---|---|
| 第 1 個月 | 頭二十個高頻問題的答對率 | 85% 以上,且不許出現答錯 | 先補知識與詞條,不急著加功能 |
| 第 2 個月 | 每週有多少人主動問過 | 覆蓋到目標崗位的一半人 | 先查入口位置,再查問題清單 |
| 第 3 個月 | 繞行率:還在打電話問同一件事的比例 | 比上線時降三分之一 | 看它是不是答得太慢、太囉嗦 |
「答對率」和「答錯」要分開算,混在一起會看不到真正危險的那部分。我們的驗收表裡有一條硬規矩:型號、價格、交期這三類,查不到必須說查不到,不許推測。機器一推測,人一相信,損失就落在訂單上。
六、誰負責「人這一側」
智能體上線後,技術那邊的活基本結束了,剩下的活會落在一個人身上。這個人不該是 IT,也不該是供應商——他們沒有業務判斷,也叫不動人。
最合適的,是業務口的一個主管。他既知道客戶在問什麼,又能在週會上把人叫齊。每週十分鐘,看四個數:
- 這週有幾個人問過;
- 人均問了幾次(低於兩次,多半只是試了一下);
- 本週答不上來的問題有哪些;
- 這週往知識裡補了幾條。
還有一個反直覺的建議:把「改知識」的權限交給業務主管,別留在技術手裡。要補的那句「這個型號的交期是二十五天」,只有業務說得準;走一次需求單等三天,問的人早不用了。
七、三種情況不必強推
也不是所有事都該塞給它。我們勸退過三類需求:
- 一年只發生幾次的事。整理資料的成本大於省下的時間,寫進制度更快。
- 結果必須有人簽字的。報價承諾、合約條款、賠付口徑,可以讓它備料、起草、核對,但別讓它拍板——人簽字,責任才落得下去。
- 資料本身還沒整理的。物料表三個版本、客戶名單在三個人的電腦裡,這種先統整表,再談智能體。餵進去是亂的,出來也亂,只是快一點。
把這三類劃出去,剩下的才是它擅長的事:高頻、有標準答案、要翻好幾處資料才能答上的那種。
八、抽十條對話,十分鐘看一次
沒有後台權限也能做。每週一次,隨機抽十條真實對話,按四類標記:
| 標記 | 判斷標準 | 怎麼處理 |
|---|---|---|
| 有用 | 答對了,而且提問的人照著做了 | 記一句:這類問題可以放心用 |
| 答非所問 | 答案本身沒錯,但不是他問的那件事 | 改問法引導,或補一條更具體的條目 |
| 答錯 | 與事實不符 | 當天改,並回訪提問的人,別讓他照著錯做 |
| 該轉人工沒轉 | 涉及價格、賠付、客訴,它還硬答 | 加觸發詞,這類問題一律先轉人 |
十條裡「有用」不到五條,說明現在還不是加功能的時候,是該補資料的時候。這個判據比任何滿意度評分都準,因為它看的是真實動作,不是評價。
九、上線後第一個月,七件事
七件事清單
- 寫出頭二十個高頻問題,逐條確認答對,一條不許答空。
- 把入口放進員工每天已經在用的那個群組,不做獨立登入。
- 挑三個種子使用者,都是接電話最多的人,不是最懂電腦的人。
- 讓他們把被問過的五十個問題寫成原始清單,不做美化。
- 定下「查不到就說查不到」的三類硬規矩:型號、價格、交期。
- 指定一個業務主管每週看四個數,十分鐘。
- 每週抽十條對話分類標記,先補資料,再談功能。
再往後,才是慢慢擴品類。跑得最穩的一家公司,前兩個月只讓它答一條產品線的交期和一個倉庫的庫存;第三個月業務員自己開始在群組裡喊它,隔壁組跑來問「這個怎麼給我也加一個」。到那一步,不用開推進會,也算真上線了。
要判斷一個智能體有沒有進到業務裡,有個很土的辦法:看有沒有人替它說話。沒人替你推廣,它就是個演示;有人催著要,它才算上崗。
如果這一步還沒走通,可以帶著手上的問題跟我們聊:從AI智能體開發到企業AI知識庫,我們先問的通常也是「誰在用、多久用一次」這兩個數,而不是功能清單有多長。同系列還有一篇講上線頭兩週怎麼抽檢的:四個數字看它有沒有在幹活;想聊具體場景,直接聯絡我們。