AI智能體 · 2026-10-31 · 建沅技術團隊

智能體上線第一個月:四個數字看它有沒有在干活

上線那天不是交付終點。老闆問“它到底省了多少活”,團隊只能拿出“對話 12000 次”——這個數字回答不了問題。第一個月該記的是四個數字、一張抽檢表和每周 20 分鐘。

文章封面:營運主管在辦公桌前抽檢智能體對話記錄並填寫驗收表的場景

去年冬天,一家做電子配件的客戶上線了客服智能體。三個月後開會,老闆問了一句:它到底替我們省了多少活?團隊翻了半天,給出一個數字——對話量 12000 次。

這個數字回答不了這個問題。12000 次裡,有多少是客戶真問到了答案,有多少答錯了卻沒人發現,有多少是同一個人在同一個問題上反復問?這三件事都沒有答案時,“12000 次”只說明它被點開了 12000 次。

上線不是一個交付動作,而是把一件東西交給一個每天都要用的崗位。這篇講第一個月怎麼把它量出來:四個數字、一張抽檢表、每周 20 分鐘。

一、“在跑”和“在干活”不是一回事

先說三種我們真見過的“看起來在跑”:

  • 調用量很高,但九成是同一類問題。一個內部助手月調用六千多次,其中五千次是問“年假還剩幾天”。這不是智能體在工作,是把一個本來能查的地方做得更難找了。
  • 轉人工率七成以上。它答兩句就轉人,客戶還得多點一次。業務量沒降,客戶多等一輪,等於在原有流程外面套了一層殼,還多了一處會出錯的地方。
  • 答得挺好,但沒人知道有它。上線時發過一封通知,兩個月後新來的業務員不知道它存在,還在群裡問同事。

判斷標準要落在業務結果上,不在它的活躍度上:同一件事,以前要幾個人、做多久;現在要幾個人、做多久。這句話樸素,卻能立刻篩掉大部分“看起來很熱鬧”的匯報。

二、第一個月只記四個數字

指標一多就沒人看。第一個月只記四個,紙筆或表格都行:

數字怎麼算第一個月看什麼常見誤讀
處理量佔比它獨立處理完的會話或工單 ÷ 這件工作的總量看趨勢是否在往上爬,不在看絕對值只報“它答了多少次”,不報總量
一次解決率沒轉人工、也沒被追問同一件事的比例穩定在六成上下再談擴大場景把“沒轉人工”當成“解決了”
兜底率答不上來轉人的比例,以及轉的時候有沒有帶上上下文看轉過去之後,客戶有沒有被重新問一遍把兜底當失敗去壓,壓出硬答
一週改動條數這一週往它裡面補了幾條知識、改了幾句說法第一個月每周都該有;連續兩周為零就是沒人管把上線當成交付終點

這裡不給統一的目標值。售後問答、報價核算、內部審批三類業務,基線差得很遠:審批類要的是準確,寧可多轉人工;問答類要的是覆蓋率,允許一部分兜底。所以看的是自己這四周的走勢,不是別人的數字。文中的比例只是行業裡常見的大致範圍,不是承諾。

三、“沒轉人工”不等於“解決了”

這是最容易被數字騙的一處。客戶問完直接關掉窗口、問題沒解決也沒投訴,帳面上算“已處理、未轉人工”——一次失敗的對話,被記成了一次成功。

補法很土但有效:每周隨機抽 10 條對話,不挑成功的看。每條只看三件事:

  1. 內容對不對得上。它引用的價格、交期、認證、政策,是不是當前有效的版本。
  2. 客戶有沒有下一步動作。留下聯繫方式、約了時間、下了樣品單——有動作,說明這次對話真的推進了。
  3. 有沒有“答得很順但是錯的”。語言流畅和內容正確是兩件事,後者只能靠人看。

抽檢表四列就夠:日期 / 對話編號 / 對不對 / 錯在哪一類。一個月攢下 40 條,錯因的分佈會自己浮出來——通常集中在一到兩類。改這兩類,比“全面重訓一遍”劃算得多,也快得多。

四、三類錯誤,改法完全不同

錯誤類型典型表現該從哪裡改
過時報價、交期、認證有效期還是上季度的換知識源,並指定一個固定更新的人;改提示詞沒用
編造知識裡根本沒有這條,它拼了一個很像樣的答案加兜底規則:沒把握就說“這個我確認一下”,然後轉人
口徑不一兩個部門兩種說法,它照著兩邊各說一遍先統一人,再統一它;口徑沒定,改多少遍都還會回來

還有第四類,答非所問:客戶問“能不能做小批量”,它答了一段公司簡介。這多半是意圖識別的問題,加上兩三個正確示例通常就能收斂,不必動模型。把它當成“模型不行”去換供應商,錢花了,問題還在。

五、誰來看這四個數字

一個人,不是委員會。

  • 每周固定 20 分鐘:看四個數字,抽 10 條對話。寫進日曆,別靠想起來。
  • 這個人要能改東西:能補知識、能改說法、能調兜底規則。只能匯報的人看三個月也改不動一條。
  • 老闆每月看一次,只問三句:處理量佔比在漲嗎?上周錯的那幾類改了沒有?下周改哪一條?
  • 別做大屏。掛在牆上沒人數的圖,不如桌上那張手寫的紙。第一個月只求把事實看清楚,不求好看。

這一條比技術選型更影響結果。我們見過答得不算聰明的智能體,靠每周補十條知識越用越準;也見過模型選得很貴的那一類,因為沒人管,三個月後開始報舊價格。

六、第一個月之後:補、刪、定

  1. 補:把“它答不上來的問題”整理成清單,逐條補進知識庫。這張清單本身就是資產——它比任何一次內部培訓都具體,說的正是客戶真正在問什麼。
  2. 刪:一個月沒人問過的話術、沒人用的功能,砍掉。智能體也會越改越臃肿,臃肿之後答得更慢、更不準,員工也就更不願用。
  3. 定:定一個固定復檢日,每月一次,跟價格、政策、新認證同步。沒有這一天,第二年它會開始說舊話,而且說得很自信。

順序別顛倒。很多團隊一上來就想“加功能”,可連它現在答錯了什麼都不知道;先把錯的改對,再加場景,第一個月的投入才沒有白花。

七、算成本時容易漏掉的兩件事

第一,用量和費用是連著的。按調用量計費的方案,用量漲了帳單就漲。提前估一個“一次對話大約多少錢”,比月底對著帳單找原因省心;也要知道哪些調用是白花的——比如同一個人反復問同一句,或者把它當搜尋引擎使。

第二,省下來的是重複勞動的時間,不是人頭。第一次就按“省了幾個人”去算,多半會失望:人還在,只是不用再逐條複製粘貼。更靠得住的算法是——同一類問題這個月被問了多少次,其中多少次不需要人介入。這個數字漲上去,編制才有討論的余地。這一點在客服智能體能省多少重複勞動那篇裡算過一筆明細。

八、多語種與線上時段:總量會騙人

做外貿的客戶尤其要拆開看:

  • 時差。它替你接的是你睡覺的那八小時。這部分處理量單獨記一行——最容易被誤當成“它很能干”,其實只是那段時間本來沒人值班。
  • 語種。別只看總量。常見情況是一門語言佔了九成,另一門幾乎全是兜底:那門語言的知識還沒喂進去,客戶問什麼都答不上。按語種分開看,問題立刻現形。
  • 口徑。不同國家的認證、交期、付款說法不一樣,抽檢要按語種抽,只抽中文等於沒抽到海外那半邊。

多語種這件事在多語言外貿站的六項上線驗收裡寫過一半,這裡補另一半:站建好了,接詢盤的那個智能體同樣要按語種驗收。

九、一句話

上線第一個月的價值,不在於它多能干,而在於你終於拿到了關於它的數字。四個數字、每周十條抽檢、一個人負責改——這三件做到了,第二個月才談得上擴場景;做不到,它就只是一個裝在官網角落、偶爾被人點開的窗口。

本頁要點(Key Takeaways)

  • “在跑”不等於“在干活”:調用量高、轉人工率高、沒人知道有它,三種都常見
  • 第一個月只記四個數字:處理量佔比、一次解決率、兜底率、一週改動條數
  • “沒轉人工”不等於“解決了”:每周隨機抽 10 條,不挑成功的看
  • 三類錯因改法不同:過時換知識源、編造加兜底、口徑不一先統一人;答非所問多半是意圖問題
  • 一個人負責改,比一個委員會負責看更有用;不做大屏,做一張能寫的表
  • 第一個月之後的三件事:補知識、刪功能、定每月復檢日
  • 省的是重複勞動的時間,不是人頭;用量與費用掛鉤,要提前估一次對話的成本
  • 多語種與夜間接待要單獨記,否則總量會把“沒人喂知識”蓋過去
  • 延伸閱讀:AI智能體開發服務、一個客服智能體,一年能省下多少重複勞動、陪跑結束那天:把AI用法留在公司裡

附:第一個月驗收表

一頁紙,四周四行,周五填:

周次處理量佔比一次解決率兜底率本周改動條數抽檢 10 條的結論
第 1 周錯在哪一類、大概幾條
第 2 周
第 3 周
第 4 周

月底把四行橫著看一遍:趨勢比絕對值有用,改動條數比滿意度評分誠實。如果四周裡有兩周改動為零,先別急著加功能,先把那件事定下來——誰來管它。

想讓我們陪你過一遍第一個月——從四個數字的口徑,到每周十條抽檢怎麼記——可以把現在的情況發給我們,我們按你實際的業務量給一份能直接用的驗收表。

本文由建沅網路AI智能體方向的技術團隊撰寫,觀點來自一線專案實踐。如需轉載請聯繫我們並註明出處。