上個月去一家做工業設備維保的客戶那兒復盤,他們CIO當著我的面問運維主管:“咱們那個AI知識庫,上個月有多少人用過?”主管支支吾吾半天,最後調出後台資料:月活使用者11個,其中6個是IT部門自己人。這個專案花了四十多萬,接的是當時較好的大模型,結果一線維修工寧可在微信群裡吼一嗓子,也不願意打開那個搜尋框。問題出在哪兒?不是模型不夠聰明,是知識庫從第一天起就沒“喂”對。
一、先別急著買向量庫,把“知識從哪來”理清楚
我見過太多技術團隊一上來就選型:Pinecone還是Milvus?LangChain還是LlamaIndex?討論了兩周,程式碼沒寫幾行,預算倒是報上去了。但真正決定知識庫好不好用的,是資料源頭的品質。那家維保客戶有23個G的PDF維修手冊,全是掃描件,OCR出來錯字連篇,“軸承間隙”識別成“軸乘間障”,這種語料喂給再強的模型也是白搭。
我們後來的做法是:先別管技術棧,花兩周時間做資料源盤點。把手冊按設備型號、故障類型、維修步驟三個維度打標簽,掃描件必須人工抽檢OCR準確率,低於95%的批次直接退回重掃。這個笨功夫省不得。另一個做 SaaS 的客戶更典型,他們的產品文件散落在Confluence、飛書文件和銷售個人的PPT裡,同一個功能有三種矛盾的說法。我們幫他們建了個“單一事實源”清單,指定每個知識領域的Owner,只有Owner確認過的版本才能進知識庫。這一步做完,後面切片和檢索的準確率至少提了30%。
二、切片不是切豆腐,要按“人怎麼問”來切
技術圈有個預設做法:按固定字符數切分。512個token一刀,切得整整齊齊。但使用者不會按你的切片方式提問。維修工問“3號泵異響怎麼處理”,你的切片剛好把“異響原因”和“處理步驟”切到了兩個塊裡,檢索出來一半有用一半沒用。
我們現在的做法是按“問題-答案對”來組織切片。具體操作是讓業務專家(不是程式員)把手冊裡的內容改寫成問答形式,比如“問:3號泵運行時發出金屬摩擦聲,可能是什麼原因?答:優先檢查聯軸器彈性塊是否磨損,其次檢查軸承潤滑……”。每個切片控制在200字以內,帶明確的元資料(設備型號、故障現象、處理等級)。這樣檢索時,向量相似度匹配的是“問題”,返回的是完整答案,命中率明顯提升。代價是需要業務部門投入時間做知識加工,但比起上線後沒人用,這筆投入劃算得多。
三、評測環節別自嗨,讓一線員工來打分
很多團隊驗收知識庫的方式是:自己拿幾個問題搜一下,覺得“差不多”就上線了。這是典型的自嗨。我們給一個金融客戶做的時候,專案組內部評測準確率87%,信心滿滿拿去給客服團隊試用,結果客服主管問了三個真實客戶問題,兩個答非所問。原因很簡單:專案組用的測試問題是“年化收益率怎麼計算”,而客戶實際問的是“我昨天買的那個理財,說好4.2%怎麼今天變成4.1%了”。
後來我們定了個規矩:評測集必須由一線員工提供,至少200條真實提問,覆蓋高頻場景和長尾問題。每條問題標注“期望答案來源”,檢索結果按“完全命中/部分命中/未命中”三檔打分。低於80%完全命中率的模塊不允許上線。這個標準聽起來嚴,但執行下來返工成本比上線後被投訴低得多。另外建議每周抽20條線上真實提問做復盤,把未命中的問題補進評測集,知識庫才能越用越準。
四、上線只是開始,營運機制跟不上照樣爛尾
知識庫有一個反直覺的特點:它不會自己變好,只會自己變爛。產品更新了,手冊沒改;流程優化了,FAQ還是舊的;新員工按老文件操作出了事故,才發現知識庫裡的內容已經過期半年。那個維保客戶後來之所以月活從11個漲到200多,關鍵動作是設了個“知識營運”的兼職崗,由每個業務部門指定一個人,每周花兩小時檢查本部門的知識條目,過期內容打標下架,新內容審核上架。IT部門只負責平台和工具,內容品質歸業務部門自己管。
另外一個小技巧:在搜尋框下面加一行字——“沒搜到?點這裡直接問專家”。使用者點了之後,問題自動轉給對應的業務專家,回答完再一鍵入庫。這既解決了長尾問題,又讓知識庫有了持續生長的入口。我們統計過,這個按鈕帶來的新增知識條目佔總量的40%以上。
最後說兩句實在的
企業AI知識庫不是買個大模型接口就能跑起來的東西,它更像是一個需要持續喂養和調教的“數字員工”。如果你正準備啟動這個專案,我建議先做一件事:找三個一線員工,讓他們把最近一週在微信群裡問過的工作問題截圖發給你。那就是你知識庫最該回答的問題,也是你評測集的起點。別從技術選型開始,從真實問題開始。