去年冬天,我在一家做工業配件的客戶那裡做交付。他們的IT總監老周拉著我看後台資料:AI知識庫上線兩個月,日活從136人掉到11人。點開問答記錄,第一條是“報銷流程是什麼”,系統回了一段2019年的差旅標準,附件還打不開。老周說,員工現在寧可翻微信群聊天記錄,也不願意問這個“人工智障”。這個場景我見過太多次。問題不在模型,在於很多人把AI知識庫當成“搜尋框加個大模型”就完事了。
先別急著選模型,把文件倉庫翻一遍
我們接手後做的第一件事不是調API,而是讓行政、人事、技術三個部門各交一份“最常被問到的20個問題”。結果收上來57個問題,其中23個的答案在三個以上版本的文件裡互相打架。比如年假天數,員工手冊寫5天,OA系統裡是7天,去年發的通知郵件又變成“按司齡遞增”。這種資料不先清掉,接什麼模型都是災難。
具體怎麼做?我的建議是先做一輪“文件考古”。把共享盤、釘釘/飛書資料夾、郵件附件裡的制度類文件全拉出來,按部門+年份建一個清單。讓每個部門的接口人花半天時間標注:現行有效、已廢止、待確認。我們那個客戶最後清出來1800多份文件,真正有效的只有214份。剩下的不是過期就是草稿。這一步沒有技術含量,但決定了知識庫的底線品質。
權限不是技術問題,是管理問題
第二個坑更隱蔽。有個做醫療器械的客戶,知識庫上線第一週就出了事故:銷售在問答裡搜“產品註冊證”,系統把研發部的臨床測試報告摘要返回來了。雖然沒造成實際泄露,但合規部門直接叫停了專案。事後復盤,他們的權限設計是“先上線再補”,把所有人放在一個預設可見的組裡。
我的經驗是,AI知識庫的權限必須比原文件系統更細一層。因為大模型會把多個文件的片段拼在一起回答,原來A文件和B文件單獨看都沒問題,拼起來就可能暴露敏感資訊。具體做法:在文件入庫前,給每個切片打上“部門+密級+專案”三個標簽,檢索時先過濾標簽再送模型。技術實現上,用向量資料庫的元資料過濾就能做,成本不高。但前提是你要先跟法務、合規、業務部門坐下來,把標簽體系定清楚。這件事花兩周,比後面救火劃算得多。
模型選型:別追榜單,看你的問題類型
很多決策者問我:用GPT-4還是國產模型?我的回答通常是:先看你的知識庫要回答什麼問題。如果主要是制度查詢、流程指引這類“有明確答案”的問題,一個7B參數的小模型加上好的檢索策略,效果不比大模型差,成本卻只有十分之一。我們給一家連鎖餐飲企業做的知識庫,用的就是開源小模型加BM25混合檢索,回答準確率到了89%,每個月API成本不到300塊。
但如果涉及跨文件推理,比如“對比去年和今年的供應商帳期政策差異”,那就需要更強的模型。我的建議是分兩步走:先用小模型+規則跑一個月,收集badcase。如果badcase裡超過30%是“需要推理”的類型,再考慮升級模型。別一上來就上價格高的,很多問題其實是檢索沒做好,不是模型不夠聰明。
讓員工用起來:從“能查”到“願意查”
回到老周那個專案。我們做了三件事把日活拉回70多。第一,把問答入口嵌到企業微信的聊天側邊欄,員工不用切應用。第二,每周五發一份“本周高頻問題TOP10”,附上正確答案和文件連結,讓員工知道系統在更新。第三,也是最關鍵的,在每個答案下面加了一個“這個回答有用嗎”的按鈕,點“沒用”會直接觸發人工復核。前兩周收到400多條回饋,我們據此調整了檢索權重和文件切片粒度。
有個細節值得說:很多員工不是不會用,是怕問錯問題丟人。我們在測試階段找了幾個部門裡“人緣好但不太懂技術”的同事,讓他們在群裡公開提問,慢慢大家就跟著用了。知識庫的冷啟動,本質上是信任的冷啟動。
結語
如果你現在正準備啟動AI知識庫,我的建議是先別寫招標書。找三個部門,每個部門要10個真實問題,然後手動去翻文件找答案。這個過程會告訴你資料有多亂、權限有多複雜、員工真正關心什麼。把這三個問題想清楚,再決定用什麼技術。知識庫不是買來的,是養出來的。