知识库不好用,很多时候不是模型差,而是资料太乱、问题不真、测试太轻。大家以为自己在调问答,实际上前面几步根本还没站住。
很多人第一次做 AI 知识库,会把希望直接压在模型上。只要回答不对,就开始改 prompt、换模型、换平台。但实际看下来,问题经常不在最后那一层,而在更前面。资料有没有按主题分开,文档切片是不是合理,测试问题是不是来自真实场景,这些基础没做好,再怎么调回答都像在表面补丁。
产品手册、FAQ、制度、活动说明、历史版本文档,经常会被一股脑丢进同一个库里。这样做的直接后果,就是系统很难分清哪些回答该引用什么语境。你表面上看它像是答偏了,实际上是资料组织先出了问题。
很多团队测试知识库时,只会问几条自己已经知道答案的问题。这样当然容易得到看起来还行的结果,但一到真实用户问法、跨文档问题和边界题,系统就开始乱。知识库要不要继续做,往往不是看它能不能答对 3 条演示问题,而是看它在真实问题里会不会乱补。
知识库一旦能答几条问题,很多人就急着接机器人、接客服、接流程。这一步并不是不能做,而是做得太早以后,你会把前面的问题一起放大。更稳的顺序还是先看资料和回源,再看边界,再考虑接业务入口。
因为大家原本期待的是一个“把资料丢进去就会答”的系统,但知识库更像一套资料组织和验证机制。它当然能接模型能力,但前半段做不好,后面就很难自然好用。真正把这件事做顺的人,通常花时间最多的地方,不在最后的回答文案,而在资料和测试。