从资料预整理、火山方舟知识库建库、PromptPilot 固定问题评测,到汇报初稿整理,把知识库问答这件事拆成更容易执行的一条顺序。
很多团队第一次接知识库时,最常见的起点是把手里所有文档一起丢进去,然后直接问系统为什么答不准。更省时间的顺序,通常要往前退一步,先把资料整理清楚,再去看知识库、切片和后面的问答测试。资料本身越乱,后面越难判断问题到底出在模型、切片还是提问方式。
第一步先把资料分组。产品手册、FAQ、售前说明、内部制度和历史方案不要混在一个堆里,至少先按主题和用途整理一遍。这里先交给 Kimi 处理会比较方便,因为它更适合把长网页、PDF 和中文材料收进同一套结构。做到这一步以后,哪些材料适合进知识库,哪些只能留作内部参考,已经能先分出一层。
资料整理完以后,再进火山方舟建知识库。第一次上手时,先确认上传、解析和第一轮问答有没有围着原文展开。这个阶段最好抽几段文档回看切片,看看标题、标签和段落拆分有没有把不相干的内容混到一起。只要切片位置明显不对,后面继续追问也只会把错误放大。
当知识库已经能回答一批常见问题以后,下一步更适合把固定问题交给 PromptPilot 做评测。这里要看的是同一批问题换个问法以后,系统还会不会稳定回到同一类答案。把常问问题、标准答案和几组真实样本放进去,再看 prompt 调整前后差异,后面要不要继续改提示词就会更清楚。
等问答和评测都比较稳定,再把结果整理成说明文档、FAQ 更新稿或内部汇报。ChatGPT 放在这一步比较合适,因为这时它面对的是一批你看过、筛过、确认过的内容。这样整理出来的材料更容易给业务、客服或管理层继续用,也不会把试验阶段还没确认的问题直接带出去。
这条流程的重点一直放在资料和测试顺序上。先整理资料,再建知识库,再拿固定问题评测,最后才整理成对外或对内要看的文档。顺序放对以后,知识库问答这件事会清楚很多,后面继续补知识服务或 API 接入也更容易判断该改哪一层。
把常问问题、标准答案和几组实际样本放进去,看哪类提问最容易答偏,再决定要不要继续调提示词。
拿测试中已经确认过的结论去整理说明文档、FAQ 更新稿或汇报提纲,避免直接拿原始测试记录对外使用。
把论文初稿的 AIGC 自查拆成公开初筛、校内流程复核、中英文论文复核和投稿前预检四段来看,适合围绕腾讯朱雀、知网、万方、维普整理更接近实际送检路径的一套顺序。