AI 与数据实践 · 方案笔记
质量知识库怎么搭:先让每个答案找到依据
从文档版本、检索片段和评测问题入手,搭出可以核对依据的问答流程。
内容性质:方案笔记。文中示例为教学用途,不包含真实企业数据;方法与配置请结合实际条件验证。
先选一个范围足够小的问题
知识库第一版可以只覆盖一类操作指导书,不必一次导入所有质量资料。先列出读者确实会问的十到二十个问题,例如“检验前需要确认哪些条件”“当前有效版本是哪一版”。
本文是可供试验的设计方案,不代表已经在真实工厂完成部署,也不报告未经验证的准确率。问答的目标是帮助找到材料,不能让生成内容代替授权人员作出质量放行决定。
整理文档,比选择模型更早
每份文档至少保留标题、编号、修订版本、有效状态、适用对象和来源位置。相同编号的新旧版本不应混在一起而没有标记。对于扫描 PDF,应抽查识别后的表格、单位和上下限,防止识别错误进入索引。
切分文档时尽量保留完整的步骤或条款。短句脱离上下文后可能丢失“仅适用于某型号”等限制条件;表格的行数据也需要同时带上表头。
让答案带着出处走完流程
一个可检查的流程如下。每一步都应保留可追踪的信息,便于判断错误出在材料、检索还是回答组织。
- 问题进入后,先限定用户可访问的资料范围与适用版本。
- 检索相关片段,记录文档编号、章节和来源位置。
- 检查片段是否真正回答问题,是否存在版本冲突。
- 组织简短回答,附对应出处;证据不足时明确说明无法确定。
| 错误现象 | 先检查什么 |
|---|---|
| 引用了过期要求 | 有效版本过滤是否生效 |
| 答案有出处但答非所问 | 检索片段是否包含所问条件 |
| 数值与原文不一致 | 表格识别、单位及生成后的核对 |
| 无资料仍给出肯定结论 | 是否允许在证据不足时拒答 |
准备一份能暴露问题的评测集
示例问题不能只挑容易回答的内容。应混入缩写、跨章节问题、不存在的要求、相互冲突的旧版材料,以及当前用户没有权限查看的资料。
每题记录期望引用、答案要点和不能出现的内容。分别统计是否检索到正确片段、是否引用正确版本、答案是否被证据支持。把这些指标拆开,才能判断下一步应该改清洗、索引还是提示词。
把文档当资料,不当操作指令
上传的文档中可能包含错误内容,甚至出现要求系统忽略规则的文字。检索结果只应作为待核对的资料,不能获得执行命令、发送信息或变更权限的能力。
演示时使用自制资料。真实客户信息、人员资料和受限文件需要先确认使用范围;本文示例不要求把任何实际业务资料上传到外部服务。下一步可以先建立一个人工检索基线,比较 AI 辅助是否真的减少了查找时间。