at dawn技术手记
← 返回文章

改进 RAG,先检查检索到的内容

回答质量不只取决于提示词。从切分、元数据和引用开始,定位知识检索的真实问题。

当知识库问答的结果不理想时,先看交给模型的上下文。很多问题在生成之前就已经发生。

保留可检查的检索结果

为每次查询记录命中的文档、片段、排序和检索配置。抽样检查这些片段是否足以支持回答。如果正确内容根本没有被检索出来,继续改写回答提示词通常不会解决根本问题。

按信息结构切分

固定长度切分容易实现,但可能把标题与正文、条件与结论分开。技术文档适合优先按章节切分,保留标题路径;表格、代码和步骤说明,则需要尽量维持完整的语义单元。

切分大小没有通用最优值。片段过小可能缺少条件,片段过大又会带入噪声。应当使用真实查询做对照,而不是直接套用某个经验数字。

把版本和来源带进上下文

文档标题、更新时间、产品版本和来源链接,都是模型判断适用范围的重要依据。涉及 API 或配置项时,旧版本内容即使语义相关,也可能给出错误建议。

{
  "document": "Deployment guide",
  "section": "Configuration / Timeouts",
  "version": "current",
  "source": "/docs/deployment#timeouts"
}

把检索评估与回答评估分开

检索阶段检查是否找到所需证据,回答阶段检查是否忠实使用证据。可以先准备一小组真实问题,标注每个问题需要的文档,再比较关键词检索、向量检索和混合检索。

当证据不足时,系统应当说明缺失的信息,而不是生成一个听起来完整的答案。引用来源也需要与实际使用的片段一致。