从一组小案例开始,评估你的 AI 应用
把日常遇到的问题变成可重复的案例,让提示词、模型和工具的改动有据可查。
评估不一定需要复杂的平台。先保存那些真实发生过的好结果与坏结果,就能建立一条有用的基线。
选择能代表实际任务的案例
从常见请求、边界条件和历史故障中选择案例。除了正常输入,还应包含信息缺失、相互矛盾的要求、工具超时,以及文档中出现不可信指令等情况。
案例要能描述成功的标准。例如,摘要是否保留关键约束,工具调用是否使用正确资源,或者证据不足时是否明确说明。不要只判断答案“看起来是否不错”。
分别检查正确性、过程与成本
最终文本正确,不代表执行过程合理。一个 Agent 可能通过大量无效调用偶然得到结果。记录是否完成目标、是否违反约束、调用次数、延迟和费用,才能理解变化带来的实际影响。
每次只改变少量变量
调整提示词时尽量保持模型、工具和数据一致。更换模型时保留任务定义和评估标准。这样更容易判断效果来自哪里,也方便在出现回归时恢复到之前的配置。
保存案例
→ 运行当前基线
→ 修改一个配置
→ 对照输出与执行记录
→ 人工检查失败案例
为自动评分保留人工检查
规则可以检查 JSON 格式、必需字段和引用链接。模型评分可以帮助筛选,但评分模型也会出错。对关键任务和有分歧的案例,应保留人工复核,并把发现的问题加入评估集。
评估集会随产品一起成长。每次线上故障都应成为新的案例,让下一次迭代能够检查同一个问题是否再次出现。