AI 评估AI Evals
用明确的任务样例和判断标准，系统地比较模型或 AI 工作流的输出。
同一组需求
□ 准确性□ 格式□ 边界情形
怎么用
项目助手更换提示词后，用同一组脱敏需求检查资料准确性、格式和边界情形，保存输出及版本供比较。
先检查什么
先定义什么算可用，再选择自动规则或人工核对。样例覆盖常见问题和实际失败，不只挑容易回答的题。
容易误解的地方
一次漂亮回答不代表整体可靠。模型评分也会误判；评估样例应与开发调参样例区分，避免只对样例优化。
这样告诉 Agent
请为这个助手整理一组脱敏的代表性需求和已知失败案例，明确正确性、格式与拒答边界。保存模型、提示词版本及原始输出，区分自动判定和人工核对。