FDE W6D1 学习手册 · Agent 评测体系

W6 Day1 · A 级（必须掌握，面试核心）· 4h · 学完能讲透"Agent 评测与 RAG 评测的本质区别，以及 Agent Eval 的核心指标怎么设计"

一、评测体系总览：从 RAG Eval 到 Agent Eval

评测对象决定评测方法。RAG 是"检索+生成"的单轮管道，Agent 是"目标拆解→调工具→观察→再决策"的多步闭环。两者评测粒度不同：

关键认知：Agent 评测是 RAG 评测的上层。Agent 在"调知识库工具"这一步内部仍然跑 RAG，所以 W3 的 RAG Eval 被继承为 Agent 内部子环节的评测，但 Agent Eval 额外覆盖"任务编排层"和"工具执行层"。

二、继承 W3：RAG Eval 50 Cases 设计与指标

W3 已沉淀 50 个 RAG 问答 case，作为 Agent 内部"查保险知识库/特药目录"的底层评测。Agent 场景下这 50 case 仍要保留并定期回归，因为 Agent 幻觉往往源于知识库这一步出问题。

2.1 RAG Eval 核心指标

2.2 用 RAGAS 落地

官方文档 docs.ragas.io 提供这些指标的无参考/有参考实现。典型用法：把每次 RAG 的 question / contexts / answer / reference 喂给 RAGAS 算分。

三、Agent Eval 核心：任务完成率

任务完成率是 Agent Eval 的"总开关"指标，衡量给定目标是否被完整、正确地达成。

3.1 "完成"的判定

• 目标达成：最终产物满足业务预期（如生成了合规的理赔初审意见书）。
• 过程正确：路径没走偏、没调错工具、没违反约束（不只要结果对，过程也要对）。
• 不破坏约束：没越权、没泄露、没产生危险动作。

3.2 判定方式

四、工具调用正确率（工具成功率）

Agent 的核心能力是调工具。这一指标衡量"该调的工具调了、参数对了、时机对了"。

4.1 三个子维度

• 工具选择正确：该查 OCR 没去查数据库，该调 Rule 引擎没去瞎编。
• 参数正确：传给工具的参数对（如 OCR 的图片 id、SQL 的过滤条件、金额单位）。
• 时机/顺序正确：先查身份再查权益，而不是反过来导致越权查。

4.2 评分

可逐条标注每个 tool_call 是否为"理想轨迹"中的一步（可用 W3 沉淀的标准轨迹做对照），或让 LLM-Judge 对照"标准工具序列"打分。

五、人工审批触发准确率（Human Approval 准确率）

企业 Agent 常设"高风险动作需人工审批"闸门。该指标衡量闸门是否"该拦的拦住、不该拦的别误伤"。

5.1 哪些算"需审批"

• 金额超过阈值的理赔（如 > 5 万）。
• 命中高风险关键词（疑似欺诈、罕见病超适应症用药）。
• 知识库无把握、模型 should_refuse 但业务要求人工兜底的情形。

六、高风险漏判率（最致命指标）

高风险漏判率 = 应识别为高风险却漏判的比例。这是 Agent 上线最不能出问题的指标，直接对应资损与合规风险。

6.1 为什么单列

• 它和"任务完成率"正交：任务可能"完成得很好"但把一笔欺诈理赔判成了正常通过。
• 它和"审批触发召回率"互补：前者看"有没有标高风险"，后者看"标了之后有没有转人工"。
• 它的失败成本极高（一笔骗赔可能数十万），所以必须单独盯、单独设达标线（通常要求 0 漏判或极低）。

6.2 怎么测

在评测集里专门构造"看起来正常但暗藏高风险信号"的 case（对抗样本）：如发票 OCR 结果被轻微 PS、用药与诊断不符但措辞专业。看 Agent 是否命中风险规则或触发人工。

七、OCR / Rule / Database Tool 各 10-20 Cases

单 Tool 也要有自己的迷你评测集，因为 Agent 整体评测掩盖不了"某个 Tool 接口本身不稳"。

八、错误恢复率与单任务成本

8.1 错误恢复率

Agent 中途某步失败时，能否自我纠正继续完成任务。

常见错误：工具返回空、参数被拒、LLM 输出格式错。好的 Agent 应重试/换路而非直接崩。

8.2 单任务成本

九、评测集构建方法论：用例分层

高质量评测集不是随机收集，而是按"能力维度 × 难度"分层设计。

十、评测执行流程与离线回归

Agent 评测要自动化、可重复，核心是"跑一批 case → 收集轨迹 → 算各层指标 → 出对比报告"。

# 离线评测伪代码骨架
for case in eval_set:                # 30 任务 + 50 RAG + 各 Tool case
    trace = run_agent(case.input, version=PROMPT_V, model=MODEL_V)
    metrics = score(case, trace)     # LLM-Judge + 规则校验 + 人工抽检
    save_trace(case.id, trace, metrics)   # 落库，供复盘
aggregate(metrics) -> report(before_vs_after)

10.1 关键工程点

• 轨迹落库：每 case 的完整 tool_call 序列、中间状态、最终产物都要存，便于失败复盘。
• 可复现：固定 model/temperature/评测集版本，否则两次结果不可比。
• 回归对比：改一版 Prompt 跑全量，和上一版本指标 diff（见 W6D2 一键回归）。
• 看板：任务完成率、工具正确率、漏判率、P95 成本随版本趋势图。

十一、面试达标线①：Agent 评测 vs RAG 评测（任务级 vs 检索级）

十二、面试达标线②：Agent Eval 核心指标设计 + 拒答/高风险漏判怎么测

1. 任务完成率：结果对+过程对+不违规，三层判定（LLM-Judge+规则+人工抽检）。
2. 工具成功率：工具选择/参数/顺序三子维度，对照标准轨迹或 LLM-Judge。
3. Human Approval 准确率：拆精确率/召回率/误触发率，高风险场景召回优先。
4. 错误恢复率：出错后仍成功的比例，配合成本看。
5. 单任务成本：token+工具+重试+人工，报 P95。
6. 高风险漏判率：单独设极严达标线（≈0），用对抗样本过采样测。

拒答怎么测

在评测集放 should_refuse=true 的 case（知识库无此药、超出业务范围），判 Agent 是否输出拒答信号（固定 should_refuse 字段或拒答文案），统计拒答准确率；同时放 should_refuse=false 的 case 防"过度拒答"。

高风险漏判怎么测

专门构造"表面正常暗藏风险"的对抗样本（PS 发票、超适应症、欺诈话术），过采样到占评测集 25%，逐条标"应判高风险"，统计漏判率。漏判比误触发严重，达标线要严。

十三、W6D1 自测清单

十四、高频面试题速记卡