FDE W3D5 学习手册 · RAG 评测

W3 Day5 · A 级（必须掌握，面试核心）· 4h · 学完能讲透"RAG 评测的核心指标、50 条测试集怎么建、一个 Case 怎么设计、拒答准确率怎么测"

一、RAG 评测总览：测什么、为什么测

RAG 系统由"检索"和"生成"两段组成，评测也分两层：检索质量（召回对不对、排得合不合理）和生成质量（答得忠不忠实、相不相关、引用准不准、该拒是否拒）。只测最终答案会掩盖"检索就错了"的根因，所以必须分层评测。

二、测试集建设：把评测集扩充到 50 个 Cases

2.1 为什么要 50 条、怎么来

太少不具统计意义，太多标注成本高。W3D5 目标 50 个 Case：

• 20 条人工 Golden：专家（保险业务 + 算法）手工编写，质量最高，作为"金标准"锚定。
• 30 条模型辅助生成 + 人工抽检：用 LLM 基于知识库片段自动生成"问题 + 参考答案 + 期望文档"，再由人工抽检修正（保证≥80% 可用）。

2.2 为什么要"人工抽检"而非全人工

全人工 50 条成本高、周期长；完全模型生成又易同质化、漏边界。折中：模型批量生成骨架，人工只做"抽检 + 修正 + 补边界 case"，既扩量又保底质量，还覆盖拒答/越权/长尾等难例。

2.3 分布设计

三、一个 Case 的完整字段设计

每个 Case 是一行结构化记录，既是评测输入也是评判依据：

四、检索类指标：Hit Rate@K / Recall@K / Precision@K

4.1 Hit Rate@K（命中率）

在 top-K 召回里，至少命中一个相关文档的 query 占比。衡量"检索能不能把对的文档捞上来"。

4.2 Recall@K（召回率）

top-K 中相关文档占全部相关文档的比例。衡量"相关文档漏没漏"。

4.3 Precision@K（精确率）

top-K 中相关文档占 top-K 总数的比例。衡量"捞上来的是不是都对"。

五、生成类指标：Faithfulness / Answer Relevancy

5.1 Faithfulness（忠实度）

答案是否完全基于检索到的上下文，没有编造、没有超出上下文的断言。这是"防幻觉"的核心指标。

• 常用做法：把答案拆句，逐句让 LLM 判"该句能否被检索上下文支持"，取支持比例；或用 NLI 模型。
• RAGAS 的 faithfulness 还引入"claim 抽取 + 逐 claim 验证"的更细粒度方法。

5.2 Answer Relevancy（答案相关性）

答案是否切题、回答了问题本身，不管对错，先看"有没有答到点上"。

• 常用做法：用问题生成若干"预期问题"，看答案能否反向召回原问题（语义相似度高即相关）；或直接 LLM 判相关度。

六、引用准确率（Citation Accuracy）

答案中每条结论对应的引用（chunk_id）是否真实存在且真支持该结论。是 Faithfulness 在"可审计"维度的延伸。

七、拒答准确率（Refusal Accuracy）

7.1 为什么单独测

RAG 的"安全底线"是不知道就说不知道。拒答准确率衡量系统对"应拒答"样本的识别能力，与 Faithfulness 互补——前者防"乱答"，后者防"硬编"。

7.2 怎么测

在测试集中标 should_refuse=true 的 case 上计算：

• 正确拒答：系统输出 should_refuse 且理由合理、未泄露越权内容。
• 误拒（漏答）：本该答却拒了——查 Recall。
• 误答（幻觉）：本该拒却硬编——查精确率/Precision。

八、RAGAS 框架（检索 + 生成一体化评测）

8.1 是什么

RAGAS（GitHub: explodinggradients/ragas，文档 docs.ragas.io）是开源的 RAG 评测框架，提供无需/少需人工标注的指标：

• 检索类：context_precision、context_recall（基于 expected 与召回上下文比对）。
• 生成类：faithfulness、answer_relevancy、answer_correctness。
• 引用类：context_entity_recall、citation/attribute 相关（新版支持）。

8.2 怎么用（思路）

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall
import datasets

# 每条样本: question, contexts(检索结果), answer, reference(可选)
dataset = datasets.Dataset.from_dict({
    "question": [...], "contexts": [[...]], "answer": [...],
    "reference": [...]   # 有 golden 时可算 answer_correctness
})
results = evaluate(dataset, metrics=[faithfulness, answer_relevancy,
                                     context_precision, context_recall])
print(results)

8.3 局限

• 无 golden 时 faithfulness/answer_relevancy 靠 LLM 裁判，有偏差。
• context_recall 需要 expected 文本，仍回到"标注成本"。
• 中文保险领域需校准提示词与模型，不可直接套英文默认。

九、LangSmith 评测实践（可观测 + 数据集）

LangSmith 提供数据集（Dataset）+ 线上追踪（Tracing）+ 在线评测。思路：

• 建 Dataset：把 50 条 Case 导入为 LangSmith Dataset（含 input/expected/metadata），对应我们的 case_id / question / expected_* / should_refuse。
• 写 Evaluator：用 LangSmith 的 evaluators 跑 faithfulness、answer_relevancy、自定义拒答/引用检查。
• 看 Trace：每条 case 记录检索了哪些 chunk、Rerank 分数、是否拒答，便于定位"哪一步错"。
• 回归对比：每次改 prompt/检索参数都跑同一数据集，看指标涨跌。

十、医疗保险实战：特药理赔评测集

示例 Case（C0012，多跳）：

case_id: C0012
question: "投保人有重疾险和百万医疗，确诊肺癌用奥希替尼，两份各自报多少、有先后吗？"
question_type: multi_hop
expected_document_ids: [doc_重疾条款, doc_百万医疗条款, doc_补偿关系说明]
expected_chunk_ids: [chunk_重疾_肺癌给付, chunk_医疗_靶向报销, chunk_补偿_顺序]
answer_key_points: ["重疾按保额给付","医疗报销靶向药比例80%","医疗补偿重疾已付部分","无重复超额"]
should_refuse: false
allowed_roles: [policy_holder, agent]
document_version: v2026.07

评测执行：检索层看该 3 个 chunk 是否进 topK（Recall@K / Hit Rate）；生成层看答案是否覆盖 4 个 key_points（Answer Relevancy/Correctness）、是否忠实（Faithfulness）、引用是否指向正确 chunk（引用准确率）。

十一、评测报告怎么写、怎么迭代

11.1 报告结构

• 概览：测试集规模、分布、document_version、本次对比基线。
• 分层指标：检索层（Hit/Recall/Precision/MRR/nDCG）+ 生成层（Faith/Relevancy/引用/拒答），配趋势图。
• 分类型细分：事实/多跳/拒答/模糊各子集的指标，定位短板。
• 典型 bad case：列 3~5 个失败样本 + 根因（检索漏 / 幻觉 / 误拒）。
• 结论与 action：本轮改了什么、指标涨跌、下一步。

11.2 迭代闭环

十二、常见坑与排查清单

十三、面试达标线①：核心指标分别衡量什么

十四、面试达标线②：Case 字段设计 + 拒答准确率怎么测

14.1 一个 Case 的完整字段

• expected_document_ids / expected_chunk_ids → 检索层判分（Recall/Precision/Hit）。
• answer_key_points → 生成层判分（Relevancy/Correctness）。
• should_refuse / allowed_roles → 拒答与越权评测。
• document_version → 保证可复现、可对比。

14.2 拒答准确率怎么测

1. 在测试集标 should_refuse=true 的 case（含越权 allowed_roles 不符）。
2. 系统输出 should_refuse 判定 + 理由。
3. 计算：精确率 = 正确拒答 / 系统拒答总数（防误答幻觉）；召回率 = 正确拒答 / 应拒答总数（防漏答）；F1 综合。
4. 单独统计 allowed_roles 越权拒答，作为"防知识库越权"证据。

十五、W3D5 自测清单

十六、高频面试题速记卡