FDE W4D6 学习手册 · 作品二核心版打磨

W4 Day6 · A 级（必须掌握，面试核心）· 5h · 把"特药理赔 Agent"从能跑变成"可验收、可讲清、可演示"的面试作品

一、作品二定位与验收标准

作品二的主题是「特药理赔 Agent」：用户提交特药（抗癌药等）理赔申请，Agent 完成材料抽取、用药合规校验、赔付规则计算，并在高风险节点交人工审批，最终放款并生成通知书。

1.1 为什么它是好作品

• 有真实业务深度：医疗理赔涉及合规、金额、风险，天然需要 HITL、Trace、评测。
• 覆盖 FDE 全栈考点：RAG（知识库）、Agent（编排）、HITL（审批）、Trace（可观测）、评测（指标）。
• 体现你的背景优势：Java 工程能力 + 大数据（Trace 聚合）+ 医疗保险 domain。

1.2 验收清单（面试前必须齐）

二、Agent 流程图（端到端）

流程图要让人一眼看懂"数据怎么流、人在哪介入、失败去哪"。

用户提交申请
   │
   ▼
[材料抽取 LLM] ──► 结构化字段(保单/药品/金额)
   │
   ▼
[RAG 合规校验] ──► 用药是否在医保目录/特药清单 (knowledge_version)
   │
   ▼
[规则引擎] ──► 金额计算 + 黑名单/超额判断
   │
   ├── 低风险 + 高置信 ──► 自动通过
   │
   └── 高风险 ──► [human.approval 中断] ──► 人通过/驳回/改额
                                   │
                                   ▼
                            [执行放款(幂等键)]
                                   │
                                   ▼
                            [生成通知书 + 答复]
   │
   ▼ (任何一步失败)
[错误恢复 / 降级 / 转人工坐席]

三、状态归属图：谁拥有什么状态

状态归属图说明每个状态存在哪、由谁修改、丢失了怎么办，是可靠性设计的"说明书"。

四、30 个 Agent 测试 Cases 设计

测试集要结构化、分类覆盖、带标签，才能既当评测集又当回归集。

五、评测指标体系（6 类）

六、工具调用成功率

Agent 的"手"是工具。工具调用成功率衡量模型有没有选对工具、参数对不对、工具返回是否可用。

6.1 拆解

• 选择正确率：该调 A 没调 B。
• 参数正确率：入参类型/取值合法，能命中业务（如保单号格式对）。
• 执行成功率：工具本身返回非错误、结果可被下游使用。

七、任务完成率

任务完成率是最直观的"端到端有效性"指标：case 是否达成了用户目标（正确赔付/正确拒赔/正确转人工）。

八、人工审批触发准确率

衡量 HITL 闸门是否"该拦才拦"：既不要漏拦高风险，也不要滥拦低风险。

• 漏拦（召回低）：高风险没拦→直接放错→安全事故。
• 滥拦（精度低）：低风险也拦→审批疲劳、成本高、体验差。

九、高风险漏判样本统计

高风险漏判 = 本应拦下/拒赔的高风险案，却被错误放行。这是安全红线指标，要专门统计与复盘。

9.1 统计方法

• 从测试集筛出"高风险"标签的 case（用药冲突、超额、黑名单）。
• 统计其中"被自动放行/错误赔付"的数量 = 漏判数。
• 漏判率 = 漏判数 / 高风险 case 总数，目标 < 1%（甚至 0）。

9.2 漏判样本复盘

十、单任务成本

单任务成本 = 平均每次用户任务的总花费，含模型 + 检索 + 工具 + 人工审批人力。

• 模型：按 Trace 的 token 聚合。
• 人工：审批触发率 × 平均等待 × 人力单价，常被忽略。
• 优化：降检索片段、换小模型、降审批触发率。

十一、错误恢复测试

错误恢复测试是主动注入故障，验证系统在中断、重试、幂等下仍正确。

十二、README 与 3 分钟演示

12.1 README 结构

# 特药理赔 Agent
## 1. 背景与价值（一段话）
## 2. 快速开始（环境/依赖/一条命令跑起来）
## 3. 架构图（流程图 + 状态归属图）
## 4. 评测指标与结果（六指标 + 表格）
## 5. 测试 Cases 说明（30 个，分类）
## 6. 错误恢复测试（含 R-03 例子）
## 7. 已知限制与后续

12.2 3 分钟演示脚本

1. 0:00-0:30 背景：特药理赔的痛点（高风险、需合规、需人审）。
2. 0:30-1:30 跑一个正常 case：材料→合规→规则→自动通过，展示 Trace。
3. 1:30-2:15 跑一个高风险 case：触发 human.approval，人改额后通过。
4. 2:15-2:45 展示评测面板：六指标数字 + 漏判率红线。
5. 2:45-3:00 收尾：差异化优势=Java工程+大数据可观测+医疗domain。

十三、面试达标线①：作品二的评测指标设计

十四、面试达标线②：一个 Agent 失败 / 错误恢复的测试例子

1. 选例子：推荐讲 Case R-03"中断后二次恢复导致二次放款"（覆盖最全）。
2. 注入故障：human.approval 通过后、放款前杀进程；随后因网络抖动触发重复恢复调用。
3. 期望行为：同一 thread_id 恢复→Checkpointer 读快照从断点续跑→执行节点校验幂等键未消费→放款并标记消费；重复恢复→键已消费→返回"已处理"，绝不二次放款。
4. 验证点：① 状态不丢（Checkpointer）；② 副作用只一次（幂等键）；③ 恢复后终态与无故障一致。
5. 可拓展：再加 LLM 超时退避、工具失败降级、审批超时升级，构成完整恢复测试矩阵。

十五、W4D6 自测清单

十六、高频面试题速记卡