FDE W6D2 学习手册 · LLMOps 版本管理

W6 Day2 · A 级（必须掌握，面试核心）· 4h · 学完能讲透"为什么 LLM 应用要像代码一样多版本管理，以及一键离线回归怎么实现、错误 Case 怎么沉淀成评测集"

一、为什么 LLM 应用需要版本管理（而传统应用已有 Git）

传统代码有 Git，但 LLM 应用多了几类"非代码但决定行为"的资产，它们变化频繁且难以用 Git diff 看懂：

二、Prompt 版本

每个 Prompt 应有唯一版本号（如 prompt:v12），并存：内容、创建人、创建时间、关联评测结果、上线状态。

2.1 Prompt 版本最佳实践

• 模板与变量分离：系统提示写模板，运行时填变量（用户问题、检索片段），模板进版本管理。
• 变更要有"为什么"：每条版本记录关联一个改进目标（如"降低拒答率"）。
• 灰度 + 回归：新 Prompt 先离线全量回归通过，再小流量灰度，再全量。

2.2 特药理赔示例

系统提示从 v11「请严格按知识库回答」改为 v12「请严格按知识库回答；知识库无把握时必须输出 should_refuse=true 并转人工」，这个改动必须打版本，因为直接影响拒答与高风险漏判指标。

三、模型配置版本

模型配置指 model / temperature / top_p / max_tokens / 超时 / 重试 等。换模型或调参都算配置变更。

四、Embedding 版本

Embedding 模型版本决定向量空间。换版本后旧向量全部失效，必须重建索引，否则检索结果错乱。

4.1 关键风险

• 混合版本灾难：库里一半旧向量一半新向量，检索时余弦相似度无意义。
• ACL/来源未同步：重建索引时若文档治理（W3）没同步，会重新摄入脏数据。

五、评测集版本（标尺本身也要版本化）

评测集是"标尺"。如果标尺在变，你测出的"变好"可能是假象。

六、一键离线回归：架构与实现

"一键回归"= 给定新版本（Prompt/配置），自动跑全量评测集，产出与上一版的指标对比报告。

# 一键回归伪代码
def regression(new_prompt_v, base_prompt_v, evalset_v):
    new = run_all(new_prompt_v, evalset_v)   # 全量跑新版本
    base = load_snapshot(base_prompt_v, evalset_v)  # 读基线快照
    report = diff(new.metrics, base.metrics)        # 生成 A/B 对比
    if report.regressed():  block_release()         # 指标退化则拦截
    else: approve_gray()                             # 否则进灰度
    save_snapshot(new_prompt_v, new.metrics)

6.1 关键工程点

• 可复现：固定 model/temperature/评测集版本，结果才能比。
• 并发跑：30+50+各 Tool case 全量可能慢，要批处理 + 限流（防 API 限流/烧钱）。
• 基线是快照：上一版指标存库，回归直接 diff，不重跑也能比（省成本）。
• 拦截门禁：任何核心指标退化（如漏判率升高、完成率降）自动阻断发布。

七、A/B 报告：指标对比看什么

回归产出的 A/B 报告要让人一眼看出"该不该发"。

八、Trace、Token 成本、错误 Case 保存与复盘

每次运行（评测 or 生产）都要落"Trace"——完整记录输入、每步 tool_call、中间状态、输出、token、耗时、成本。

8.1 为什么存 Trace

• 复盘：某 case 错了，能还原"它当时调了什么、看到什么、怎么决策"。
• 成本归因：哪类任务 token 烧最多，定位优化点。
• 审计：监管要求能追溯某笔理赔的决策链路。
• 飞轮燃料：错误 Trace 是沉淀评测集的来源（见 s9）。

8.2 错误 Case 怎么存

把"跑错/跑偏/成本高"的运行自动打标，存入"错误 Case 池"，附：输入、期望、实际、根因标签（OCR/规则/编排/模型）。

九、错误 Case 沉淀为评测集（飞轮）

这是 LLMOps 最值钱的"飞轮"：生产/评测中暴露的错误，变成新的评测 case，下次改动自动被守。

9.1 沉淀流程

1. 采集：错误 Trace 自动进错误池（或人工上报）。
2. 审核：专家确认"确实是该测的失败模式"，标注期望输出/风险标签。
3. 提炼：去重、泛化（不要只存这一条，存一类），写入 evalset 新版本。
4. 守护：后续每次一键回归自动覆盖该 case，防止回归。

十、可回滚 / 可对比 / 可审计（达标线①基础）

十一、工程落地：结合 Langfuse

Langfuse（langfuse.com）是开源 LLMOps 平台，覆盖本日多个诉求：

十二、面试达标线①：为什么需要多版本管理（可回滚/可对比/可审计）

十三、面试达标线②：一键回归怎么实现 + 错误 Case 怎么沉淀成评测集

1. 一键回归实现：① 把新 Prompt/配置 + 固定评测集版本作为入参；② 批处理跑全量（限流防烧钱）；③ 读上一版指标快照做 diff；④ 分层指标（含漏判率、成本 P95）设门禁，退化则拦截；⑤ 通过则存新快照、进灰度。
2. 错误 Case 沉淀：① 错误/高成本 Trace 自动打标入池；② 专家审核确认失败模式、标注期望与风险标签；③ 去重泛化提炼成"一类"case，写进评测集新版本；④ 后续每次回归自动守护，防回归。

十四、W6D2 自测清单

十五、高频面试题速记卡