FDE Day 2 学习手册 · 采样参数与结构化输出

W1 Day2 · A 级（必须掌握，面试核心）· 4h · 学完能讲透"模型如何从概率分布生成 token、如何让输出稳定可解析"

一、采样本质：从 logits 到 token

模型每次生成一个 token 前，最后一层会输出整个词表上每个 token 的未归一化分数（logits，形状 = 词表大小，如 15 万维）。采样就是把这个分数分布转成"下一个 token 选谁"的过程：

1. logits：模型对每个候选 token 的"偏好分"，分数越高越可能。
2. softmax：把 logits 归一化为概率分布（加起来=1）。
3. 采样：按概率分布随机抽一个 token。如果直接按 softmax 概率抽，叫"随机采样"；如果永远选概率最大的，叫"贪心解码（greedy）"。

Temperature / Top P / Top K 都是对第 2、3 步之间的干预：先改概率分布形状，再采样。

二、Temperature（温度）

2.1 原理

Temperature（T）在 softmax 之前对 logits 做缩放：用 logits / T 代替原 logits。

• T → 0：logits / T 被放大，分布变得极尖锐，趋近贪心解码（几乎只选最高分 token）。
• T = 1：不缩放，按原始 softmax 概率采样。
• T → ∞：logits / T 趋近 0，分布趋近均匀（每个 token 等概率，输出乱码）。

2.2 对生成的影响

2.3 工程取值经验

• 需要稳定可解析（JSON、抽取、分类）：T=0 或 ≤0.2。
• RAG 问答：T=0.1~0.3，既要稳定又容许少量表述差异。
• Agent 工具调用：T=0~0.3，工具参数必须准确，不能乱发挥。
• 对话/写作：T=0.7~0.9。

三、Top P（核采样 Nucleus Sampling）

3.1 原理

Top P 按概率从高到低累加，只保留累计概率达到 P 的最小 token 集合，把这个集合之外的概率清零，再在集合内重新归一化采样。

例：词表概率 [0.5, 0.3, 0.1, 0.05, 0.02, ...]，P=0.9 → 累加 0.5+0.3+0.1=0.9 达到 P → 保留前 3 个，其余清零，前 3 个重新归一化为 [0.556, 0.333, 0.111] 采样。

3.2 关键特征

• 动态数量：保留的 token 数不固定。分布尖锐时可能只保留 1-2 个；分布平缓时可能保留几十个。
• P=1：不裁剪，等价于不启用 Top P。
• P 很小（如 0.1）：只保留极高概率 token，趋近贪心。

3.3 取值经验

• 通用对话：P=0.9（保留前 90% 概率质量，去掉长尾噪声）。
• 需要稳定：P=0.1~0.5 或直接用 T=0。
• 创意：P=0.95~1.0。

四、Top K

4.1 原理

Top K 只保留概率最高的 K 个 token，其余清零，重新归一化采样。K 是固定数量。

4.2 与 Top P 的区别

4.3 取值经验

• K=1：等价贪心。
• K=40~50：常用默认（很多模型默认 K=40）。
• K 大：保留更多，更多样；K 小：更确定。

五、Temperature / Top P / Top K 组合使用

5.1 生效顺序

多数 API 的内部顺序是：Top K → Top P → Temperature → 采样。即先按 K 截断，再按 P 截断，再用 T 调整分布尖锐度，最后采样。但不同 API 实现略有差异，以官方文档为准。

5.2 常见组合配方

六、Stop Sequences（停止序列）

6.1 作用

Stop Sequences 是一组字符串，模型生成时一旦输出中出现这些字符串就立即停止（停止符本身通常不包含在返回内容里）。

6.2 用途

• 控制输出边界：让模型只生成"答案部分"，遇到"下一个问题"标志就停。
• 多段输出分隔：如让模型生成"思考过程\n\n答案"，用 \n\n答案 之前的内容作为思考。
• 工具调用收尾：工具调用 JSON 后跟一个 之类停止符，截断多余内容。

6.3 与 max_tokens 的关系

生成会在遇到 stop 序列或达到 max_tokens或生成结束符 EOS 三者之一时停止。max_tokens 是硬上限（防超长），stop 是语义边界（防多余）。

七、Structured Output / JSON Schema

7.1 两种机制

7.2 实现原理（了解）

• 约束解码（Constrained Decoding）：在采样阶段用 grammar/状态机限制，只允许生成符合 schema 的 token（如生成 JSON 时强制引号、括号匹配）。这是最稳的方式。
• Logits 偏置 / Grammar 约束：对不符合语法的 token logits 置 -∞。
• Prompt 引导：只在 prompt 里要求输出 JSON，靠模型自觉（最不稳，可能漏字段或加废话）。

7.3 各家 API 支持

• Qwen（通义）：response_format 支持 JSON Mode，部分支持 JSON Schema（具体看模型版本）。
• DeepSeek：response_format json_object（JSON Mode）。
• Claude（Anthropic）：通过 tool_use / 强制 tool 返回实现结构化，或 prompt + 预填充 JSON 引导。

7.4 适用场景

• 工具调用参数生成（必须结构化）。
• 信息抽取（从文本抽字段成 JSON）。
• 多步流程的中间状态传递。
• RAG 的引用 + 答案结构化输出。

八、输出校验与失败重试

8.1 为什么要校验

即使开了结构化输出，仍可能：字段缺失、类型错、枚举值非法、内容是幻觉、超出业务范围。所以拿到模型输出后必须校验，不能直接信任。

8.2 校验工具

• Pydantic（Python）：定义数据模型，自动校验类型/必填/约束，校验失败抛明确错误。是 LLM 工程化最常用的校验库。
• JSON Schema 校验：用 jsonschema 库按 schema 校验。
• 业务规则校验：字段值范围、引用是否存在、金额合理性等，schema 校验不到的。

8.3 重试策略

8.4 代码骨架（Pydantic + 带反馈重试）

from pydantic import BaseModel, ValidationError
import re

class ClaimResult(BaseModel):
    policy_no: str
    amount: float
    risk_level: str  # low/medium/high
    reason: str

def extract_with_retry(text, max_retry=3):
    msgs = [{"role": "user", "content": f"从以下材料抽取理赔信息，输出 JSON：\n{text}"}]
    last_err = ""
    for i in range(max_retry):
        prompt = msgs if not last_err else msgs + [{"role": "user", "content": f"上次输出错误：{last_err}，请修正后重新输出 JSON"}]
        raw = call_llm(prompt, temperature=0.1 if i == 0 else 0.0, response_format="json")
        try:
            return ClaimResult.model_validate_json(raw)
        except ValidationError as e:
            last_err = str(e)
    # 兜底降级：正则提取或转人工
    return fallback_extract(text)

九、模型幻觉与拒答

9.1 幻觉类型

• 事实幻觉：编造不存在的事实（虚构保单条款、捏造药品名）。
• 格式幻觉：输出格式对但内容错（JSON 里 policy_no 填了"无")。
• 指令幻觉：没遵守指令（要求拒答却硬答）。

9.2 缓解手段

• RAG：给模型真实知识，减少编造。
• 结构化约束 + 校验：限制输出形，校验值。
• 低 Temperature：减少随机编造。
• 自洽性检查：多次生成取多数，或生成后自检。
• 引用溯源：要求每条结论附引用，无引用即拒答。

9.3 拒答（Refusal）

企业知识库场景，无答案时应该拒答，而不是硬编。工程上要：

• 明确告诉模型"知识库里没有就回答'我不知道'"。
• 让模型输出 should_refuse 字段或固定拒答文案。
• 检测拒答信号（如输出含"我不知道"/"未找到"），不要当正常答案返回。
• 评测集里专门留 should_refuse=true 的 case，测拒答准确率。

十、实战要点（Qwen / DeepSeek / Claude）

10.1 调结构化输出

• Qwen：参数 response_format={"type": "json_object"}，prompt 里要明确出现 "json"。
• DeepSeek：response_format={"type": "json_object"}。
• Claude：用 tool_use 强制结构化，或 prompt 末尾预填充 { 引导 JSON 开始。

10.2 Pydantic 定义

from pydantic import BaseModel, Field
from typing import Literal

class ClaimExtract(BaseModel):
    policy_no: str = Field(description="保单号")
    drug_name: str = Field(description="药品名称")
    amount: float = Field(ge=0, description="理赔金额")
    risk_level: Literal["low", "medium", "high"]
    should_refuse: bool = Field(description="无法判断时为 true")

10.3 工程 checklist

• 低 T（0~0.2）+ 结构化输出 + Pydantic 校验。
• 失败带反馈重试 ≤3 次，超限降级。
• 记录每次原始输出、校验错误、重试次数到 Trace。
• 评测集覆盖：正常 case + 格式错 case + 应拒答 case + 边界值 case。

十一、面试达标线①：采样参数如何选

十二、面试达标线②：结构化输出从请求到校验的完整流程

1. 定义 Schema：用 Pydantic 写数据模型，字段类型/约束/description 齐全。
2. 构造 Prompt：明确要求输出 JSON，给出字段说明和示例（few-shot）。
3. 调 API：低 T + response_format=json，必要时 stop 控制边界。
4. parse：json.loads，失败进重试。
5. Pydantic 校验：类型/必填/枚举/范围，失败带错误反馈重试。
6. 业务校验：保单号是否存在、金额合理性、风险等级合法性。
7. 重试：带反馈重试 ≤3 次，每次降 T。
8. 降级：正则提取 / 默认值 / 转人工，不能让流程卡死。
9. Trace：记录原始输出、校验错误、重试次数、最终结果、token 成本。

十三、Day 2 自测清单

十四、高频面试题速记卡