FDE W8D1 学习手册 · vLLM 服务化部署与压测

W8 Day1 · B 级（工程核心）· 5h · 学完能独立部署一个兼容 OpenAI 的推理服务并给出可信的性能结论（无 GPU 也能诚实估算）

一、vLLM 核心架构与 PagedAttention

1.1 为什么需要 vLLM

大模型自回归生成时，要把历史 token 的 KV Cache 常驻显存。传统方案为每个请求预分配连续显存（按 max_length 一次性占满），导致严重碎片化和浪费（实际生成常常远短于 max）。vLLM 的 PagedAttention 借鉴操作系统虚拟内存分页思想，把 KV Cache 切成固定块（block），按需分配、可非连续拼接，显存利用率从 ~30% 提升到 ~90%+。

1.2 关键组件

二、启动兼容 OpenAI 的 API 服务

2.1 一条命令起服务

# 安装
pip install vllm
# 启动（以 Qwen2.5-7B 为例，非 OpenAI 模型）
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct \
  --host 0.0.0.0 --port 8000 \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --gpu-memory-utilization 0.9

2.2 接口与 OpenAI 兼容

启动后服务暴露与 OpenAI 完全兼容的端点，客户端可无缝替换 base_url：

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
resp = client.chat.completions.create(
    model="Qwen/Qwen2.5-7B-Instruct",
    messages=[{"role":"user","content":"特药理赔的免赔额一般怎么算？"}],
    temperature=0.1, max_tokens=512)
print(resp.choices[0].message.content)

三、加载非 OpenAI 模型（Qwen / DeepSeek）

3.1 模型来源

• HuggingFace Hub：--model Qwen/Qwen2.5-7B-Instruct、deepseek-ai/DeepSeek-V2-Lite。
• 本地路径：--model /data/models/Qwen2.5-7B（离线/内网环境必备）。
• Ollama 拉取后转权重：Ollama 的 Qwen3 适合本地 Mac 小模型验证，再上 vLLM 跑生产。

3.2 量化与权重格式

vLLM 支持 AWQ / GPTQ / FP8 / bitsandbytes 等多种量化格式，量化方式要在加载时声明：

python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct \
  --quantization awq            # 或 gptq / fp8 / bitsandbytes
  --dtype half                  # 权重计算精度 fp16/bf16

四、量化方式：int4 / int8 / fp16 怎么选

4.1 三种量化的本质

4.2 选择原则

• 显存充足（如 A100 80G 跑 7B/14B）：用 fp16/bf16，质量优先。
• 单卡 24G 想跑 7B：int8 或 int4 均可，int4 更稳。
• 单卡 24G 想跑 32B：必须 int4（~20G 权重）+ 限制并发，否则 OOM。
• 精度敏感场景（医疗诊断辅助、金额计算）：优先 fp16/bf16，量化只做兜底。

五、输入/输出长度与 max_model_len

5.1 三个长度参数

5.2 怎么定 max_model_len

• RAG 问答：输入含长文档+追问，建议 8K~32K。
• 理赔材料摘要：单份材料可能几千字，建议 ≥16K。
• 设太大 → KV Cache 显存占用飙升（与 max_len 成正比），并发骤降。

六、并发与请求速率控制

6.1 关键并发参数

6.2 请求速率（QPS / RPS）

压测时控制发请求的速度：速率太低测不出吞吐上限，速率太高会堆积队列。vLLM 的 benchmark 工具可设 --request-rate（-1 表示不限速，打满）。

七、核心指标：TTFT / TPOT / ITL / 吞吐 / 端到端延迟

7.1 五个指标定义（面试必背）

7.2 指标的工程意义

• TTFT 高：prefill 慢（输入长/并发抢占）或排队久 → 用户觉得"卡顿才开始"。
• TPOT/ITL 高：解码慢（算力不足/量化反向拖累/批太大）→ 输出"吐字慢"。
• ITL 抖动大：批处理里混入长请求被抢占，体验差（流式卡顿）。

八、vLLM Benchmark CLI 实操

8.1 两种基准脚本

# 吞吐/延迟基准（模拟请求）
python -m vllm.benchmarks.benchmark_throughput \
  --model Qwen/Qwen2.5-7B-Instruct --dataset-name sharegpt \
  --num-prompts 100 --request-rate 4

# 面向 Serving 的基准（更接近生产，输出 TTFT/TPOT/ITL）
python -m vllm.benchmarks.benchmark_serving \
  --model Qwen/Qwen2.5-7B-Instruct --backend vllm \
  --dataset-name sharegpt --num-prompts 200 --request-rate 8 \
  --save-result --result-filename my_bench.json

8.2 关键开关

九、无 GPU 实测方案：小模型跑通 + 32B 公式估算

9.1 无 GPU 也要"动手"

没有 A100/H100 不代表不能做实验。分两步走，绝不伪造数据：

1. 小模型实测（真数据）：在 Mac（Ollama 跑 qwen3:8b）或 Colab 免费 GPU 上，跑通"启动服务→兼容 API→压测→记录 TTFT/吞吐"。这部分是真实跑出来的，可写进报告。
2. 32B 公式估算（标假设）：用已知 7B 实测值和算力公式，推算 32B 在目标卡上的量级，并明确标注"估算、未实测"。

9.2 为什么小模型实测仍有价值

• 验证部署流程、参数、API 兼容性——这部分与模型大小无关。
• 验证你的压测脚本与指标口径正确。
• 为公式估算提供"基准点"（7B 的真实吞吐）。

十、32B 模型性能公式估算与假设条件

10.1 显存估算（能否装下）

• int4 + 单卡 24G：权重 16G，剩 8G 给 KV/激活，仅能极低并发。
• fp16 + 单卡 80G（A100）：权重 64G，剩 16G，并发有限，更适合 2×24G 或 1×80G。

10.2 吞吐估算（经验缩放）

在相同卡、相同量化、相同批设置下，解码吞吐近似与参数量成反比（计算量更准的是与 FLOPs 成正比）：

例：若 7B-int4 在 24G 卡上实测 ~60 token/s/请求，则 32B-int4 约 ~13 token/s/请求（仅作量级参考，需实测校准）。

10.3 必须声明的假设

• 假设卡型、量化、max_model_len、批大小与 7B 实验一致；
• 假设无显著显存换出/抢占；
• 标注"此为公式估算，非实测，生产前需在目标卡实测校准"。

十一、诚实报告：不伪造性能数据

11.1 报告里的数据分级

11.2 反模式（面试/工作都忌）

• 把别人的 benchmark 数字当自己的结论；
• 混用实测与估算不标注；
• 只报平均不报 P99，掩盖长尾。

十二、学习资源（B站 / 官方文档，中文非 OpenAI）

12.1 官方文档（首选，权威）

• vLLM 官方文档：docs.vllm.ai
• vLLM Benchmark CLI：docs.vllm.ai/en/stable/benchmarking/cli
• Ollama Qwen3 模型库：ollama.com/library/qwen3

12.2 B站中文实战（搜关键词，按需学习）

• vLLM 部署教程：search.bilibili.com · vLLM 部署教程
• vLLM 压测与性能调优：search.bilibili.com · vLLM 压测性能
• Qwen/DeepSeek 私有化推理：search.bilibili.com · Qwen DeepSeek 私有化推理
• PagedAttention 原理讲解：search.bilibili.com · PagedAttention 原理

十三、面试达标线①：vLLM 部署流程与关键参数

十四、面试达标线②：指标含义 + 无 GPU 诚实估算

1. TTFT/TPOT/ITL 各衡量什么：TTFT 管"卡不卡才开始"，TPOT 管"吐字均速"，ITL 管"抖不抖"。
2. 无 GPU 怎么诚实估算：① 小模型实测出真实流程与基准数字；② 用"同卡同量化吞吐≈与参数量反比"推算 32B 量级；③ 标注假设与"未实测"，不伪造。
3. 报告怎么写：实测写环境、估算标假设、未知明说，只报平均不报 P99 是减分项。

十五、W8D1 自测清单

十六、高频面试题速记卡