FDE W2D2 学习手册 · 医疗 OCR Tool 与 Document AI

W2 Week2 Day2 · A+B 级（必须掌握 + 设计能力）· 5h · 学完能讲透"报销发票/病历如何从图片变成可校验的结构化字段"

一、Document AI 与 OCR 在保险场景的定位

医疗保险理赔里，用户提交的材料绝大多数是非结构化图片/PDF：增值税发票、门诊病历、费用清单、诊断证明、特药处方。OCR / Document AI 工具的作用，就是把这些材料变成下游（规则引擎、数据库、LLM）能消费的结构化字段。

二、OCR 文本识别原理与流程

2.1 基本流程

• 文本检测（Detection）：定位图中哪里有文字（文本框 / 像素级掩码）。
• 文本识别（Recognition）：把每个文本框的像素变成字符序列。
• 版面分析（Layout）：理解标题、表格、段落的位置关系，辅助字段对齐。

2.2 开源方案

PaddleOCR（百度）是中文场景最常用、效果最好的开源 OCR 之一，支持中英文、表格识别、PP-Structure 版面分析。官方文档：paddlepaddle.github.io/paddleocr，代码：github.com/PaddlePaddle/PaddleOCR。

三、坐标返回与版面分析

成熟的 OCR 不只返回文字，还返回每个词/字段的包围框坐标（通常是四点或两点 bbox，相对图片宽高比 0~1 或绝对像素）。

{
  "text": "价税合计 ¥1,280.00",
  "bbox": [[120, 330], [420, 332], [420, 358], [120, 356]],  // 四点
  "score": 0.97,
  "line_id": 3
}

3.1 坐标的用途

• 字段定位：知道"金额"在图的哪个位置，便于高亮、复核。
• 版面还原：用坐标把零散词拼回"行/列/表格"，支撑字段抽取。
• 校验：相邻字段的相对位置（"金额"在"价税合计"右侧）可辅助判断是否抽错。

四、字段结构化抽取

光有 OCR 文本还不够，要从中抽出业务字段：发票代码、金额、医院名称、项目明细、开票日期等。

4.1 抽取方式

4.2 统一输出

{
  "invoice_code": "044001800211",
  "amount": 1280.00,
  "hospital": "XX市第一人民医院",
  "items": [{"name": "奥希替尼", "qty": 1, "fee": 1280.00}],
  "date": "2026-03-12",
  "confidence": {"amount": 0.98, "hospital": 0.91}
}

五、OCR 置信度与字段置信度

5.1 两层置信度

• 字符级置信度：OCR 对每个识别出的字符给一个 0~1 概率（整体是平均或最小）。
• 字段级置信度：对"抽出的某个字段"给的置信度，可能综合字符分 + 版面位置 + 语义合理性。

5.2 为什么字段级更重要

一张发票整体识别率 99%，但"金额"那个字恰好模糊，字段置信度就低——而金额恰恰是理赔最敏感的字段。所以按字段而非整图评估置信度更有业务意义。

六、低置信度人工复核

6.1 复核策略

6.2 人工复核体验设计

• 把低置信字段在原图上的 bbox 高亮，审核员一眼看到"机器抽的是这坨"。
• 预填 OCR 结果，审核员只需确认/修改，降低操作成本。
• 记录"人工修改了哪些字段"，反哺评测（人工修改率，见 s10）。

七、页面原图与字段坐标关联（截图高亮）

7.1 关联的价值

把"结构化字段"和"原图 bbox"绑定，能做到：

• 可追溯：点击某字段，跳到原图对应区域。
• 可复核：人工审核时高亮展示机器抽的是哪块。
• 可解释：向用户/监管证明"这笔金额是从发票这行来的"。

7.2 实现方式

# 用坐标从原图裁剪出字段截图
from PIL import Image
im = Image.open("invoice.jpg")
x1,y1,x2,y2 = norm_to_px(bbox, im.size)   # 归一化坐标转像素
crop = im.crop((x1,y1,x2,y2))
crop.save(f"field_{field_name}.png")        # 用于前端高亮/复核展示

八、评测指标①：字符准确率（Character Accuracy）

8.1 定义

也可用编辑距离（Levenshtein）衡量：准确率 = 1 - 编辑距离 / 答案长度。字符准确率是 OCR 最基础的指标，衡量"字认得对不对"。

8.2 局限

• 只看字符，不看字段语义——"1,280"认成"1,282"字符错 1 个，但金额就错了。
• 对空格、标点敏感，需约定归一化规则（是否忽略空格）。

九、评测指标②：字段 Precision / Recall / F1

9.1 为什么需要字段级

业务关心的是"字段抽没抽对"，不是单字。把每个字段当作一个"抽取目标"，用信息抽取（IE）的标准指标：

9.2 举例（发票字段抽取）

本例 Precision = 2/3，Recall = 2/3，F1 ≈ 0.67。注意字段"值要完全匹配"才算对，金额差一分都算错。

十、评测指标③：人工修改率（Human Correction Rate）

10.1 定义

这是生产真实数据上最诚实的指标：OCR 自动抽的字段，有多少被人工改过或补过。它综合反映了准确率和置信度阈值的效果。

10.2 和置信度的关系

• 阈值设太高 → 太多字段转人工 → 修改率高、成本高。
• 阈值设太低 → 错误字段自动过 → 修改率低但错误流入下游，更危险。
• 理想：低修改率 + 低漏错率，靠"高置信自动过 + 真低置信才转人工"。

十一、复杂场景设计（跨页 / 复杂表格 / 手写体）

这部分本次只做设计，不要求跑通，但要能讲清思路和难点。

十二、资源与工具

• PaddleOCR 官方文档：paddlepaddle.github.io/paddleocr —— 中文 OCR、表格、版面分析。
• PaddleOCR GitHub：github.com/PaddlePaddle/PaddleOCR —— 可直接部署的推理代码与模型。
• LangChain 多模态文档：python.langchain.com/docs/how_to/multimodal_prompts —— 用多模态模型直接抽图片字段。
• 医疗票据模板库：各地税务局发票版式、医保结算单版式（内部沉淀）。

十三、面试达标线①：讲清 OCR→抽取→置信度→复核 完整链路

1. OCR：检测+识别+版面分析，输出文字与 bbox 坐标。
2. 字段抽取：从文本/图片抽业务字段（金额/医院/项目），统一结构化输出。
3. 置信度：对每个字段算字段级置信度（综合字符分+版面+语义）。
4. 分流：高置信自动过；低置信（按字段敏感度设阈值）转人工复核，并高亮原图位置。
5. 闭环：人工修改记录反哺评测（人工修改率），与原图坐标绑定保证可追溯。

十四、面试达标线②：OCR 评测指标怎么算、为何要低置信复核

• 为什么需要低置信度复核：OCR 不是 100% 准，尤其发票章、浅字、折叠阴影；金额等关键字段错一个字就赔错钱。字段级置信度让"不确定的才转人工"，把有限审核人力用在刀刃上，平衡准确率与成本。
• 指标间关系：字符准确率看"字"，字段 F1 看"业务"，人工修改率看"真实成本"。三者都要看，且字段 F1 要分字段评估（金额权重最高）。

十五、W2D2 自测清单

十六、高频面试题速记卡