为什么 OCR 漏掉了文字却不报任何错误？

因为 OCR 的质量信号衡量的是引擎输出了什么，而不是它跳过了什么。在 85 页真实退化的 SEC 文件上，491 个专家标注事实中有 7.7% 在 OCR 输出里完全找不到，而文档级质量分数却是 0.998。引擎从未切分出的区域不产生文本、不产生乱码、也不产生低置信度块——所有下游信号全部沉默。

OCR 置信度分数能检测出缺失的文字吗？

不能——这是结构性的。被遗漏的事实不会产生低置信度块，它根本不产生任何块，所以任何置信度阈值都永远无法把它暴露出来。在我们的校准中，每个标注事实配对的置信度都落在最高的两个分箱里（事实存活率 0.912 和 0.925），可靠性曲线是平的：达到 ≥95% 事实存活率所需的最低置信度不存在。

如何检测扫描文档中缺失的文字？

用覆盖率信号，而不是置信度阈值：把页面上肉眼可见的内容与 OCR 实际产出做对比。几何墨迹覆盖率检查（落在任何 OCR 块之外的深色像素占比）能很好地定位区域级丢失——被遮挡的签名/印章区域内未覆盖墨迹密度高出 5.4 倍——但对单个数字的缺失太弱；更细粒度的场景需要版面模型覆盖率（版面检测器找到的区域 vs 实际填充它们的 OCR 块）。

OCR 置信度检测不出内容遗漏：近乎满分的质量分数掩盖了什么

核心结论： 我们在 85 页真实退化的 SEC EDGAR 文件（FinCriticalED 数据集）上，用专家事实级标注测量了 OCR 遗漏。结果：491 个专家标注事实中有 7.7% 在 OCR 输出里完全找不到——静默丢失——而文档级质量分数却是 0.998。更糟的是：任何 OCR 置信度阈值都无法标记这种丢失，因为被遗漏的事实不会产生低置信度块——它根本不产生任何块。解法是覆盖率信号，而不是置信度阈值；我们实现了一个几何版本，并如实报告它在哪里有效（被遮挡的签名区域上有 5.4 倍的信号强度）、在哪里无效（单个数字的缺失）。本文所有数字均为定点实测（2026-07-07），以数据文件形式提交在 content/fincritical_results.toml 中，文末给出可复现的命令。

核心矛盾

同样这 85 页，一对数字：

流水线报告的	真实标注显示的
文档质量分数 0.998	7.7% 的专家标注事实在输出中完全消失

恰恰在每 13 个关键事实就有 1 个已经消失的时候，质量分数近乎满分。这不是某一个公式的 bug——而是几乎所有生产环境 OCR 质量信号共有的结构性盲区：乱码率、空块率、置信度，衡量的都是引擎输出了的东西。引擎从未输出的事实，一个信号都碰不到。

我们最早是在 100 页真实扫描件（Tobacco800，上世纪 40–90 年代的打字机和传真文件）上撞见这个盲区的：现代 OCR 连很难看的扫描件都读得信心十足，平均质量 0.987，零页被标记复核。FinCriticalED 让我们得以给这个分数看不见的部分标上数字，因为它有一样罕见的东西：页面上每个关键事实的专家标注。

测量方法

FinCriticalED（HuggingFace TheFinAI/FinCriticalED，Apache-2.0）是一组真实退化的 SEC EDGAR 财务页面，带专家标注的事实标签：数字、日期、货币单位、报告主体、财务概念。我们渲染每一页，经解析路由送入 paddleocr，然后检查每个标注事实是否出现在解析产出的任何位置。

规范化对标注值和 OCR 文本完全一致地施加，对格式宽容、对含义严格：千位分隔符和货币符号会被去掉（1,200,000 和 1200000 永远不算错误），但小数点、负号和跟在数字后的 % 保留——小数点移位或负号丢失就是关键错误，绝不能被规范化抹掉。匹配采用词元边界子串，所以 3.5 永远不会在 13.5 内部误匹配。

结果：491 个标注事实中有 7.7% 在 OCR 输出里完全找不到，集中在纯数字（8.3%）和报告主体（8.3%）——恰恰是财务文档流水线最丢不起的两类。

置信度标记不了它——结构性地

最直觉的对策是置信度阈值：把低置信度的输出转人工复核。我们恰恰校准了这件事——每个标注事实配对其所在块的 OCR 置信度（若没有任何块包含它，则取其上下文落入的块的置信度，作为局部 OCR 质量的代理）：

置信度分箱	事实存活率	n
[0.95, 0.99)	0.912	80
[0.99, 1.0)	0.925	411

每个事实配对的置信度都落在最高的两个分箱里，且两箱存活率几乎相同。可靠性曲线是平的：在这份数据上，达到 ≥95% 事实存活率的最低置信度不存在。无论把置信度门槛设多高，都买不来遗漏安全。

原因是结构性的，且不限于这个数据集：被遗漏的事实产生的不是低置信度块——是根本没有块。置信度是已输出文本的属性；遗漏是文本未被输出这件事本身。对前者设阈值，从构造上就对后者失明。（置信度对其他失败模式仍有一些信号：在扫描件上，与签名、印章等被遮挡区域重叠的块平均置信度 0.893，其余区域 0.963——真实存在，但在块粒度上远不足以作为路由依据。）

有效的替代方案：覆盖率信号——部分有效

置信度看不见遗漏，那什么看得见？一个把页面上肉眼可见的内容和 OCR 实际产出做对比的信号。我们实现了可行方案里最便宜的版本——几何墨迹覆盖率，不引入任何新模型依赖：渲染页面，用 Otsu 阈值得到"墨迹"掩码（深色像素 = 可见内容），然后测量落在任何 OCR 块包围盒之外的墨迹占比。这个 uncovered_ink_ratio 看见的恰恰是置信度看不见的东西：产生了零个块的可见内容。

在两个带遗漏/遮挡真值的数据集上验证后，结果清晰地分成一项胜利和一项局限：

区域级丢失：明确的胜利。 在带签名/标志区域标注的页面上，未覆盖墨迹密度在区域内比区域外高 5.4 倍（0.087 vs 0.016），且在 57/73 页上（78%）区域内更高。该信号正确定位了 OCR 在签名和印章处读漏的墨迹——正是"这份合同到底有没有实体签署过？"所需要的场景。
单事实丢失：太弱，不可依赖。 有 ≥1 个事实被遗漏的页面确实携带更多未覆盖墨迹（0.041 vs 0.022，约 1.8 倍），但页面级相关性很弱（点二列相关 0.18）。一个丢失的数字只是几千像素中的几个，而且 OCR 通常仍在附近输出了某些东西，恰好覆盖了那个区域。

这是一个诚实的部分答案。区域级遗漏——被遮挡的签名、印章、标志——今天用纯几何就能检测。单个事实的遗漏需要更精细的仪器：版面模型覆盖率，用版面检测器找到的区域对照实际填充它们的 OCR 块来打分。我们选择公开这个缺口而不是粉饰它，因为这个缺口就是当前技术的真实边界。

对你的流水线意味着什么

不要把文档级质量分数当作无遗漏的保证。 我们的分数是 0.998，同时 7.7% 的事实已经消失；你的也会如此，因为盲区在于这类分数衡量什么，而不在于哪个具体公式。
如果遗漏是你的核心风险，不要按置信度阈值分配人工复核。 可靠性曲线在关键处是平的；你要找的那个阈值不存在。
现在就为区域级丢失加一道覆盖率检查——它很便宜（纯几何、零模型），能以 5.4 倍的信号强度抓住被遮挡的签名/印章。
把单事实遗漏视为文档粒度上尚未解决的问题（除非引入版面模型覆盖率）——并且对任何 OCR 厂商的宣传，要求遗漏率数字，而不是质量分数。

诚实的局限

FinCriticalED 是 SEC 财务页面，不是商业合同。 遗漏率和置信度平坦性可以作为 OCR 属性迁移；它们不是合同字段的准确率数字。
规范化的已知边界（有意为之）： 会计负数写法（(5.2) vs -5.2）算作不同值；被 OCR 从词中间拆到两行的值算作丢失。
置信度校准的具体数值是 paddleocr 特定的——但结构性论证（没有块 ⇒ 没有可设阈值的置信度）与引擎无关。
这些是定点实测数字（2026-07-07），以数据形式提交、构建时注入，因为数据集是门控下载的，从不提交到仓库。

自己复现

git clone <repo> && cd contract-rag && uv sync --extra dev
# 一次性操作：在 HuggingFace 数据集页面同意条款（门控自动通过），然后 hf auth login
uv run python -m contract_rag.eval.fincritical   # 遗漏率 + 置信度可靠性表
uv run python -m contract_rag.eval.coverage      # 在两个真值数据集上验证墨迹覆盖率

OCR 解析结果有缓存，重跑很快。如果你的数字有实质性差异，欢迎开 issue——公开测量的意义正在于此。