NeoMME：无需 OCR 即可检索扫描文档的开源模型

如果手里有成千上万份扫描的发票、合同或技术规范，通常的检索办法是先跑 OCR。可是 OCR 会丢掉表格、栏目版式和图表，检索也就找不回被丢掉的东西。

NeoMME 跳过了这一步。它把页面当作图像来读，用「去年第四季度的营收表」这样的日常句子就能取回正确的页面。H Company 一次发布两个规格：2.6 亿和 8 亿参数，采用 Apache 2.0 许可，可用于商业用途。

小模型，大成绩

在文档检索的标准基准 ViDoRe v3 上，2.6 亿参数模型取得 0.523 的 nDCG@10。这个成绩领先于全部 8 亿参数以下的模型，而且只落后 ColQwen2.5 0.002；后者有 37.5 亿参数，体量约为其十四倍。8 亿参数版本达到 0.556。

对运维团队来说，关键的是另外两个数字。在单张 NVIDIA L40S 上，2.6 亿模型每秒索引 51.3 页，约为 ColModernVBERT 的两倍。每页存储的向量从约 1.5 MB 降到 6 KB，压缩 255 倍，同时保留 95% 的检索质量。一百万页的档案，索引占用约 6 GB 而不是 1.5 TB。

工作方式

这一领域的惯常做法，是把预训练的视觉模型接到预训练的语言模型上，ColPali 及其衍生模型都是这样搭建的。NeoMME 两者都不用。单个 Transformer 让文本与从页面切下的原始图像块走过同样的层，模型从零训练。不搬运的预训练部件，就是不必花掉的参数。

两个模型都支持 16384 个单元的上下文，足够容纳两张 4K 页面。多语言是设计的一部分：分词器在 14 种语言上比 ModernBERT 少产生 44.4% 的单元，同一页面的处理成本因此更低。训练在 16 张和 32 张 H100 上进行，处理约 5240 亿个单元。

短板所在

这个模型强在视觉文档，不强在纯文本。仅做文本检索时，它在 BEIR-15 上取得 0.4881 和 0.5126，而 1.49 亿参数的 LateOn 以 0.5722 领先。作者把差距归因于训练时的监督规模。所以 NeoMME 不是文本检索的替代品，而是面向版式承载信息的扫描文档的另一件工具。

模型与测量细节见 H Company 的公告，方法见 arXiv 论文。