NeoMME：Hcompany推出原生多模态多语言编码器，260M模型主打高效视觉文档检索
Hcompany 在 Hugging Face 发布 NeoMME，一种原生多模态多语言双向 Transformer 编码器，提供 260M 和 800M 两种规模，主打高效视觉文档检索与参数效率，并开放模型权重与演示资源。团队同时推出 NeoMME-Retriever，采用页面图像检索与多向量表示，结合分层 pooling 与量化以降低视觉 RAG 的存储与计算成本，但真实部署效果仍需更多独立验证。
Hcompany 在 Hugging Face 发布 NeoMME，一种原生多模态多语言双向 Transformer 编码器，提供 260M 和 800M 两种规模，主打高效视觉文档检索与参数效率，并开放模型权重与演示资源。团队同时推出 NeoMME-Retriever，采用页面图像检索与多向量表示，结合分层 pooling 与量化以降低视觉 RAG 的存储与计算成本，但真实部署效果仍需更多独立验证。
Hcompany 团队在 Hugging Face 发布 NeoMME，一组面向多模态与多语言表示学习的编码器模型。NeoMME 提供 260M 和 800M 两种规模，试图绕开许多视觉语言模型沿用的“独立视觉编码器 + 因果语言模型”架构，改用一个双向 Transformer 同时处理文本 token 和原始图像 patch。
这项工作的重点并不在于生成图像或文字，而在于把图片和文本转化为可供检索、分类及标注使用的向量表示。团队同时发布了面向视觉文档检索的 NeoMME-Retriever，并开放模型权重、技术实现和演示资源。
一个 Transformer 处理文字与图像
根据 Hugging Face 官方文章，NeoMME 没有建立在预训练视觉塔、预训练文本编码器或文本解码器之上。文本通过从头训练的 BPE 词元化器进入模型，图像则被切分为不重叠的 32×32 patch，再通过小型 MLP 投影；两种输入随后进入同一个 Transformer 编码器。
两个版本都支持 16,384 token 的双向上下文，并采用动态图像分辨率，让文档页面在保持比例的情况下使用更多 token。模型还结合了分组查询注意力、查询—键归一化、门控注意力、二维旋转位置编码和 squared-ReLU MLP 等编码器设计。
Hcompany 表示，NeoMME 的预训练从零开始，采用带掩码的离散扩散文本去噪目标。在多模态样本中，图像 patch 保持可见，模型需要根据图像和部分未被遮挡的文本恢复被掩码内容。高比例遮挡会减少纯文本上下文提供的线索，迫使模型学习与图像相关的语义表示。
预训练数据混合了多语言文本、代码、数学、自然图像和文档图像。每个模型处理约 5240 亿个打包输入 token，其中约 2900 亿来自纯文本样本。不过，这些数字是项目方披露的训练配置，并不等同于对所有语言、图像类型或真实业务场景的独立验证。
NeoMME-Retriever把视觉文档当作页面图像检索
NeoMME-Retriever 使用 ColPali 引入的页面图像方法，将 PDF 页面截图作为检索对象，而不是先把文档转成 OCR 文本。这样做可以保留版式、图表、表格、字体大小以及页面元素之间的空间关系，避免文本抽取过程丢失部分视觉信息。
模型在同一次前向计算中提供两种表示：一种是通过平均池化得到的 dense embedding，适合使用近似最近邻索引进行大规模初步召回；另一种是面向 late interaction 的 token 或 image patch 级向量，用于在查询与页面局部区域之间进行更细粒度的匹配。
这种设计也与 AIFlux 此前对 Sentence Transformers 6.0 多向量检索支持所涉及的工程趋势相呼应：检索系统不必把整页或整段内容压缩成一个向量，而可以把细粒度匹配延迟到评分阶段。但多向量方案通常需要更大的索引空间和更复杂的评分流程，不能简单替代单向量检索。
小模型在ViDoRe v3上强调参数效率
团队在 技术报告中称，NeoMME-Retriever-260M 在 ViDoRe v3 上取得 0.523 的 nDCG@10，是已评估的 800M 参数以下模型中得分最高者；800M 版本得分为 0.556。报告同时称，260M 模型的成绩与 3.75B 参数的 ColQwen2.5 相差约 0.002，但参数量约少 14 倍。
这些结果需要结合评测口径理解。NeoMME 文章中的部分结果来自团队自评，ViDoRe v3 本身则是一个面向企业文档检索的多模态基准，包含复杂的文本、表格、图表和图像页面。其 官方介绍称，基准覆盖 26,000 个页面、3,099 个查询和六种语言，并使用了大规模人工标注。不同模型的分数仍可能受到输入分辨率、实现版本、评估代码和索引策略影响，因此不能把单一榜单结果直接解释为所有场景下的性能优势。
在推理速度方面，Hcompany 在 NVIDIA L40S 上以 2048×2048 的输入尺寸进行比较，称 NeoMME-Retriever-260M 每秒可以编码约 51 个页面，而 ColModernVBERT 约为每秒 26 个页面。对需要频繁建立或更新文档索引的系统来说，编码吞吐可能直接影响 GPU 占用和运营成本。
压缩后期交互索引，降低视觉 RAG 的存储压力
高分辨率页面会产生大量 patch 级向量。Hcompany 测得，ViDoRe v3 中每个文档的晚交互嵌入平均约占 1.5 MB；对于 2048×2048 的方形页面，输出约包含 4,200 个向量。
为降低成本，团队结合层级 token pooling 与非对称量化。前者聚类相似的文档向量，减少需要保存的向量数量；后者将文档嵌入量化为 int8 或二进制，而查询向量在运行时生成，可以保留更高精度。
在一组 ViDoRe v3 测试中，pooling factor 为 10、查询和文档均使用 int8 时，单页存储降至约 39 kB，同时保留超过 99% 的基线 nDCG@10。更激进的配置将文档向量压缩为二进制，存储降至约 6 kB，即约 255 倍压缩，并保留超过 95% 的基线检索质量。
这使 NeoMME-Retriever 适合接入视觉 RAG：系统先把 PDF 页面转成图像并建立向量索引，再根据文字查询召回相关页面，最后将原始页面图像交给视觉语言模型生成答案。与只发送 OCR 文本相比，视觉 RAG 可以让后续模型继续看到表格、图表、示意图和版式信息。
开放权重之外，真实部署仍需验证
NeoMME 的所有模型检查点以 Apache 2.0 许可证发布，并已接入 Hugging Face Transformers。Hugging Face 的 NeoMME 模型集合还列出了 260M 和 800M 的基础模型、检索模型、Sentence Transformers 版本以及视觉 RAG 演示空间。
NeoMME 的价值主张是参数效率、原生多模态处理和检索部署成本之间的平衡。它没有采用常见的视觉塔与生成式解码器组合，而是将图像 patch 与文本 token 放入同一个双向编码路径；在检索任务上，又用 dense 和 late-interaction 两个头覆盖不同的索引需求。
但目前公开证据主要来自项目方论文、博客和自评基准。模型在不同语言、扫描质量、行业文档、持续更新的生产语料库以及端到端 RAG 答案质量上的表现，还需要更多独立复现。对开发者而言，NeoMME 提供了一个轻量级视觉文档检索选项；是否值得采用，最终仍取决于真实数据上的召回率、延迟、索引规模和维护成本。
来源：
不错过任何一条 AI 大事
订阅 AIFlux 早报，每天 3 分钟看懂产业动态。
