Perplexity开源可检索图文的多向量嵌入模型pplx-embed-v2-late

Perplexity 于 2026 年 10 月 7 日发布了新的嵌入模型系列 pplx-embed-v2-late，包括 0.6B 和 9B 两种规格。据 Perplexity 公告介绍，这些模型既能检索文本，也能检索图像，PDF 页面、演示文稿和扫描文档无需先转换成文本即可直接检索。模型文件以 MIT 许可证在 Hugging Face 上开放下载。一周前，该公司还以预览版形式发布了 pplx-embed-v2-context-9b-preview，这款模型会把文档片段连同其上下文一起编码。

嵌入模型（embedding）是一类把文本或图像转换成由数字组成的向量的模型。含义相近的内容会得到相近的向量，因此即使文档没有使用与查询相同的词语，只要讲的是同一主题，检索系统也能把它找出来。这类模型是搜索引擎和 RAG（检索增强生成）的基础：在 RAG 中，AI 助手先从文档库中取出相关段落，再依据这些内容作答。

为每个词元生成单独的向量

常见的嵌入模型会把整篇文档压缩成一个向量。据 Perplexity 介绍，对于篇幅较长、涉及多个主题的文档，这种做法可能丢失部分信息。pplx-embed-v2-late 采用称为 ColBERT 的后期交互（late interaction）方法：模型为输入中的每个词元（token）生成一个 128 维的独立向量。检索时，查询中的每个词元会与文档中最相似的词元匹配，再将这些匹配分数相加。这样，查询的不同部分可以分别对应文档的不同部分。

用同一个模型检索文本和图像

该公司表示，现实中的文档库由 PDF、演示文稿、截图、扫描页面、图表和表格组成。传统流程会先用 OCR 把这些文档转成文本，这一步可能引入错误，还会丢失版面、表格结构和插图。新模型直接处理页面图像，使其可以用文本查询进行检索。Perplexity 还指出，这些模型也可用于对风景照片等自然图像进行语义检索。据公告介绍，训练数据由来自 46 种语言的 1.86 亿个查询与文档对组成，公司表示已将其评测所用基准的相关数据排除在训练之外。

两种规格共享同一向量空间

两款模型均基于 Qwen3.5，并由一个 180 亿参数的内部教师模型蒸馏而来。由于共享同一向量空间，用大模型建立的索引可以用小模型来查询。Perplexity 建议的部署方式是：用 9B 模型对文档库建立一次索引，用户的实时查询则交给速度更快的小模型编码。小模型也可在边缘设备上运行；据该公司介绍，它在编码文本时约有 2.4 亿参数参与计算，编码图像时约为 3.4 亿。这样，私有文档可以在设备本地完成编码，再与云端托管的大型索引配合使用。

在 Perplexity 公布的对比中，9B 模型在广泛使用的视觉文档检索基准 ViDoRe（V3）上领先参评的视觉语言模型；该公司称，0.6B 模型的成绩与激活参数约为其五倍的模型相当。公告还提到，在 AI 智能体把嵌入模型当作搜索工具使用的 BrowseComp+ 测试中，9B 模型领先所有参与比较的模型。在部分图像检索测试中，则是竞争模型领先。

使用方式与 API 计划

两款模型都可以从 Hugging Face 下载，并可直接配合 sentence-transformers 6 及以上版本使用，无需额外代码；模型卡中提供了 Python 使用示例。Perplexity API 平台目前提供的是第一代 pplx-embed-v1 模型。该公司表示，将逐步在 API 平台上加入对后期交互、稠密和上下文嵌入的支持。包含更多技术细节和完整评测结果的技术报告计划于今年晚些时候发布。

上周发布的 pplx-embed-v2-context-9b-preview 则针对 RAG 系统中的另一个问题：文档被切分成片段后会丢失上下文。文档以片段列表的形式输入模型，各片段一起编码，每个片段的向量都会反映其周围的内容。据 Perplexity 介绍，该模型经过训练，既能找到包含答案的片段，也能找到理解和核实答案所需的辅助片段。这款模型同样采用 MIT 许可证，模型文件已在 Hugging Face 上提供。

后期交互模型需要为每篇文档存储大量向量，因此与单向量模型相比需要更多存储空间和不同的索引架构；Perplexity 也指出这项成本会随文档长度增加。据模型卡介绍，同一次调用中不能混合输入文本和图像。训练数据涵盖 46 种语言，但没有公布各语言的单独结果，因此在处理非英文文档前，最好先用自己的样例进行测试。由于上下文模型仍是预览版，模型卡建议不要把它生成的向量与未来版本的向量混用。想更全面地了解模型表现，也请关注独立研究人员的评估。

来源：Perplexity：Multimodal embeddings beyond a single vector、Perplexity：Contextual embedding beyond the gold passage、Hugging Face：pplx-embed-v2-late-9b、Hugging Face：pplx-embed-v2-late-0.6b、Hugging Face：pplx-embed-v2-context-9b-preview。