腾讯发布 Youtu-Parsing-Omni,文档音视频统一解析为 JSON
腾讯发布 50 亿参数的 Youtu-Parsing-Omni,可将文档、照片、图表、流程图、几何图形、音频和视频统一解析为结构化 JSON。在腾讯公布的表格中,该模型在 OmniDocBench v1.6 上得分最高。其许可证注明该模型不面向欧盟境内使用。
腾讯于 2026 年 10 月 9 日在 Hugging Face 发布了 Youtu-Parsing-Omni。该模型能够读取多种类型的输入,并把其中的信息转换为统一的结构化 JSON 输出,输入包括文档页面、照片、图表、流程图、几何图形、音频和视频。这类模型被称为解析模型,可以把扫描的合同、发票或会议录音转换成软件能够直接处理的结构化数据。Youtu-Parsing-Omni 约有 50 亿参数,基于腾讯优图团队自研的编码器和 Youtu-LLM 语言模型构建。
据模型卡介绍,输出始终是一个 JSON 代码块。对于图像,模型会给出页面版式、文字、表格、公式以及各元素位置的框坐标;对于音频和视频,则给出带时间戳的片段,包括语音转写、画面文字、声音事件和镜头运动。每份输出还附有对内容的整体描述。具体输出哪类结果,由按任务选择的提示词决定。
在腾讯公布的文档测试中排名第一
根据腾讯公布的表格,Youtu-Parsing-Omni 在文档解析测试 OmniDocBench v1.6 上以 96.96 的总分排名第一;同一表格中,PaddleOCR-VL-1.6 为 96.34,MinerU2.5-Pro 为 95.75,Gemini-3-Pro 为 92.91,GPT-5.2 为 86.59。在同时考察文档、图表、几何、照片、音频和视频的 OmniParsingBench 上,它的平均分为 75.08,仅次于 Gemini-3-Pro 的 77.44,在开放模型中得分最高。腾讯还公布了识别化学结构的 ChemOCR 和识别乐谱的 PDMX-Synth 测试结果。
运行方式与许可证
腾讯建议使用其自研的 vLLM 插件部署该模型,需要支持 CUDA 的显卡,处理音频和视频还需要 ffmpeg。模型也可以用 Transformers 运行,但需要开启 trust_remote_code,即执行模型附带的代码;模型卡建议固定一个经过审查的版本。技术报告已放在 GitHub 仓库中。
模型文件可以下载,但采用名为“Youtu-Parsing”的自定义许可证发布。许可证文本写明该模型不面向欧盟境内使用,并表示如与其他条款冲突,以该条款为准。机构在使用前应结合自身情况评估许可条款。
所有公布的对比均由腾讯完成,评测代码尚未发布,目前标注为即将推出。想获得更全面的了解,也请关注独立研究人员的评估。
来源:Hugging Face:Youtu-Parsing-Omni 模型卡、GitHub:Youtu-Parsing、Youtu-Parsing 许可证文本。