腾讯发布 Youtu-Parsing-Omni,文档音视频统一解析为 JSON

腾讯发布 50 亿参数的 Youtu-Parsing-Omni,可将文档、照片、图表、流程图、几何图形、音频和视频统一解析为结构化 JSON。在腾讯公布的表格中,该模型在 OmniDocBench v1.6 上得分最高。其许可证注明该模型不面向欧盟境内使用。

Paylaş
腾讯发布 Youtu-Parsing-Omni,文档音视频统一解析为 JSON

腾讯于 2026 年 10 月 9 日在 Hugging Face 发布了 Youtu-Parsing-Omni。该模型能够读取多种类型的输入,并把其中的信息转换为统一的结构化 JSON 输出,输入包括文档页面、照片、图表、流程图、几何图形、音频和视频。这类模型被称为解析模型,可以把扫描的合同、发票或会议录音转换成软件能够直接处理的结构化数据。Youtu-Parsing-Omni 约有 50 亿参数,基于腾讯优图团队自研的编码器和 Youtu-LLM 语言模型构建。

据模型卡介绍,输出始终是一个 JSON 代码块。对于图像,模型会给出页面版式、文字、表格、公式以及各元素位置的框坐标;对于音频和视频,则给出带时间戳的片段,包括语音转写、画面文字、声音事件和镜头运动。每份输出还附有对内容的整体描述。具体输出哪类结果,由按任务选择的提示词决定。

在腾讯公布的文档测试中排名第一

根据腾讯公布的表格,Youtu-Parsing-Omni 在文档解析测试 OmniDocBench v1.6 上以 96.96 的总分排名第一;同一表格中,PaddleOCR-VL-1.6 为 96.34,MinerU2.5-Pro 为 95.75,Gemini-3-Pro 为 92.91,GPT-5.2 为 86.59。在同时考察文档、图表、几何、照片、音频和视频的 OmniParsingBench 上,它的平均分为 75.08,仅次于 Gemini-3-Pro 的 77.44,在开放模型中得分最高。腾讯还公布了识别化学结构的 ChemOCR 和识别乐谱的 PDMX-Synth 测试结果。

运行方式与许可证

腾讯建议使用其自研的 vLLM 插件部署该模型,需要支持 CUDA 的显卡,处理音频和视频还需要 ffmpeg。模型也可以用 Transformers 运行,但需要开启 trust_remote_code,即执行模型附带的代码;模型卡建议固定一个经过审查的版本。技术报告已放在 GitHub 仓库中。

模型文件可以下载,但采用名为“Youtu-Parsing”的自定义许可证发布。许可证文本写明该模型不面向欧盟境内使用,并表示如与其他条款冲突,以该条款为准。机构在使用前应结合自身情况评估许可条款。

所有公布的对比均由腾讯完成,评测代码尚未发布,目前标注为即将推出。想获得更全面的了解,也请关注独立研究人员的评估。

来源:Hugging Face:Youtu-Parsing-Omni 模型卡、GitHub:Youtu-Parsing、Youtu-Parsing 许可证文本。

Devamını oku

Mistral تطلق نموذج Voxtral مفتوحا لتحويل الكلام العربي إلى نص فوريا

Mistral تطلق نموذج Voxtral مفتوحا لتحويل الكلام العربي إلى نص فوريا

أطلقت Mistral AI نموذج Voxtral Mini 4B Realtime Arabic الذي يحول الكلام بالعربية ولهجاتها إلى نص في الوقت الفعلي، بترخيص Apache 2.0. وإلى جانبه نموذج LIDstral Arabic الذي يحدد لهجة النص المكتوب بالحروف العربية أو لغته. وقد طُوّر النموذجان بالتعاون مع وزارة الانتقال الرقمي المغربية.

GlobalFeed Editor tarafından