蚂蚁 Ling 以 MIT 许可开源视觉模型:1240 亿参数,每 token 激活 55 亿
Ling-3.0-flash-VL 开源发布。混合专家架构总参数 1240 亿,每 token 仅激活 55 亿,上下文最长可达 100 万 token。模型还宣称能看懂屏幕并据此行动。
蚂蚁集团人工智能团队 Ant Ling 以 MIT 许可开源了视觉语言模型 Ling-3.0-flash-VL。它是在 7 月发布的 Ling-3.0-flash 基础上加入视觉能力后的版本。
数字
架构为混合专家:总参数 1240 亿,每个 token 仅激活 55 亿。上下文窗口最长可达 100 万 token。主干为 42 层混合结构,KDA 与 Gated MLA 层按 5:1 交替排列。视觉一侧由 ViT 编码器从图像和视频中提取特征,两层 MLP 投影器将其与文本对齐,VideoRoPE 同时编码空间位置与时间顺序。已发布格式为 BF16 与 F32;公告称 FP8 也已放出,FP4 与 INT4 随后。
稀疏激活才是关键。一个 1240 亿参数的模型每 token 只跑 55 亿,其推理成本远低于同等规模的稠密模型。对一个开源模型而言,这正是弥合“能下载”与“能真正跑起来”之间差距的东西。
三件事
模型卡把能力归为三类。理解:数物体、解析版式、读图表和文档。推理:依据视觉证据计算、多步推断与验证。行动:理解界面并完成任务,也就是看着网页和软件界面来编排动作序列。
第三项最值得注意。认出屏幕上有什么,和决定在这个屏幕上该做什么,是两件事;后者属于智能体范畴,在开源一侧仍然稀少。
基准
模型卡上唯一的对比数字,是在 Artificial Analysis Intelligence Index v4.1.1 上得到的 42 分,比无视觉能力的 Ling-3.0-flash 的 38 分高出 4 分。卡上没有逐行的竞品对比表,因此在独立评测出来之前,无法判断这个模型的实际位置。
Ant Ling 的模型此前也因面向医疗的 Ling 3.0 Flash Sante 而受到关注,我们曾在 9 月 6 日报道;该团队持续从同一主干上分出专用模型。