蚂蚁 Ling 以 MIT 许可开源视觉模型:1240 亿参数,每 token 激活 55 亿

Ling-3.0-flash-VL 开源发布。混合专家架构总参数 1240 亿,每 token 仅激活 55 亿,上下文最长可达 100 万 token。模型还宣称能看懂屏幕并据此行动。

Paylaş
蚂蚁 Ling 以 MIT 许可开源视觉模型:1240 亿参数,每 token 激活 55 亿

蚂蚁集团人工智能团队 Ant Ling 以 MIT 许可开源了视觉语言模型 Ling-3.0-flash-VL。它是在 7 月发布的 Ling-3.0-flash 基础上加入视觉能力后的版本。

数字

架构为混合专家:总参数 1240 亿,每个 token 仅激活 55 亿。上下文窗口最长可达 100 万 token。主干为 42 层混合结构,KDA 与 Gated MLA 层按 5:1 交替排列。视觉一侧由 ViT 编码器从图像和视频中提取特征,两层 MLP 投影器将其与文本对齐,VideoRoPE 同时编码空间位置与时间顺序。已发布格式为 BF16 与 F32;公告称 FP8 也已放出,FP4 与 INT4 随后。

稀疏激活才是关键。一个 1240 亿参数的模型每 token 只跑 55 亿,其推理成本远低于同等规模的稠密模型。对一个开源模型而言,这正是弥合“能下载”与“能真正跑起来”之间差距的东西。

三件事

模型卡把能力归为三类。理解:数物体、解析版式、读图表和文档。推理:依据视觉证据计算、多步推断与验证。行动:理解界面并完成任务,也就是看着网页和软件界面来编排动作序列。

第三项最值得注意。认出屏幕上有什么,和决定在这个屏幕上该做什么,是两件事;后者属于智能体范畴,在开源一侧仍然稀少。

基准

模型卡上唯一的对比数字,是在 Artificial Analysis Intelligence Index v4.1.1 上得到的 42 分,比无视觉能力的 Ling-3.0-flash 的 38 分高出 4 分。卡上没有逐行的竞品对比表,因此在独立评测出来之前,无法判断这个模型的实际位置。

Ant Ling 的模型此前也因面向医疗的 Ling 3.0 Flash Sante 而受到关注,我们曾在 9 月 6 日报道;该团队持续从同一主干上分出专用模型。

来源:inclusionAI/Ling-3.0-flash-VL 模型卡。

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından