微软完成自研基础模型 MAI-Base-2 的预训练
微软 AI 用 16,000 块 GB200 历时 38 天完成了 2.8 万亿参数基础模型 MAI-Base-2 的预训练。该模型正在进行后训练,将先用于微软自家产品,再提供给 Foundry 客户。
微软 AI 于 2026 年 10 月 15 日发布实验室笔记,宣布已完成自研基础模型 MAI-Base-2 的预训练。公司表示,模型目前处于后训练阶段,结果将很快公布,下一代模型 MAI-Base-3 的准备工作也已启动。
MAI-Base-2 是什么
MAI-Base-2 是一个混合专家架构的基础模型,总参数 2.8 万亿,每一步激活 800 亿。基础模型指尚未针对对话和指令遵循进行后训练的原始模型,产品中使用的助手模型都建立在它之上。微软 6 月发布的 MAI-Thinking-1 就建立在上一代 MAI-Base-1 之上。新模型从一开始就同时学习图像和文本,不使用单独的视觉编码器,知识截止时间为 2026 年 3 月。
训练方式
模型于 2026 年 8 月至 9 月在 16,000 块 NVIDIA GB200 上训练了 38 天,训练数据共 50 万亿 token,其中约五分之一为视觉语言数据。微软表示所有数据均在内部处理,网络爬虫遵守 robots.txt,且模型未使用从其他模型蒸馏的数据训练。美国贸易代表办公室“恶名市场”名单中的来源已被排除。
先用于微软产品
微软表示,模型将先用于自家产品,再提供给 Foundry 客户,并计划通过 Foundry 向受信任的合作伙伴授权模型文件。笔记中没有提到模型会公开发布。
微软称,MAI-Base-2 在其保留评测中超过了所测试的全部开放模型,并且在相同算力下的训练效率远高于其视为最强开放基础模型的 DeepSeek-V4-Pro-Base。公司自己也指出,这些评测由其主导,部分委托外部机构以降低数据污染风险,而部分对比模型只能用其后训练版本进行测量。模型进入产品后,值得关注独立测试的结果。