Mirendil:一名研究员和AI智能体从零预训练大型编程模型
AI创业公司Mirendil表示,其编程专用模型Mirendil-Base由一名研究员指挥AI智能体从零开始训练,用时3.5个月,算力成本不到1000万美元。据该公司称,超过99%的代码由智能体编写。
AI研究创业公司Mirendil宣布,在没有专门预训练团队的情况下,由一名研究员指挥AI智能体,从零开始训练了一个大型语言模型。根据该公司10月21日的文章,编程专用模型Mirendil-Base由一名研究员用3.5个月训练完成,全部算力成本不到1000万美元,其中包括智能体消耗的token费用、数据处理和小规模实验。
Mirendil是谁
Mirendil于2026年6月宣布成立。根据成立公告,公司的目标是通过普及前沿AI研发来加速科学和技术发展。团队由来自Anthropic、xAI、Google DeepMind和OpenAI等机构的20名研究人员和工程师组成。Andreessen Horowitz和Kleiner Perkins领投了2亿美元的种子轮融资,英伟达也是投资方之一。联合创始人Behnam Neyshabur在X上分享了这一新成果。
做了什么
公告称,AI智能体编写了超过99%的代码,负责运行实验和诊断故障,而研究员则决定尝试什么、信任什么。智能体从一个空仓库开始,搭建了训练基础设施、模型架构、训练算法和数据管线,并以PyTorch、JAX等通用库和开源项目作为参考。公司表示,效率提升来自架构改进、数据配比调整和内核优化。文章没有说明智能体使用的是哪些模型。
训练数据包括GitHub及其他公开代码、网页和公开数据集。公司表示没有使用购买或授权的数据,也没有使用蒸馏或合成数据。
模型家族
- Mirendil-Base:家族中最小的模型,参数量在1000亿到5000亿之间,训练已完成。
- Mirendil-Base-Large:参数量在5000亿到2万亿之间,训练已完成约80%。
- Mirendil-Base-XL:参数量在2万亿到10万亿之间,公司称之为前沿级模型,训练已完成约19%。
如何衡量
公司以代码上每字节的交叉熵(比特,越低越好)来衡量模型。第一项比较使用的是Mirendil自有仓库中预留的代码;更有说服力的第二项测试使用了七个在模型训练后才发布的外部代码仓库。在这项测试中,月之暗面的Kimi-K3平均排名第一,Mirendil-Base第二,领先于英伟达的Nemotron-550B-Base、智谱的GLM-5.3和DeepSeek的V4-Pro-Base。
这些比较存在局限。Kimi-K3总参数量达2.8万亿,远大于Mirendil-Base。正如公司所说,Kimi-K3和GLM-5.3是经过后训练的模型,在这一指标上通常比基础模型略差,因此并非同类比较。该指标反映的是模型预测代码的能力,并不能直接衡量其在编程任务中的实际表现。
自我改进的AI
公司真正的目标是“递归自我改进”,即由AI构建下一代AI。Mirendil表示,其下一个模型将部分由Mirendil模型构建。公司同时明确表示,目前尚未实现完全自主的自我改进,Mirendil-Base并非自己构建了自己,而是由一位专家借助AI工具完成。
Mirendil-Base的后训练已经开始,公司暂未宣布发布模型权重或API。文中的成本、时间和性能数据均来自公司自己的说法,尚未经独立验证,由智能体编写代码的说法也无法从外部核实。大模型训练如果能由小团队完成,对行业而言将是一个重要信号,但这些结果仍需独立测试加以确认。建议同时关注独立研究人员的评估,从不同角度了解情况。