果蝇连接组接入 FLM,对照实验显示无增益

FLM 项目把完整果蝇连接组接入一个冻结的 12 亿参数语言模型,但开发者自己的对照实验显示图结构并未带来增益。

Paylaş
果蝇连接组接入 FLM,对照实验显示无增益

Fly Language Model(FLM)是一个公开的聊天机器人,它把完整保留的 MaleCNS v1.0 果蝇连接组(connectome)接入冻结的 LiquidAI LFM2.5-1.2B-Instruct 主干模型。开发者称其为世界上第一个果蝇语言模型,但明确否认这是第一个基于连接组的语言模型,并报告说:一个参数量相当、不含果蝇图结构的对照系统表现略好。

系统构造

该系统本质上是挂在语言模型上的储备池计算(reservoir computing)模块。MaleCNS 图中保留的全部 166,700 个节点和 25,582,938 条有向边都参与运算。图结构、主干模型以及随机的输入输出投影全部固定,只训练一个 278,528 参数的读出层,约为主干 1,170,340,608 参数的 0.0238%。

每个词元(token)处,一个固定的高斯投影把 2,048 维嵌入压缩到 128 个通道,每个储备池节点接收一个带随机符号的通道。随后整张图更新,状态被汇聚到 128 个分箱,经两个无偏置矩阵后通过冻结的词表头输出,作为有界残差加到主干的 logits 上,残差在词表维度上的 RMS 上限为 0.25。

对照实验结果

在新冻结的 32 段 SmolTalk 日常对话(1,236 个目标词元)上,三个训练种子的结果显示:果蝇读出层相对主干每词元改善 0.0222 nats,困惑度(perplexity)从 3.98 降到 3.90。但一个直接输入的对照组,把同样的 128 通道投影不经图结构直接送入相同读出层,在全部 3 个种子上每词元都好出 0.000488 nats。配对自助法区间不支持存在果蝇特有的增益。

把 W 置零会完全去掉残差,精确复现主干的逐词元损失,说明图确实参与了计算。不重新训练而重新标注节点身份,NLL 回到接近基线的水平。报告还证明该递推每词元至多以 0.6 的比例压缩初始状态差异:10 个词元后该界为 0.00605,20 个词元后为 0.0000366。上下文仍然来自主干。

代码仓库采用 MIT 许可,可在 Python 3.12 上本地运行,无需 API 密钥。详情见 MarkTechPost 报道。

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından