果蝇连接组接入 FLM,对照实验显示无增益
FLM 项目把完整果蝇连接组接入一个冻结的 12 亿参数语言模型,但开发者自己的对照实验显示图结构并未带来增益。
Fly Language Model(FLM)是一个公开的聊天机器人,它把完整保留的 MaleCNS v1.0 果蝇连接组(connectome)接入冻结的 LiquidAI LFM2.5-1.2B-Instruct 主干模型。开发者称其为世界上第一个果蝇语言模型,但明确否认这是第一个基于连接组的语言模型,并报告说:一个参数量相当、不含果蝇图结构的对照系统表现略好。
系统构造
该系统本质上是挂在语言模型上的储备池计算(reservoir computing)模块。MaleCNS 图中保留的全部 166,700 个节点和 25,582,938 条有向边都参与运算。图结构、主干模型以及随机的输入输出投影全部固定,只训练一个 278,528 参数的读出层,约为主干 1,170,340,608 参数的 0.0238%。
每个词元(token)处,一个固定的高斯投影把 2,048 维嵌入压缩到 128 个通道,每个储备池节点接收一个带随机符号的通道。随后整张图更新,状态被汇聚到 128 个分箱,经两个无偏置矩阵后通过冻结的词表头输出,作为有界残差加到主干的 logits 上,残差在词表维度上的 RMS 上限为 0.25。
对照实验结果
在新冻结的 32 段 SmolTalk 日常对话(1,236 个目标词元)上,三个训练种子的结果显示:果蝇读出层相对主干每词元改善 0.0222 nats,困惑度(perplexity)从 3.98 降到 3.90。但一个直接输入的对照组,把同样的 128 通道投影不经图结构直接送入相同读出层,在全部 3 个种子上每词元都好出 0.000488 nats。配对自助法区间不支持存在果蝇特有的增益。
把 W 置零会完全去掉残差,精确复现主干的逐词元损失,说明图确实参与了计算。不重新训练而重新标注节点身份,NLL 回到接近基线的水平。报告还证明该递推每词元至多以 0.6 的比例压缩初始状态差异:10 个词元后该界为 0.00605,20 个词元后为 0.0000366。上下文仍然来自主干。
代码仓库采用 MIT 许可,可在 Python 3.12 上本地运行,无需 API 密钥。详情见 MarkTechPost 报道。