Extropic 开放首个为概率芯片而设计的 Transformer 系列：每 token 294 纳焦，H100 为 40.9 微焦
Z1T 是 Extropic 为其概率芯片 Z1 设计的稀疏 Transformer 类模型系列。公司称相对 GPU 的能效提升超过 100 倍，开放了权重与训练配方，并自行列出了这次测量的边界。
人工智能硬件公司 Extropic 在一篇 9 月 4 日的文章中推出了 Z1T，这是它为自家概率芯片设计的首个 Transformer 类模型系列。标题中的主张是：这些模型运行在稀疏概率芯片上，相对 GPU 呈现出“超过 100 倍的能效提升”，并附带一条相应的缩放定律。
数字从何而来
公司给出的测量很直接：让一个 token 穿过四层堆栈耗能 294.52 纳焦；同样的工作在 H100 上耗能 40.9 微焦。比值约为 139 倍。而这 294.52 纳焦中，285.78 纳焦用在 FPGA 上，只有 8.74 纳焦用于 Z1 的采样。
Z1 是 Extropic 用亚阈值 CMOS 制造的概率芯片。每个 pbit 有 16 个可调耦合，这种稀疏性既是硬件的硬约束，也是其能效的来源。因此该模型是围绕稀疏神经网络运算构建的。
公司自己列出的边界
这篇文章最值得注意的一点是，这些保留意见是公司自己写的：
- 该工作被称为“初步研究”。
- 用于对比的模型相对 H100 而言很小；内核启动时间对测量有影响，模型运行在 0.006% 的 MFU。
- Extropic 明确写道：“如果我们在 GPU 上做批处理，H100 会高效得多。”
- 由此给出的建议是：Z1 加协处理器的组合用于解码；预填充目前在 GPU 上做更好。
- 能耗估算不包含 Z1 与 FPGA 之间的数据搬运。
还有一处细节：用更稀疏的 Z1T 达到与 GPT-2 相同的损失，大约需要多一个数量级的 FLOPs。由于 Z1 上的运算相对 GPU 有约三个数量级的能效增益，最终净结果落在两个数量级。
下一步的信号
Extropic 指出，FPGA 消耗了超过 95% 的能量。他们由此得出的结论是：若把更多运算迁移到亚阈值 CMOS 基底上，相对 GPU 高达 1000 倍的能效或许可以实现。用他们自己的话说，这不是测量结果，而是一种可能。
权重已开放
公司在 GitHub 上开放了训练配方，即产生该缩放定律的稀疏 Transformer 的配方，并在 Hugging Face 上开放了其中一次较大训练运行的权重。文中指出，这是该公司的第一个开源模型。
为何重要
人工智能的电费如今已是基础设施问题。Extropic 所做的，是不再围绕 GPU 的稠密矩阵乘法、而是围绕稀疏的概率硬件来重建 Transformer。结果目前还不是产品，而是一项初步研究；但把连接密度作为新变量加入缩放定律，说明这条路已经变得可以度量。
