Prism ML 发布 5.9GB 的 Bonsai 2 模型

Prism ML 发布了 Bonsai 系列的第二代模型。Ternary Bonsai 2 27B 基于 Qwen3.8 27B，权重采用 {−1, 0, +1} 三值表示，配合 FP16 分组缩放，每个权重的有效位宽为 1.76 bit，模型总体积 5.9GB。低位表示贯穿整个语言模型。

该模型支持 262K token 上下文窗口，可接收文本与图像输入，以 Apache 2.0 许可发布。公司称其体积比全精度版本小 9 倍以上，综合基准表现保留 98.2%：在覆盖推理、数学、编程、指令跟随、视觉和智能体（Agent）工具调用的测试集上得分 83.9。上一代 Bonsai 27B 的保留率约为 95%。

吞吐与能耗

据 Prism ML 的测试，该模型在 NVIDIA GeForce RTX 5090 上最高达到每秒 143 token，在 M5 Max 上为每秒 46.8 token。在 RTX 4090 上，每个 token 耗电 0.714 mWh，公司称这比全精度运行的 8B 模型能效高 40%。

公司认为，低位模型改变的不只是本地推理的成本结构：同样的显存预算可以装下更大的模型，同样的硬件可以服务更多用户。其列出的应用场景包括编程智能体循环、计算机操作类工作流、私有文档分析、多模态调试，以及把敏感或高频任务留在本地、按需上云的混合架构。

模型权重已开放下载。通过自研低位算子，模型可在 NVIDIA GPU 上经 CUDA 运行，也可在 Apple 设备（Mac、iPhone、iPad）上经 MLX 运行。压缩与评测的具体方法见公司技术白皮书。Prism ML 由一支 Caltech 研究团队创立，早期获得 Khosla Ventures、Cerberus 和 Google 支持，目前由 Samsung 继续投资。

完整公告：Prism ML。