单张 AMD Radeon R9700 推理速度翻倍

LocalLLaMA 社区一位用户公布了一组实测数据：在针对单张 AMD Radeon R9700 做了专门优化后，各项推理性能全面翻倍。测试使用的是 Unsloth 版本的 Qwen3.8 27b NVFP4 模型。

发帖者表示，评论区和 Discord 上不断有人询问单卡 R9700 的表现，于是他抽时间专门针对这一配置做了优化。

实测数据

按任务类别的解码（decode）速度中位数：

• json：153.1 tok/s
• 摘要：141.7 tok/s
• 数学：140.0 tok/s
• 文件编辑：138.0 tok/s
• 推理：123.9 tok/s
• 代码：120.5 tok/s
• 长文写作：69.2 tok/s
• 对话：67.1 tok/s

更新延迟（p50）在多数类别约为 42 毫秒，推理和摘要两项降至约 34 毫秒。

帖子标题还给出两个数字：八路并发请求下合计 470 tok/s，预填充（prefill）阶段 3,619 tok/s。

为什么值得关注

本地跑模型的用户大多默认选择 NVIDIA 硬件，AMD 单卡的具体实测数据相对少见。这组结果提供了一个直接参考：一张 R9700 跑 NVFP4 量化的 270 亿参数模型，速度大致处在什么水平。

需要说明的是，这些数字来自发帖者自己的测试环境，尚未经过第三方验证。完整表格、预填充细节以及配置讨论见 原帖。