DeepSeek-V4.1-Flash 显存压缩引发 Reddit 讨论

一位 Reddit 用户认为,DeepSeek-V4.1-Flash 随附的 KV 缓存压缩方法会拉低推理成本,削弱 OpenAI 与 Anthropic 的算力优势。

Paylaş
DeepSeek-V4.1-Flash 显存压缩引发 Reddit 讨论

DeepSeek 随 DeepSeek-V4.1-Flash 一同发布了一种方法,可大幅压缩 KV 值缓存(KV cache)所需的内存。这一消息因 r/OpenAI 社区的一篇讨论帖而受到关注,帖子探讨了它对行业格局的影响。

帖子的观点

发帖用户 u/justlikemedics 认为,该方法带来两点变化:模型可以支持大得多的上下文(context),处理请求时占用的内存也会少得多。由此他推断,推理(inference)成本将随之下降。

同一篇帖子还提出,当推理变得更便宜、对内存的需求更少时,OpenAI 与 Anthropic 在争取算力方面建立的优势就不再那么重要。他写道,DeepSeek 和其他中国实验室正在毫不留情地把推理成本压下去,这会让这两家公司难以,甚至无法收回打造顶级模型所投入的资金。

需要说明的是

上述判断来自一位论坛用户,既非公司官方说明,也不是独立测评。帖子没有给出该方法的技术细节,没有压缩比例,也没有对比测试数据。完整讨论见 Reddit 原帖。

Devamını oku

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

Liquid AI تطلق أكبر نماذج LFM2.5 المفتوحة لتشغيل الوكلاء على الأجهزة

أطلقت Liquid AI نموذج LFM2.5-24B-A2B كنموذج مفتوح، ويضم 24 مليار معامل إجمالا لكنه يشغل نحو 2.5 مليار منها في كل خطوة. وبحسب النتائج التي نشرتها الشركة، يولد النموذج المدرب للوكلاء الذين يستخدمون الأدوات 184 رمزا في الثانية على Apple M5 Max.

GlobalFeed Editor tarafından