Cohere
Cohere تفتح مصدر نظام الخدمة Megakernel
أصدرت Cohere برخصة Apache-2.0 نظام خدمة يدمج خطوة فك الترميز كاملة في نواة CUDA واحدة. أسرع من vLLM بـ1.58 مرة على بطاقة H100 واحدة، لكنه يشغل نموذجا واحدا فقط وعلى H100 فقط وبأحجام دفعات من واحد إلى ثمانية.