Cohere
Cohere, Megakernel sunum sistemini açık kaynak yaptı
Cohere, çözümleme adımının tamamını tek bir CUDA çekirdeğine sıkıştıran sunum sistemini Apache-2.0 ile yayımladı. Tek H100 üzerinde vLLM'ye göre 1,58 kat hızlı, ama yalnız tek model, yalnız H100 ve yalnız 1-8 arası yığın.