AWS'nin yeni çıkarım ağ geçidi ilk token gecikmesini %82'ye kadar düşürüyor

AWS, GPU kümelerinde büyük dil modeli (LLM) çalıştıran ekipler için Amazon SageMaker HyperPod Inference Gateway'i duyurdu. Kubernetes tabanlı bu yönlendirme sistemi, mevcut HyperPod altyapısına tek bir EKS yönetilen eklentisi olarak kuruluyor ve her çıkarım isteğini gerçek zamanlı GPU sinyallerine göre en uygun pod'a gönderiyor.

AWS'nin çıkış noktası şu: Kubernetes'in varsayılan yük dengeleyicileri GPU'nun içini görmüyor. Round-robin ya da en az bağlantı algoritmaları hangi pod'un KV önbelleğinin dolduğunu, hangisinin uzun bağlamlı bir üretimin ortasında olduğunu ya da hangisinin istenen LoRA adaptörünü bellekte tuttuğunu bilmiyor. Sonuçta istekler meşgul pod'ların arkasında birikirken boş kapasite kullanılmıyor, trafik dalgalarında ilk token gecikmesi 4 saniyeyi aşıyor.

Nasıl çalışıyor

Ağ geçidi iki katmanlı. İlk katman kümeye amazon-sagemaker-hyperpod-inference eklentisi olarak kuruluyor ve açık kaynaklı Gateway API Inference Extension üzerine oturuyor: HTTPS trafiğini karşılayan L7 proxy, gelen OpenAI uyumlu istek gövdesindeki model alanını okuyup doğru model havuzuna yönlendiren gövde tabanlı yönlendirici ve her pod'dan Prometheus metrikleri toplayıp ağırlıklı puanlamayla arka uç seçen EPP. Puanlayıcıların ağırlıkları yapılandırılabiliyor, yani gecikmeye duyarlı sohbet ile verim odaklı toplu iş için ayrı davranış kurulabiliyor. İkinci katman kümeler ve bölgeler arasında devralma, küresel hız sınırı ve maliyete duyarlı trafik dağıtımı ekliyor.

Kurulumda sidecar, service mesh veya uygulama kodu değişikliği gerekmiyor; model sunucusu dağıtımlarına bir etiket ekleniyor ve tek bir InferenceGatewayConfig kaynağı tanımlanıyor. İstemci tarafı standart HTTP ile OpenAI uyumlu uç noktaya bağlanmaya devam ediyor. LoRA Affinity puanlayıcısı, adaptörü zaten GPU belleğinde tutan pod'u bulup adaptör değiştirme gecikmesini ortadan kaldırıyor.

AWS testleri 8B ile 235B parametre arasında dört modelle, p5.48xlarge (H100) ve g5 (A10G) örnekleri üzerinde yaptı; trafik üretimdeki yolu birebir izlemesi için dahili Application Load Balancer'lardan geçirildi. Şirket en büyük kazancın karma GPU nesilleri, ani trafik yükselmeleri ve ortak istem öneki paylaşan iş yüklerinde görüldüğünü, filonun tekdüzelikten uzaklaştıkça farkın açıldığını belirtiyor.

Ayrıntılar ve yapılandırma örnekleri için AWS duyurusuna bakabilirsiniz.