AWS, AgentCore çalışma zamanında belleği oturum bitmeden geri alıyor
Amazon Bedrock AgentCore'un yenilenen çalışma zamanı, soğuyan belleği oturum sürerken geri alıyor ve başlatma süresini konteyner boyutundan bağımsız tutuyor.
AWS, Amazon Bedrock AgentCore'un çalışma zamanı katmanının yeni sürümünü duyurdu. Ajanları çalıştırmak için kullanılan bu yönetilen hesaplama katmanı iki noktada değişti: bellek kullanımı ve başlatma süresi.
Eski sürümde bir oturum, ayırdığı belleği oturum bitene kadar tutuyordu. Bu da faturanın gerçek kullanıma değil, en yüksek noktaya göre çıkması anlamına geliyordu. Gün boyu boşta bekleyip ara ara yük alan bir ajan, kullanmadığı belleği saatlerce ödüyordu.
Yeni çalışma zamanı her oturumu küçük bir bellek profiliyle başlatıyor, ek belleği iş yükü istedikçe ayırıyor. AWS, milyarlarca oturumdaki ayırma örüntülerini inceleyip sistemi soğuyan, yani bir daha erişilmesi beklenmeyen belleği geri alacak şekilde ayarladığını söylüyor. Fatura da oturum boyunca bu değişimi izliyor.
Soğuk başlatma
Her yeni oturumun iş yapabilmesi için önce başlaması gerekiyor. Hazır, önceden ilklendirilmiş bir ortama düşen oturum 100 milisaniyenin altında başlıyor; ancak bunu garanti etmek için ortamları sıcak tutmak, yani hesaplama kapasitesini boşta rezerve etmek gerekiyor. Bu yüzden oturumların çoğu soğuk başlıyor: ortam açılıyor, imaj çekiliyor, ajan ilklendiriliyor. Gecikme imaj boyutuyla ve eşzamanlılıkla birlikte büyüyor, en kötü haliyle de ani yük artışlarında ortaya çıkıyor.
AWS'ye göre başlangıçtaki küçük bellek profili bu sorunu doğrudan hafifletiyor: yeni çalışma zamanı, konteyner boyutundan ve ajan eşzamanlılığından bağımsız olarak tutarlı soğuk başlatma süreleri veriyor.
Şirket, müşterilerin bugüne kadar bu iki sorunu kendi altyapılarıyla çözdüğünü, yedek ortamları hazır bekletip sonra fatura şişmesin diye kapattığını belirtiyor. AWS bu işi ajanın kendisine katkısı olmayan bir yük sayıyor.
Duyurunun tamamı AWS blogunda yayımlandı.
