AWS, üretimdeki çoklu ajan sistemleri için iki katmanlı izleme mimarisi anlattı
AWS, havayolu rezervasyon örneği üzerinden ajan kalitesini ve altyapı sağlığını ayrı ayrı izleyen bir mimariyi yayımladı.
AWS, üretim ortamındaki çoklu ajan sistemlerinin geleneksel izlemeyle yakalanmayan biçimlerde bozulduğunu anlatan bir teknik yazı yayımladı. Şirketin verdiği örneklere göre bir ajan, yürütme rolündeki eksik bir IAM izni yüzünden temel modeli çağıramayıp boş yanıt döndürebiliyor ve bu durum 500 hatası üretmiyor. Kötü tanımlanmış bir istem yüzünden bir denetleyici ajanın isteklerin yüzde 20'sini yanlış uzman ajana yönlendirmesi de hata oranlarını yükseltmiyor, altyapı metrikleri yeşil kalmaya devam ediyor.
İki ayrı soru, iki ayrı katman
Yazıya göre mimari iki soruya yanıt veriyor: ajan iyi çalışıyor mu, altyapı sağlıklı mı? Amazon Bedrock AgentCore Evaluations, canlı ajan etkileşimlerini yardımcı olma, doğruluk ve görev tamamlama ölçütlerinde puanlıyor. Sistem, üretim isteklerinin yapılandırılabilir bir yüzdesini örnekleyip arka planda değerlendiriyor; her puanla birlikte konuşma bağlamına, kullanılan araçlara ve görev gereksinimlerine dayanan bir gerekçe veriliyor. Kalite metrikleri düştüğünde düşük puanlı oturumlar üzerinde örüntü analizi çalıştırılıyor ve istem değişikliği, araç seçimi düzeltmesi ya da orkestrasyon mantığında iyileştirme gibi somut öneriler üretiliyor.
İkinci katmanda AWS DevOps Agent metrikleri, günlükleri ve hata örüntülerini izliyor. Bir şey bozulduğunda ilgili Amazon CloudWatch günlüklerini çekiyor, etkilenen kaynakların topoloji grafiğini kuruyor, IAM, Amazon Bedrock ve ajan çalışma zamanı arasındaki hataları ilişkilendiriyor ve hata yolunu izleyip düzeltme önerisi veriyor. AWS bunu, boş bir ajan yanıtını eksik bir IAM iznine ya da zaman aşımı artışını belirli bir bölgedeki Bedrock kısıtlamasına bağlamak olarak tarif ediyor.
Havayolu rezervasyon örneği
Mimariyi göstermek için Swarm desenini kullanan dört uzman ajanlı bir havayolu rezervasyon sistemi kurulmuş. Örnek senaryoda tek bir konuşma turunda iki ayrı rota aranıyor, sadakat durumu ve refakatçi sertifikası başka bir veri kaynağından çekiliyor, rezervasyonlar doğru sırayla yapılıyor. Sertifika, uçuş seçilip ücret sınıfı bilinmeden uygulanamıyor.
Ayrıntılar ve mimari şeması AWS Machine Learning blogundaki yazıda.
