> ## Content Index
> Fetch the complete content index at: https://globalfeed.ai/llms.txt
> Use this file to discover other available public pages before exploring further.

# AWS تطلق بوابة استدلال تقلّص زمن أول رمز حتى 82%
- URL: https://globalfeed.ai/ar/aws-ttlq-bwb-stdll-tqlws-zmn-wl-rmz-ht-82/
- Published: 2026-09-18T16:50:58.000Z
- Updated: 2026-09-18T16:50:58.000Z
- Description: أعلنت AWS عن SageMaker HyperPod Inference Gateway، نظام توجيه يعتمد على إشارات GPU الحقيقية لتوزيع طلبات الاستدلال.
- Author: GlobalFeed Editor
- Tags: AWS, SageMaker HyperPod, الاستدلال, Kubernetes, x-awscloud, x-amazon, dil-ar, video

أعلنت AWS عن **Amazon SageMaker HyperPod Inference Gateway**، وهو نظام توجيه مبني على Kubernetes مخصص لفرق تشغيل النماذج اللغوية الكبيرة (LLM) على عناقيد GPU. يُثبَّت النظام كإضافة واحدة مُدارة في EKS على بنية HyperPod القائمة، ويستخدم إشارات GPU في الزمن الحقيقي لإرسال كل طلب استدلال إلى أنسب pod. وتفيد AWS بانخفاض زمن أول رمز بنسبة تصل إلى 82%، مع مثال يتراجع فيه الانتظار من 4,4 ثانية إلى أقل من 800 مللي ثانية.

وتشرح الشركة المشكلة: موازنات الحمل الافتراضية في Kubernetes لا ترى ما يجري داخل وحدة المعالجة الرسومية. فخوارزميات التوزيع الدوري أو الأقل اتصالاً لا تعرف أي pod امتلأت ذاكرة KV الخاصة به، ولا أيها في منتصف توليد بسياق طويل، ولا أيها يحمل محوّل LoRA المطلوب في الذاكرة. فتتراكم الطلبات خلف الوحدات المزدحمة وتبقى الطاقة الخالية دون استخدام.

## طبقتان دون تعديل الكود

تُثبَّت الطبقة الأولى على كل عنقود بوصفها إضافة *amazon-sagemaker-hyperpod-inference* المبنية على مشروع Gateway API Inference Extension المفتوح. وتضم وسيطاً من الطبقة السابعة ينهي حركة HTTPS عبر نقطة نهاية خاصة واحدة لكل عنقود، وموجّهاً يقرأ حقل النموذج في الطلبات المتوافقة مع OpenAI ويحوّلها إلى مجموعة النموذج الصحيحة، ومكوّن EPP الذي يجمع مقاييس Prometheus من كل pod ويختار الخادم الخلفي بخوارزمية تقييم مرجّحة. أوزان المقيّمين قابلة للضبط، فيمكن التمييز بين محادثة حساسة للتأخير وعمل دفعي يركّز على الإنتاجية. أما الطبقة الثانية فتضيف التحوّل عند الفشل بين العناقيد، وحدوداً عالمية للمعدل، وتوزيعاً للحركة يراعي التكلفة.

يحتاج النشر إلى إضافة وسم على نشرات خوادم النماذج وإنشاء مورد *InferenceGatewayConfig* واحد، بلا sidecars ولا service mesh ولا تغيير في كود التطبيق. ويوجّه مقيّم LoRA الطلبات إلى الوحدات التي يوجد فيها المحوّل مسبقاً في ذاكرة GPU.

اختبرت AWS أربعة نماذج بين 8B و235B معاملاً على مثائل p5.48xlarge (H100) وg5 (A10G)، وقالت إن أكبر المكاسب ظهرت مع أجيال GPU المختلطة وحركة المرور المتقطعة والبادئات المشتركة للطلبات.

التفاصيل في [إعلان AWS](https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-inference-gateway/?ref=globalfeed.ai).