Ant Ling تفتح نموذجها البصري برخصة MIT: 124 مليار معامل و5.5 مليار نشطة لكل رمز
صدر Ling-3.0-flash-VL مفتوح المصدر. تحتفظ بنية مزيج الخبراء بـ124 مليار معامل لا ينشط منها سوى 5.5 مليار لكل رمز، ونافذة السياق تصل إلى مليون رمز. ويعلن النموذج أيضا قدرته على التصرف بناء على ما يراه على الشاشة.
فتحت Ant Ling، فريق الذكاء الاصطناعي في Ant Group، مصدر نموذجها البصري اللغوي Ling-3.0-flash-VL برخصة MIT. وهو Ling-3.0-flash الصادر في يوليو بعد إضافة القدرة على الرؤية.
الأرقام
البنية من نوع مزيج الخبراء: 124 مليار معامل في المجموع، لا ينشط منها سوى 5.5 مليار لكل رمز. وتصل نافذة السياق إلى مليون رمز. والهيكل هجين من 42 طبقة تتناوب فيها طبقات KDA وGated MLA بنسبة خمسة إلى واحد. وفي جانب الرؤية يستخرج مشفر ViT السمات من الصور والفيديو، ويحاذيها مسقط MLP من طبقتين مع النص، بينما يرمز VideoRoPE الموضع المكاني والترتيب الزمني معا. والصيغ المنشورة BF16 وF32، وذكر الإعلان صدور FP8 أيضا مع FP4 وINT4 لاحقا.
والتنشيط المتناثر هو بيت القصيد. فنموذج بحجم 124 مليارا يعمل بـ5.5 مليار لكل رمز أرخص كثيرا في التشغيل من نموذج كثيف بالحجم نفسه. وفي إصدار مفتوح المصدر، هذا تحديدا ما يردم الفجوة بين تنزيل النموذج وتشغيله فعلا.
ثلاث وظائف
تجمع بطاقة النموذج القدرات في ثلاثة عناوين. الفهم: عد الأشياء وتحليل التخطيطات وقراءة الرسوم والمستندات. الاستدلال: الحساب انطلاقا من دليل بصري، والاستنتاج متعدد الخطوات، والتحقق. الفعل: فهم الواجهات وإنجاز المهام، أي النظر إلى شاشات الويب والبرامج وترتيب سلسلة الأفعال.
والثالثة هي المثيرة للاهتمام. فالتعرف على ما في الشاشة وتقرير ما يجب فعله فيها وظيفتان مختلفتان؛ والثانية عمل وكيل، ولا تزال نادرة في الجانب المفتوح المصدر.
المقياس
الرقم المقارن الوحيد في البطاقة هو 42 على مؤشر Artificial Analysis Intelligence Index الإصدار 4.1.1، بزيادة أربع نقاط عن 38 التي سجلها Ling-3.0-flash بلا رؤية. ولا يوجد جدول مقارنة سطرا بسطر مع المنافسين، ولذلك لا يمكن تحديد موقع هذا النموذج قبل ورود قياسات مستقلة.
وكانت نماذج Ant Ling قد تصدرت الخبر أيضا مع Ling 3.0 Flash Sante الموجه للصحة، الذي تناولناه في السادس من سبتمبر؛ ويواصل الفريق تفريع نماذج متخصصة من الجذع نفسه.
