Perplexity تفتح مصدر Lily، محرك استدلال بلغة Rust وMetal لأجهزة Apple Silicon
أعلنت Perplexity عن إتاحة Lily مفتوح المصدر، وهو المحرك المحلي الذي يشغّل Qwen3.6-35B-A3B على Apple Silicon بأداء أسرع من MLX-LM وفق قياسات الشركة.
أتاحت Perplexity بشكل مفتوح المصدر محرك الاستدلال المحلي Lily، وهو المحرك الذي يقف خلف ميزة Hybrid Compute في Perplexity Computer. يعمل المحرك كعملية واحدة: طبقة مكتوبة بلغة Rust تحمّل نقطة التحقق (checkpoint) وتدير حلقة التوليد، وواجهة برمجية متوافقة مع OpenAI تبثّ الرموز، وأنوية Metal مكتوبة يدويًا تنفّذ النموذج. لا يوجد PyTorch ولا MLX في مسار التنفيذ.
صُمم Lily ضيق النطاق بشكل مقصود: نموذج واحد هو Qwen3.6-35B-A3B على عائلة عتاد واحدة، وتقول Perplexity إن هذا التضييق هو مصدر الأداء، لأن بنية النموذج وخطط التنفيذ واختيار الأنوية تجتمع في زمن تشغيل واحد. يتوفر عرض توضيحي مستقل في مستودع pplx-garden عبر واجهة HTTP مبسطة.
المتطلبات وبنية النموذج
حجم نقطة التحقق بدقة 4 بت هو 19.4 غيغابايت، لذا فإن الحد الواقعي هو جهاز Mac بمعالج Apple silicon وذاكرة موحدة 32 غيغابايت أو أكثر. ويشترط منتج Hybrid Compute التجاري نظام macOS 15 أو أحدث، و24 غيغابايت كحد أدنى، و32 غيغابايت لأفضل نتيجة.
يحتفظ Qwen3.6-35B-A3B بـ35 مليار معامل وينشّط نحو 3 مليارات لكل رمز. يقيّم الموجّه 256 خبيرًا ويختار ثمانية، إضافة إلى خبير مشترك يرى كل رمز. ويجمع النموذج 10 طبقات انتباه كامل تعتمد الانتباه المجمّع للاستعلامات (16 رأس استعلام ورأسا KV) مع 30 طبقة Gated DeltaNet. وتستخدم الأوزان تكميمًا بـ4 بت لكل مجموعة من 64 وزنًا، ما يضغط نحو 70 غيغابايت من أوزان bfloat16 إلى 19.4 غيغابايت.
القياسات
في اختبارات Perplexity، رفع فكّ التكميم داخل عملية GEMM المجمّعة أداء مرحلة المعالجة الأولية بنسبة 77.4% مع مطالبة بطول 512 رمزًا، وأضاف إبقاء عمليات التوجيه داخل مخزن أوامر GPU واحد نسبة 89%. وتستهلك عمليات GEMM للخبراء نحو 90% من زمن المعالجة الأولية. أما في مرحلة التوليد، فحسّنت حزم GQA الأداء 23.8% عند 32 ألف رمز، وحسّن تصميم انتباه بكتل ثابتة الأداء 40.2% عند 128 ألف رمز.
على جهاز M5 Max بـ40 نواة و128 غيغابايت وبحجم دفعة 1، وبمقارنة مباشرة مع أسرع مسار توليد في MLX-LM عبر عشرة أطوال من 256 إلى 128 ألف رمز، سجّل Lily متوسط 4,156 رمزًا/ث في المعالجة الأولية مقابل 3,388 (1.23 ضعف) و170.0 رمزًا/ث في التوليد مقابل 126.4 (1.35 ضعف). وفي فحص عبر 192 موضعًا، كانت حيرة النموذج (perplexity) أعلى بنسبة 0.04%، مع تطابق الرمز الأعلى ترتيبًا في 96.35% من الحالات.
التفاصيل التقنية والمستودع متاحة في تقرير MarkTechPost.
