Microsoft تطلق VibeVoice-ASR-Streaming: تفريغ حي لـ«من قال ماذا»، أوزان مفتوحة بحجم 7B، 10 لغات من دون التركية
أطلقت Microsoft Research نموذجاً للتعرف على الكلام بالبث المباشر برخصة MIT، يفرّغ الكلام بينما الصوت ما زال يصل ويربط كل مقطع بالمتحدث الذي قاله. يأتي بحجمين 1.5B و7B مع دعم كلمات مفتاحية مخصصة و10 لغات، والتركية ليست بينها. وبحسب أرقام التقرير نفسه، يبلغ تأخر نسب الكلام إلى المتحدث نحو ثانيتين.
أطلقت Microsoft Research نموذج VibeVoice-ASR-Streaming مفتوح الأوزان للتعرف على الكلام بالبث المباشر: يفرّغ الكلام قبل انتهاء الصوت ويربط كل مقطع بمتحدثه. يتوفر بحجمين 1.5B و7B على Hugging Face برخصة MIT (عداد الموقع يُظهر لنسخة 7B تسعة مليارات معلمة، بما فيها مرمّز الصوت). نُشر التقرير التقني على arXiv في 2 أيلول، وإعلان GitHub في 3 أيلول.
بحسب Microsoft، يحل النموذج مسألة «من قال ماذا» في نموذج واحد؛ فالتعرف على الكلام وتمييز المتحدثين، المنفصلان في الأنظمة التقليدية، موحّدان هنا. ويمكن تمرير أسماء منتجات أو أشخاص ككلمات مفتاحية لتحسين التعرف. اللغات المدعومة عشر: الصينية والإنجليزية والفرنسية والألمانية والإيطالية واليابانية والكورية والبرتغالية والروسية والإسبانية. التركية ليست بينها.
كيف يعمل
يُعالَج الصوت مقاطع، ويُصدر النص مرة في كل مقطع. وبحسب التقرير، المقطع 22 إطاراً (2.9 ثانية) أو 15 إطاراً (2.0 ثانية) مع نظرة أمامية ثابتة 0.5 ثانية؛ والتأخر المتوقع في نسب الكلام إلى المتحدث 2.00 و1.53 ثانية. يتطلب التشغيل NVIDIA GPU، وتُمرَّر الكلمات المفتاحية عبر --context_info. يتوفر عرض FastAPI عبر WebSocket وسكربت استدلال من ملف، مع دعم Transformers وvLLM. وأطول تسجيل مدعوم 8 دقائق.
الأرقام
على خمسة معايير اجتماعات متعددة المتحدثين، يسجل نموذج 7B متوسط WER/CER 24.66 ومتوسط cpWER/cpCER المنسوب إلى المتحدث 31.55. ويقارنه جدول التقرير بـ Gemini 3.5 Transcribe Live (25.23) وGPT Realtime Whisper (39.31) وGPT Live Transcribe (40.55) وElevenLabs Scribe v2 Realtime (41.39)؛ وهي قياسات Microsoft نفسها بلا اختبار مستقل. ويذكر التقرير ثمن البث: مقارنة بـ VibeVoice-ASR غير المتصل، يسوء WER/CER بمقدار 0.75 إلى 3.53 نقطة، ونسب الكلام إلى المتحدث 5.13 إلى 6.67 نقطة.
سلسلة العائلة
فُتح مصدر VibeVoice-TTS في آب من العام الماضي. ووصل VibeVoice-ASR غير المتصل في 21 كانون الثاني، معالجاً تسجيل 60 دقيقة في تمريرة واحدة؛ وفي 23 تموز جاءت نسخة ASR-BitNet المضغوطة العاملة من دون GPU (من 4.62 GB إلى 1.58 GB). والنسخة المتدفقة آخر حلقة في السلسلة.
للقارئ المؤسسي
صار نص حي مفصول بحسب المتحدث لمحاضر الاجتماعات ومراكز الاتصال وأنظمة الأوامر الصوتية، داخل المؤسسة ومن دون خروج البيانات، ممكناً بنموذج مفتوح. لكن غياب التركية يعني أن مؤسسات تركيا لا تستطيع استخدامه مباشرة اليوم؛ والخيار المفتوح للتركية يبقى عائلة Whisper. وينطبق تحذير Microsoft: قد ينتج النموذج «مخرجات غير متوقعة أو متحيزة أو غير دقيقة»، والشركة لا توصي باستخدامه تجارياً أو في تطبيقات واقعية من دون اختبار وتطوير إضافيين.
المصادر
- بطاقة النموذج: huggingface.co/microsoft/VibeVoice-ASR-Streaming-7B
- مستودع GitHub، إعلان 3 أيلول: github.com/microsoft/VibeVoice
- التقرير التقني: arXiv 2609.02812، 2 أيلول: arxiv.org/abs/2609.02812
