Microsoft'tan VibeVoice-ASR-Streaming: canlı "kim ne dedi" transkripti, 7B açık ağırlık, 10 dil, Türkçe yok

Microsoft Research, konuşmayı ses henüz bitmeden yazıya döken ve her parçayı konuşmacısına bağlayan akışlı bir konuşma tanıma modelini açık ağırlıkla yayımladı: VibeVoice-ASR-Streaming. 1,5B ve 7B iki boyut, MIT lisansı, Hugging Face'te (7B için sitenin sayacı, ses kodlayıcı dahil 9 milyar parametre gösteriyor). Teknik rapor 2 Eylül'de arXiv'e girdi, GitHub duyurusu 3 Eylül'de yapıldı.

Microsoft'un tanımıyla model “kimin ne söylediğini” tek modelde çözüyor; geleneksel sistemlerde ayrı yürütülen tanıma ve konuşmacı ayrıştırma burada birleşik. Ürün ya da kişi adları anahtar kelime olarak verilebiliyor, tanıma buna göre iyileşiyor. 10 dil: Çince, İngilizce, Fransızca, Almanca, İtalyanca, Japonca, Korece, Portekizce, Rusça, İspanyolca. Türkçe yok.

Nasıl çalışıyor

Ses parçalar halinde işleniyor, her parçada bir kez metin üretiliyor. Rapora göre parça 22 kare (2,9 saniye) ya da 15 kare (2,0 saniye), ileri bakış sabit 0,5 saniye; beklenen konuşmacı atfı gecikmesi sırasıyla 2,00 ve 1,53 saniye. NVIDIA GPU şart; anahtar kelimeler --context_info parametresiyle veriliyor. WebSocket'li FastAPI demosu ve dosyadan çıkarım betiği var; Transformers ve vLLM destekleniyor. En uzun kayıt 8 dakika.

Rakamlar

Beş çok konuşmacılı toplantı ölçütünde 7B modelin ortalama WER/CER değeri 24,66, konuşmacı atıflı cpWER/cpCER ortalaması 31,55. Raporun tablosu modeli Gemini 3.5 Transcribe Live (25,23), GPT Realtime Whisper (39,31), GPT Live Transcribe (40,55) ve ElevenLabs Scribe v2 Realtime (41,39) ile karşılaştırıyor; bu Microsoft'un kendi ölçümü, bağımsız test yok. Akışın bedeli de yazılmış: çevrimdışı VibeVoice-ASR'a göre WER/CER 0,75 ile 3,53 puan, konuşmacı atfı 5,13 ile 6,67 puan daha kötü.

Aile zinciri

VibeVoice-TTS geçen yıl Ağustos'ta açıldı. Çevrimdışı VibeVoice-ASR 21 Ocak'ta geldi, 60 dakikalık kaydı tek geçişte işliyor; 23 Temmuz'da GPU'suz çalışan sıkıştırılmış ASR-BitNet sürümü (4,62 GB'tan 1,58 GB'a) çıktı. Akışlı sürüm bu zincirin son halkası.

Kurumsal okur için

Toplantı tutanağı, çağrı merkezi ve sesli komut sistemleri için veri dışarı çıkmadan, konuşmacı ayrımlı canlı transkript artık açık bir modelle mümkün. Türkçe olmadığı için Türkiye'deki kurumlar bugün doğrudan kullanamaz; Türkçe için açık seçenek Whisper ailesi. Microsoft'un uyarısı da geçerli: model “beklenmedik, önyargılı ya da hatalı çıktılar üretebilir”, şirket ek test ve geliştirme olmadan ticari ya da gerçek dünya uygulamalarında kullanılmasını önermiyor.

Kaynaklar

• Model kartı: huggingface.co/microsoft/VibeVoice-ASR-Streaming-7B
• GitHub deposu, 3 Eylül duyurusu: github.com/microsoft/VibeVoice
• Teknik rapor: arXiv 2609.02812, 2 Eylül: arxiv.org/abs/2609.02812