600'den fazla dilde açık kaynak ses klonlama: OmniVoice gerçek zamanın 40 katı hızda çalışıyor

Next-gen Kaldi ekibi, OmniVoice adlı metinden sese modelini Apache-2.0 lisansıyla yayımladı. Proje kendini "çok dilli sıfır örnekli seslendirmede en iyi durumdaki model" diye tanıtıyor ve 600'den fazla dil desteği söylüyor. GitHub deposunda yıldız sayısı 10,7 bini, çatal sayısı 1,7 bini geçmiş durumda.

İki yetenek: klonlama ve tasarım

Model iki ayrı iş yapıyor. Birincisi ses klonlama: elinizdeki bir ses örneğinden o sesi çıkarıyor. İkincisi ses tasarımı: örnek vermeden istenen özelliklerde bir ses üretiyor. Sıfır örnekli çalışma da bunun bir parçası; modelin daha önce duymadığı bir dil ya da ses için ayrıca eğitim gerekmiyor.

Hız

Depo, gerçek zaman katsayısı (RTF) için 0,025 rakamını veriyor. Yani bir saniyelik sesi üretmek yaklaşık 0,025 saniye sürüyor, gerçek zamanın kırk katı hız. FlashInfer hızlandırmasıyla bu rakamın 2,6 kata kadar iyileştiği, sekizlik yığında 0,0115 RTF'ye indiği belirtiliyor. Bu ölçümler projenin kendi bildirdiği rakamlar; bağımsız bir sınama yayımlanmadı.

Ekip kim

k2-fsa, konuşma işlemede uzun geçmişi olan Kaldi'nin devamı sayılan Next-gen Kaldi projesini yürütüyor. Aynı depo altındaki sherpa-onnx 14,7 bin yıldıza sahip; konuşmadan metne, metinden sese, konuşmacı ayrıştırma ve ses etkinliği algılamayı internet bağlantısı olmadan çalıştırıyor ve gömülü sistemleri, Android, iOS, HarmonyOS, Raspberry Pi ve çeşitli NPU'ları destekliyor. Yani ortada tek bir modelin ötesinde, cihaz üstünde çalışmaya alışkın bir altyapı var.

Karşılaştırma

2 Eylül'de yazdığımız Inworld TTS-2 200'ü aşkın dilde aynı ses kimliğini koruyor ve ticari bir servis olarak sunuluyordu. OmniVoice farklı bir yerde duruyor: dil sayısı üç kat, lisans Apache-2.0 ve model ağırlıkları indirilebiliyor, yani ses üretimi kendi donanımınızda kalabiliyor. Dil sayısı ile o dillerdeki kalite ayrı şeyler; 600 rakamı desteklenen dil sayısıdır, her dilde eşit kalite anlamına gelmez.

Kaynak: github.com/k2-fsa/OmniVoice.