Tencent'in açık ses modeli AuK, ayrı ayrı kullanılan araçları tek arayüze topladı
AuK; seslendirme, ses temizleme, müzik ayırma, duygu ve tını değiştirme gibi işleri tek bir modelde ve düz cümleyle veriler talimatla yapıyor. 1,5 milyar parametre, MIT lisansı, ağırlıklar yayında.
Tencent'in Hunyuan ekibi AuK adlı konuşma modelini açık kaynak olarak yayımladı. Ağırlıklar Hugging Face ve ModelScope'ta, çıkarım kodu GitHub'da, lisans MIT. Yani ticari kullanım, değiştirme ve yeniden dağıtım serbest.
Modelin boyutu 1,5 milyar parametre. Bugünün ölçülerinde küçük sayılır ve haber değeri de biraz burada: yaptığı işlerin listesi boyutuyla ters orantılı.
Bir model, altı ayrı iş
Ses üzerinde çalışan biri bugüne kadar her iş için ayrı bir araç kuruyordu: metinden konuşma için biri, gürültü temizlemek için biri, şarkıdan vokal ayırmak için bir başkası, ses değiştirmek için bir dördüncüsü. AuK bunları tek bir talimat arayüzünün arkasına alıyor. Modele düz cümleyle ne istediğinizi söylüyorsunuz, isterseniz yanına örnek bir ses veriyorsunuz, düzenlenmiş ya da üretilmiş sesi alıyorsunuz.
Depodaki liste beş başlık altında toplanmış:
- Üretim: sıfır atışlı metinden konuşma ve talimatla yönlendirilen konuşma
- İçerik düzenleme: söylenen sözü değiştirme, şarkı sözü düzenleme
- Akustik düzenleme: perde, hız ve ses düzeyi
- Dil ötesi düzenleme: duygu, tını, aksan giderme, sözsüz sesler, fısıltıya çevirme
- İyileştirme ve ayırma: gürültü ve yankı temizleme, konuşmacı ve müzik ayırma
Mimari tarafında çok kipli bir dil modeli talimatı ve varsa örnek sesi birlikte okuyor, 50 Hz'lik bir VAE akustik gizil değişkenleri veriyor, melez bir dönüştürücü ikisini akış eşleme hedefiyle birleştiriyor.
Hızlandırılmış sürüm ayrıca yayımlandı
AuK'un yanında AuK-Flash var: damıtılmış bir sürüm, çıkarımı dört adımda ve sınıflandırıcısız yönlendirme kullanmadan yapıyor. Ekibin ölçümüne göre aynı koşullarda tam modele kıyasla yaklaşık 4,5 kat hızlı. Damıtma iki aşamalı: önce yörünge düzeyinde tutarlılık ile birkaç adımlık bir öğrenci çıkarılıyor, sonra göreve göre yönlendirilen bir hedefle eğitiliyor; ayırma işi ayrıca temiz tahmin bağlanımıyla denetleniyor.
Nerede durmak lazım
Duyuruda ve depoda hangi dilleri desteklediği yazmıyor. Konuşma modellerinde bu tali bir ayrıntı değil: İngilizce ve Çince'de iyi çalışan bir model Türkçe'de dağılabiliyor. Kullanmayı düşünen kendi dilinde denemeden karar vermemeli.
Ekran kartı gereksinimi de belirtilmemiş. Buna karşılık ComfyUI entegrasyonu için bir sınır açıkça yazılmış: kaynak ve hedef toplamı 30 saniye. Yani uzun kayıtlar parçalanarak işlenecek.
Yine de tabloyu değiştiren şey lisans ve boyut. 1,5 milyar parametrelik, MIT lisanslı ve ağırlıkları elinizde olan bir model, bu işleri bugüne kadar abonelikle satan servislerin çoğunun yaptığını yerelde ve veriyi dışarı çıkarmadan yapabilir hale getiriyor. Teknik rapor arXiv'de yayımlandı.
