Qwen-Image 2.1'e tek dosyada sekiz kontrol: ControlNet Union yayımlandı

Alibaba'nın PAI ekibi, Qwen'in görsel üretim modeli Qwen-Image 2.1 için ControlNet Union'ı Hugging Face'te yayımladı. ControlNet, yazıyla görsel üretirken sonucun yapısını bir referans görüntüyle yönlendirmeye yarayan bir ek. Örneğin bir poz iskeleti verildiğinde model, yazılan tarife uygun kişiyi tam o pozda çiziyor.

Ne getiriyor

Şimdiye kadar her yönlendirme türü için genellikle ayrı bir ControlNet dosyası gerekiyordu. Model kartına göre ControlNet Union, sekiz farklı yönlendirmeyi tek bir dosyada topluyor:

• Kenar ve çizgi: Canny, HED, Lineart ve MLSD kenar ve çizgi haritaları
• Derinlik: Tek bir fotoğraftan çıkarılan derinlik haritası
• Poz: İnsan iskeleti (DWPose)
• Karalama: Elle çizilmiş kaba taslaklar
• Gri tonlama: Siyah beyaz görüntünün yapısı

Aynı dosya, fotoğrafın maskelenen bir bölümünü yazıya göre yeniden çizmeyi de (inpainting) yapabiliyor. İkisi birlikte de kullanılabiliyor: Örneğin fotoğrafın bir bölümü yeniden çizilirken yeni çizilen kişi verilen poza uyuyor. Model kartına göre yöntem, üretimi daha hızlı hale getirmek için adım başına tek geçişle çalışıyor.

Nasıl kullanılır

ControlNet Union tek başına çalışmıyor. Yaklaşık 7 GB'lık dosya, temel Qwen-Image 2.1 modelinin üstüne yükleniyor. Kullanım talimatları ve örnek kodlar PAI ekibinin VideoX-Fun deposunda yer alıyor. Hugging Face'te tarayıcıdan denenebilen bir demo da var.

Tek dosyada toplanması, farklı yönlendirmeler arasında geçiş yapan tasarım ve ürün görseli işlerini kolaylaştırıyor. Ancak ControlNet Union, Qwen'in araştırma lisansıyla yayımlandı. Lisansa göre yalnız araştırma ve değerlendirme amaçlı kullanılabiliyor, ticari kullanım için Qwen'den ayrı bir lisans almak gerekiyor.

Kaynaklar: Hugging Face: Qwen-Image-2.1-Fun-Controlnet-Union model kartı, GitHub: VideoX-Fun, Qwen Research lisansı.