Hugging Face tarayıcıda yerel yapay zeka için 207 WebGPU kernel'i yayımladı

Hugging Face'in WebAI ekibi, tarayıcı içi çıkarımı hızlandırmayı hedefleyen çalışmasının ilk katmanını açtı: @huggingface/kernels. Kütüphane, Hugging Face Hub üzerinden optimize edilmiş WebGPU kernel'lerini yükleyip çalıştırmak için tasarlanmış minimal bir arayüz sunuyor. Yanında 207 kernel'lik bir başlangıç koleksiyonu huggingface.co/webgpu-kernels adresinde yayında.

Koleksiyon, farklı makine öğrenmesi mimarilerinde kullanılan işlemleri kapsıyor: matris çarpımları, normalizasyonlar, konvolüsyonlar, attention ilkelleri, niceleme işlemleri ve veri düzeni dönüşümleri. Her kernel eksiksiz ve sürümlenmiş bir paket olarak yayımlanıyor; arayüzü, shader şablonları, doğruluk testleri, benchmark senaryoları ve kullanım talimatları aynı depoda duruyor.

Kernel kartları ve sürümlenmiş sözleşme

Her kernel'in kendi deposu ve kernel kartı var. Kart, işlemin semantiğini, girdi ve çıktılarını, niteliklerini, desteklenen veri tiplerini, kaynak dosyalarını ve çalıştırmaya hazır bir örneği belgeliyor. Örnek olarak verilen ai.onnx.Add, çok yönlü yayınlamayla (broadcasting) elemanlar arası toplama yapıyor ve eşit şekiller, vektörleştirilmiş yayınlama, skaler işleme ve genel yayınlama için ayrı varyantlar içeriyor. Çalışma zamanı, uygulamaya bakan API değişmeden cihaza uygun varyantı seçebiliyor.

Kullanım tarafında getKernel çağrısına bir Hub depo kimliği ve sözleşme sürümü veriliyor; dönen fonksiyon tipli girdi verisi ve tensör şekilleriyle çalıştırılıyor. Çıktı şekli ve mantıksal veri tipi manifest sözleşmesinden türetiliyor. version: 1 seçeneği yayımlanan kernel sözleşmesinin sürümünü belirtiyor ve ONNX opset'inden ya da model revizyonundan bağımsız tutuluyor.

Fleet ile tarayıcıda ölçüm

Hugging Face ayrıca Fleet adlı tarayıcı içi GPU benchmark ve test paketini duyurdu; kernel'leri kullanıcının donanımında çalıştırıp puanlıyor. Kullanıcı onay verirse her koşum, hatalı sonuçların ve aşırı yavaş durumların tespitine katkı sağlıyor.

Karşılaştırma tarafında ekip, koleksiyonu Apple M4 GPU üzerinde ONNX Runtime Web 1.30.0-dev.20260826-b1f76d586a ile karşı karşıya getirdi. 207 işlem için 1.756 test senaryosuyla başlanıp iki tarafın da eşleşen çıktı ve güvenilir zamanlama ürettiği 809 senaryo tutuldu. Kernel'leri çalıştırmak WebGPU destekli bir tarayıcı gerektiriyor; destek JavaScript'te "gpu" in navigator ile kontrol edilebiliyor.

Ayrıntılar ve karşılaştırma sonuçları için Hugging Face duyurusu.