Nous Research'ün Hermes Desktop'ı yerel modeli tek tıkla kuruyor: donanımı okuyor, derlemeyi seçiyor, llama.cpp'yi paketle getiriyor
Nous Research'ün açık kaynaklı ajan uygulaması Hermes Desktop, yerel model kurulumunu tek tıka düşürdü. Uygulama makinenin donanımını okuyor, katalogdaki modelleri o makineye göre değerlendiriyor, uygun olanı indirip llama.cpp çalışma zamanını kendisi kuruyor. Özellik ilk açılışta kendiliğinden sunu
Nous Research'ün açık kaynaklı ajan çerçevesi Hermes Agent'ın Mac, Windows ve Linux uygulaması Hermes Desktop, yerel model kurulumunu tek tıka düşürdü. Şirketin 3 Eylül'de resmi X hesabından yaptığı duyuruya göre uygulama donanımı kendiliğinden okuyor, makineye en uygun modeli seçiyor, indiriyor ve çalışma zamanını yapılandırıyor. Kurulum ekranı ilk açılışta kendiliğinden sunuluyor; sonradan Ayarlar altındaki Sağlayıcılar bölümünden de açılıyor. Yerel model burada Nous Portal, OpenRouter, OpenAI ve kendi uç noktasının yanına bir sağlayıcı seçeneği olarak ekleniyor.
Modeli nasıl seçiyor
Yerel modeller belgesine göre katalogdaki her model indirilmeden önce makineye göre değerlendiriliyor ve renkle işaretleniyor: yeşil tamamen GPU belleğinde çalışır, sarı sistem RAM'ine taşar ve yavaşlar, kırmızı sığmaz. Her model için indirme boyutu, başlangıç ve en yüksek bağlam penceresi gösteriliyor.
Seçim kuralı belgede şöyle: Hermes, GPU'da tamamen çalışan en yüksek kaliteli derlemeyi seçiyor; belleği az makineler aynı modelin daha küçük derlemesini alıyor. Alt sınır 4 bit nicemleme; Nous Research kalite kaybını çok saydığı için altına inmiyor.
Çalışma zamanı ve bağlam
Donanıma uygun bir llama.cpp derlemesi, birkaç yüz megabayt, paketle geliyor; CUDA, Metal, Vulkan, HIP ve CPU arka uçları var. Sürüm config.yaml içindeki local_runtime bloğunda sabitleniyor, güncellemeleri uygulama kendisi doğruluyor.
Önerilen modeller en az 64K bağlam güvencesiyle geliyor. Bağlam GPU'ya sığan boyutta başlıyor, konuşma büyüdükçe modelin doğal en yüksek değerine doğru genişliyor. Taşma olursa önce uzman ağırlıkları RAM'e taşınıyor; dikkat önbelleği hiç taşınmıyor. Konuşma sıkıştırma yalnız en yüksek pencereye ulaşınca devreye giriyor. Boşta kalan model 15 dakika sonra bellekten kaldırılıyor.
Platform ve lisans
Uygulama macOS 12 ve üstü, Windows 10 ve 11 ve Linux dağıtımlarında çalışıyor. MIT lisanslı, ücretsiz, açık kaynak; yerel model için hesap gerekmiyor.
Kurumsal okur için
Veriyi dışarı çıkarmadan kurum içinde ajan çalıştırmanın kurulum tarafı kolaylaşıyor: hangi model, hangi nicemleme, ne kadar bağlam sorularını uygulama üstleniyor. İki sınır var. "En iyi model" seçimi Nous Research'ün kataloğuna ve ölçütüne bağlı; kurum kendi doğrulamasını yapmalı. Belge, katalogdaki modelleri de listelemiyor.
Kaynaklar
- Duyuru: Nous Research, X, 3 Eylül: x.com/NousResearch/status/2095602995874410664
- Belge: Yerel Modeller: hermes-agent.nousresearch.com/docs/user-guide/local-models
- İndirme: hermes-agent.nousresearch.com/desktop
- Kaynak kod: github.com/NousResearch/hermes-agent
