GitHub modeli seçmeyi bırakıp iş akışını kuruyor: HydraFusion maliyeti üçte iki düşürdü, kalite başa baş
HydraFusion her istek için hangi modellerin nasıl çalışacağına koşum anında karar veriyor. Üç kıyasta maliyet yüzde 36 ile 67 arasında düştü; kalite birinde 4,9 puan arttı, ikisinde neredeyse değişmedi.
GitHub, Copilot için geliştirdiği Project HydraFusion'ı araştırma önizlemesi olarak açtı. 4 Eylül tarihli yazıda anlatılan fikir, model seçmenin ötesine geçiyor: sistem her istek için hangi modellerin hangi sırayla çalışacağını koşum anında kuruyor.
Üç çalışma biçimi
HydraFusion bir isteği aldığında üç kalıptan birini seçiyor:
- Tekil: tek model işi doğrudan çözer.
- Kademeli: verimli bir model taslağı yazar; bir kalite kapısı taslağı kabul etmeye ya da daha güçlü bir modele yükseltmeye karar verir.
- Eleştirili: bir model taslağı yazar, farklı bir model ailesinden bağımsız bir eleştirmen inceler, taslağı yazan model bir kez düzeltir.
Sistem her istek için beklentiyi karşılayacak en az karmaşık iş akışını seçiyor; ek model çağrısını ancak sonucu iyileştirmesi muhtemelse yapıyor.
Üç kıyas, üç farklı sonuç
GitHub sonuçları Claude Opus 5 ve GPT-5.6 Sol'a karşı ölçtü. Üç kıyasın tamamı:
| Kıyas | Maliyet (Opus 5'e karşı) | Kalite |
|---|---|---|
| TerminalBench 2.1 | %67 düşük | +4,9 puan |
| DeepSWE | %36 düşük | −1,5 puan |
| CheckpointBench | %65 düşük | −0,1 puan |
Yani asıl sonuç "daha iyi" değil, "aynı kalite, belirgin biçimde daha ucuz". GitHub'ın kendi ifadesi de bu yönde: "üç ajanlı kodlama kıyasında HydraFusion, tutarlı biçimde sınır düzeyinde kalite ile birlikte kayda değer tahmini maliyet tasarrufu gösterdi."
CheckpointBench, GitHub'ın gerçek Copilot oturumlarına dayanan iç kıyası. Şirket ayrıca TerminalBench 2.1'in görece doygunluğa ulaştığını, bu yüzden geniş doğrulamanın önemli olduğunu kendi yazısında belirtiyor.
Şirketin kendi koyduğu sınırlar
- Sistem şu an tek istemli, ilk tur kodlama işleri için uygun; çok turlu performans iyileştirmesi sonraya bırakılmış.
- İlerleme görünürlüğü sınırlı: ara taslaklar nihai sonuca kadar gösterilmiyor.
- Yazıda aynen şu uyarı var: "Sonuçlar, modeller, iş akışları, erişilebilirlik, isimler ve ürün davranışı, önizlemeden öğrendiklerimize göre değişebilir."
Nasıl denenir
HydraFusion, GitHub Copilot CLI içinde /experimental komutuyla ve bütün Copilot planlarında kullanılabiliyor. Ücretlendirme, kullandığı modellerin tükettiği token üzerinden ve her modelin kendi standart tarifesiyle işliyor.
Neden önemli
Kurumsal tarafta model seçimi bir süredir sabit bir karar olarak yaşanıyordu: takım bir model seçer, bütün işleri onunla yapar. HydraFusion bu kararı istek başına alıyor ve maliyeti asıl oradan düşürüyor. Basit iş ucuz modelde kalıyor, zor iş pahalı modele yükseliyor, tartışmalı iş ikinci bir model ailesine eleştirtiliyor.
Kurumsal alıcı için okunacak satır şu: kalite tablosunda kazanılan yer değil, maliyet sütunundaki yüzde 36 ile 67 arası düşüş. Ve bunun ölçüldüğü koşul çevrimdışı değerlendirme; canlı depolarda, araç hatalarında ve insan incelemesinde de durup durmayacağı henüz görülmedi.
