GitHub Copilot'ta token tasarrufu: satır numaralarını kaldırmak maliyeti yüzde 3 düşürdü

GitHub, Copilot'un ajan altyapısında maliyeti düşürmek için denediği değişiklikleri ve bunların sonuçlarını yayımladı. Şirketin temel tezi şu: tek bir araç çağrısında harcanan token sayısı verimlilik ölçüsü değil. Kısa bir araç yanıtı, modelin ihtiyaç duyduğu bilgiyi dışarıda bırakırsa ajan ek çağrılar yapıyor ve görev hem yavaşlıyor hem pahalılaşıyor.

Bunun somut örneği RTK (Rust Token Killer) denemesi. Kabuk çıktısını model okumadan önce kısaltan bu araç, GitHub'ın kendi ajan test düzeneğinde bazı yanıtları kısaltmayı başardı. Ancak atlanan metin önemli olduğunda model orijinal çıktıyı yeniden açtı ya da komutu tekrar çalıştırdı. GitHub'a göre bu kurtarma adımları tur sayısını artırdı; araç yanıtı kısaldı ama görev ortalamada daha çok token harcadı ve daha uzun sürdü. Şirket bu sonucun test edilen entegrasyon ve iş yüklerine ait olduğunu, genel olarak çıktı sıkıştırmayı kapsamadığını belirtiyor.

Seçici sıkıştırma ve kaldırılan satır numaraları

Karşılaştırma çalışmaları, kurulum, derleme, test ve lint çıktılarının çoğunlukla tekrarlı gürültü içerdiğini gösterince GitHub seçici bir sıkıştırıcı geliştirdi. İlk sürümler fazla agresifti; örneğin git diff sıkıştırıldığında ajanlar orijinali yeniden açtı ve bu filtre kaldırıldı. Yayınlanan sürümde ajan, sıkıştırılan çıktının tamamına doğrudan bir kurtarma yolundan erişebiliyor. Çevrimdışı testlerde görev başarısında istatistiksel olarak anlamlı bir gerileme görülmedi, çevrimiçi deneyde ortalama maliyet hafif düştü.

En net kazanç ise dosya okuma aracından geldi. View aracı her satırın başına satır numarası ekliyordu; güncel düzenleme araçları bu numaraları kullanmadığı için biçimlendirme boşa gidiyordu. Numaralar kaldırılınca çevrimdışı ajan testlerinde model çıkarım maliyeti yaklaşık yüzde 5 azaldı. Copilot CLI kullanıcılarıyla yapılan çevrimiçi deneyde kullanıcı başına günlük ortalama çıkarım maliyeti yaklaşık yüzde 3 düştü, izlenen kalite ve memnuniyet ölçütlerinde kayda değer gerileme görülmedi.

Örnekler Copilot CLI'dan geliyor; GitHub uygulaması ve Copilot kod incelemesi gibi ürünler aynı altyapıyı kullandığı için değişikliklerden onlar da yararlanıyor. Ayrıntılar GitHub Blog'daki yazıda.