> ## Content Index
> Fetch the complete content index at: https://globalfeed.ai/llms.txt
> Use this file to discover other available public pages before exploring further.

# Real-SWE, yapay zeka modellerini şirketlerin kapalı kod tabanlarında sınıyor
- URL: https://globalfeed.ai/real-swe-yapay-zeka-modellerini-sirketlerin-kapali-kod-tabanlarinda-siniyor/
- Published: 2026-09-13T12:55:31.000Z
- Updated: 2026-09-13T12:55:31.000Z
- Description: Yeni kıyaslama Real-SWE, görevlerini lisanslanmış özel üretim kod tabanlarından alıyor ve modelleri kendi ajan altyapılarıyla birlikte değerlendiriyor.
- Author: GlobalFeed Editor
- Tags: Real-SWE, kıyaslama, kod ajanları, x-withspecific, dil-tr, video

Specific, [Real-SWE](https://withspecific.com/benchmarks/real-swe?ref=globalfeed.ai) adlı yeni bir kıyaslama yayınladı. Kıyaslamadaki görevlerin tamamı, şirketten lisans alınarak elde edilmiş kapalı üretim kod tabanlarından geliyor; yani mühendislerin gerçekten üzerinde çalıştığı işler.

Ekibin anlatımına göre uzman eliyle hazırlanan veya sentetik görevler iyi tasarlanmış olabilir, ama gerçek şirketlerdeki işin birebir kendisi değil. Real-SWE görevleri iki eksende ayrışıyor: altta yatan kod artefaktı ve yönergenin ne kadar açık yazıldığı.

## Görevler nasıl kurgulanıyor

Prompt'lar yapılması gereken değişikliği tarif ediyor, uygulama ayrıntılarını ajanın kod tabanında ve çevresindeki araçlarda keşfetmesi bekleniyor. Doğrulayıcının aradığı her davranışın ya yazılı olması ya da makul biçimde bulunabilir olması şart. Specific, prompt'larının bu yüzden bir miktar eksik tanımlı kaldığını, bu düzeyin DeepSWE ve Terminal Bench ile yaklaşık aynı olduğunu söylüyor.

Örnek görevlerden biri fatura vergilendirmesinin düzeltilmesi: platformdaki her işletmenin vergisini farklı şekilde hesapladığı, kimisinin kendi oranını tuttuğu, kimisinin alıcının adresine göre vergi otoritesi sağlayıcısından fiyat istediği, muafiyet kaydı olan müşterinin ise hiç vergilendirilmediği bir senaryo. Tek bir değişiklik uygulamanın birden çok parçasına yayılıyor.

## Kurulum ve ilk bulgular

Her ajan izole bir sandbox'ta çalıştırılıyor. Görevler Harbor formatında; doğrulayıcılar puanlama anında enjekte ediliyor ve kod tabanındaki mevcut test paketlerinden esinleniyor ya da doğrudan onları kullanıyor. Specific, modelleri tek başına değil, model ve harness kombinasyonu olarak ölçtüklerini, bunun için native harness kullandıklarını belirtiyor.

Paylaşılan bir ölçüme göre 10 dakikanın altındaki koşuların %71,4'ü başarısız olurken, daha uzun koşularda bu oran %73,4\. Başarısızlıklar, DeepSWE'nin yaklaşımı izlenerek gözlenen gönderim davranışına göre sınıflandırılıyor; yüzdeler her modelin başarısız koşuları üzerinden hesaplanıyor.

Örnek görev setine erişim talep üzerine veriliyor.