> ## Content Index
> Fetch the complete content index at: https://globalfeed.ai/llms.txt
> Use this file to discover other available public pages before exploring further.

# Cevabı bulan model neden hala düşünüyor: LoCo yöntemi durmayı öğretiyor
- URL: https://globalfeed.ai/cevabi-bulan-model-neden-hala-dusunuyor-loco-yontemi-durmayi-ogretiyor/
- Published: 2026-11-04T14:49:57.000Z
- Updated: 2026-11-04T14:49:57.000Z
- Description: Tencent ve Xi'an Jiaotong Üniversitesi'nin LoCo yöntemi, akıl yürüten modelin cevaptan sonra döndüğü anı kendi düşüncesinden buluyor ve DPO ile o noktada bitirmeyi öğretiyor. Nasıl eğitildiğini ve nasıl denendiğini anlatıyoruz.
- Author: GlobalFeed Editor
- Tags: LoCo, Tencent, akıl yürütme, açık model, DeepSeek, x-yok, dil-tr, elle

Bir yapay zekaya şunu sorduğunuzu düşünün: "3 Temmuz 2030 çarşamba ise 14 Temmuz hangi gün?" DeepSeek'in 7 milyar parametrelik akıl yürüten modeli cevabı birkaç adımda buluyor: pazar. Sonra takvimi gün gün sayıp doğruluyor, bir de 7'ye bölümden kalanla doğruluyor. Ardından bir tarih formülü denemeye kalkıyor, vazgeçiyor, takvimi baştan sayıyor ve yine pazar diyor. Araştırmacıların makalesindeki bu gerçek örnekte, cevap çoktan bulunmuşken model 986 token daha yazıyor; aynı noktadan 212 token yetiyordu. Tencent'in WeChat AI ekibi ile Xi'an Jiaotong Üniversitesi'nden araştırmacıların 3 Kasım'da yayımladığı [LoCo](https://huggingface.co/MuyaoYuan/LoCo-7B?ref=globalfeed.ai) yöntemi, modele tam bu anı tanımayı öğretiyor. Ortaya çıkan LoCo-7B, Hugging Face'te MIT lisansıyla indirilebiliyor.

Yazarların [makalesine](https://arxiv.org/abs/2611.04814?ref=globalfeed.ai) göre sonuç dikkat çekici: Beş matematik testinde modelin cevap uzunluğu yüzde 41,7 ile 45,4 arasında kısalıyor, doğruluk ise korunuyor ya da artıyor. Daha da ilginci, yalnız matematik sorularıyla eğitilen model kod yazarken de yüzde 23,4 ile 36,3 arasında daha kısa düşünüyor ve üç kod testinin üçünde de doğruluğunu koruyor ya da artırıyor. Bu yazıda "fazla düşünme" sorununun ne olduğunu, LoCo'nun bunu nasıl çözdüğünü, modelin adım adım nasıl eğitildiğini ve kendi bilgisayarınızda nasıl deneyebileceğinizi anlatıyoruz.

## Mesele ne: Cevabı bulan model neden susmuyor

DeepSeek-R1, OpenAI o serisi ya da Qwen'in düşünen sürümleri gibi akıl yürüten modeller, cevabı yazmadan önce uzun bir iç konuşma yürütüyor. Bu iç konuşmaya "düşünce zinciri" deniyor: Model varsayım kuruyor, hesap yapıyor, hatasını düzeltiyor, sonucu kontrol ediyor. Zor sorularda bu süreç modelleri çok daha başarılı yapıyor. Fakat her kelime parçası, yani her token, hesaplama gücü, bekleme süresi ve bellek demek. Bir sorunun cevabı 4 bin yerine 15 bin token sürüyorsa, kullanıcı daha uzun bekliyor ve sunucunun faturası kabarıyor.

Araştırmacılar bir süredir modellerin cevaba ulaştıktan sonra da düşünmeye devam ettiğini gösteriyor; literatürde buna "fazla düşünme" (overthinking) deniyor. Sınavda soruyu doğru çözüp aynı işlemi beş farklı yoldan yeniden kontrol eden ve sonunda süreyi bitiren öğrenciyi düşünün. LoCo makalesi önceki çalışmalara dayanarak önemli bir gözlem yapıyor: Model soruyu çözebiliyorsa, sorun yetenekte görülmüyor; asıl mesele modelin ne zaman durmayı seçtiği. Model doğru cevabı erkenden buluyor, ama durmak yerine düşünmeyi sürdürmeye "eğilimli".

Bugüne kadarki çözümler iki yoldan gitti. Birinci yol, aynı sorunun kısa ve uzun doğru çözümlerini yan yana koyup modele kısa olanı sevdirmek; Kimi k1.5'in "Long2Short" aşaması ve O1-Pruner bu yolu kullanıyor. İkinci yol, düşünce metnindeki gereksiz kelimeleri ya da cümleleri budamak; TokenSkip ve TokenSqueeze bu aileden. LoCo üçüncü bir yol öneriyor: Düşüncenin belli bir anında, "buradan devam etmeli miyim, yoksa bitirmeli miyim" kararını öğretmek. Bir şoföre "hep kısa yoldan git" demek yerine, hangi kavşakta dönmesi gerektiğini tek tek göstermeye benziyor.

## LoCo nasıl çalışıyor: üç adım

**Birinci adım, fazla düşünme anını yakalamak.** Araştırmacılar modelin kendi yazdığı düşünce metnini paragraflara, yani adımlara bölüyor. Sonra metni modele geri okutup her token için modelin en güçlü tahminine ne kadar olasılık verdiğini kaydediyor. Bir adımdaki bu olasılıkların ortalaması o adımın "güven" puanı oluyor. İkinci ölçü "dalgalanma": Güvenin bir önceki adıma göre ne kadar sert değiştiği. Bir adımın güveni modelin kendi ölçeğinde en alt yüzde 25'teyse ve dalgalanması en üst yüzde 25'teyse, o nokta aday sayılıyor. İki sinyalin birlikte kullanılmasının nedeni basit: Düşük güven zor bir alt problemden, yüksek dalgalanma da yerinde bir yön değişikliğinden gelebilir. İkisi aynı anda görülünce model hem kararsız hem dengesiz demek. Ölçüm yalnız o ana kadar yazılmış metne bakıyor, yani kesilecek kısmı hiç görmüyor.

Adaylar sonra daha büyük bir hakem modele, Qwen3-30B'ye gidiyor. Hakem soruyu, o ana kadarki düşünceyi ve bir sonraki adımı okuyup üç etiketten birini veriyor: zaten bulunmuş bilgiyi yeniden tartıyorsa "fazla düşünme", gerçekten ilerleme sağlıyorsa "normal", cevabı yazıyorsa "son". Bu ayrım önemli, çünkü modeller düşüncenin sonunda cevabı tekrar edip kutu içine yazıyor; bu tekrar gibi görünse de cevabın okunabilmesi için gerekli. Yalnız hakemin "fazla düşünme" diye onayladığı noktalar kalıyor.

**İkinci adım, aynı noktadan kısa bir son yazdırmak.** Seçilen noktada düşünce donduruluyor ve model aynı yerden sekiz kez yeniden devam ettiriliyor. Doğru cevaba ulaşan devamlar arasından en kısası seçiliyor. Hiçbiri doğru değilse ya da en kısası bile asıl devamdan uzunsa, o nokta atılıyor.

**Üçüncü adım, tercih öğretmek.** Elde aynı başlangıçtan çıkan iki son var: kısa ve doğru olan "tercih edilen", modelin asıl yazdığı uzun devam "reddedilen". Bu çiftler DPO (Doğrudan Tercih Optimizasyonu) ile modele öğretiliyor. DPO'yu bir yazı hocası gibi düşünebilirsiniz: Ayrı bir puanlama sistemi kurmadan, öğrenciye aynı paragrafın iki halini gösterip "bunu ötekine tercih et" diyor. Model zamanla tercih edilen sonu daha olası, reddedileni daha az olası görmeyi öğreniyor. LoCo'yu farklı kılan, karşılaştırmanın bütün çözüm üzerinden yapılmaması: Başlangıç ortak olduğu için model yalnız "bu noktada bitir" kararını öğreniyor, zor sorularda düşünmeye devam etme yeteneğini kaybetmiyor.

## Nasıl eğitildi

Taban model DeepSeek'in [DeepSeek-R1-Distill-Qwen-7B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B?ref=globalfeed.ai) modeli. Eğitim verisi tamamen bu modelin kendi çıktısından üretildi; dışarıdan yazılmış bir cevap kullanılmadı. Soru havuzu, TokenSqueeze çalışmasının yalnız matematik içeren math14k setinden geliyor: 14.027 soru. Her soru için model üç kez çözüm üretti (sıcaklık 0,6, top-p 0,95) ve en kısa doğru çözüm kaynak metin olarak alındı. Böylece her soru en fazla bir düşünce metniyle temsil edildi.

Güven ve dalgalanma eşikleri modelin kendi metinlerinden bir kez hesaplandı. Çok sayıda aday çıkaran metinlerin veriyi domine etmemesi için metin başına en fazla 10 aday nokta tutuldu, hakem olarak Qwen3-30B-A3B-Instruct-2507 kullanıldı. Her onaylı nokta için 8 yeni devam üretildi. Bir çift ancak en az 300 token tasarruf sağlıyorsa saklandı; soru başına en fazla 3 çift kaldı ve en büyük tasarruflu çiftler seçildi. Başlangıç kısmı en fazla 6 bin, devamlar en fazla 12 bin token olabiliyordu.

Eğitimde taban model donduruldu, üzerine bir LoRA adaptörü eklendi. LoRA, modelin tamamını değiştirmek yerine küçük ek katmanları eğiten ucuz bir yöntem. Adaptörün rank değeri 256, ölçek katsayısı 512, bırakma oranı 0,05; yalnız dikkat katmanlarının q, k, v ve o izdüşümlerine eklendi. Eğitim iki tur sürdü: etkin grup boyu 64, öğrenme hızı 0,00001, kosinüs takvimi, yüzde 10 ısınma, AdamW eniyileyici, 0,01 düzenleme katsayısı (weight decay) ve 1,0 gradyan kırpma. DPO'nun sıcaklık katsayısı beta 0,1, karşılaştırma için referans olarak taban modelin kendisi kullanıldı. Eğitim dört Nvidia H20 kartında, en fazla 14.336 tokenlik dizilerle yapıldı. Yayımlanan LoCo-7B, bu adaptörün taban modele birleştirilmiş hali.

## Denenen ve işe yaramayanlar

Makalenin en öğretici kısmı, yazarların yöntemin her parçasını tek tek değiştirip sonucu ölçtüğü deneyler. İlk denemede yerel yapı tamamen kaldırıldı: Aynı sorunun en kısa ve en uzun doğru çözümleri baştan sona eşleştirildi. Doğruluk benzer kaldı, ama kısalma AMC 2023'te yalnız yüzde 5,2, AIME 2024'te yüzde 11,1, AIME 2025'te yüzde 15,8 oldu. LoCo aynı testlerde yüzde 41,7, 45,4 ve 45,2 kısaltıyor. Yazarların vardığı sonuç: Kısa düşünceyi sevdirmek yetmiyor, nerede kısaltılacağını da göstermek gerekiyor.

İkinci denemede kısa devamları modelin kendisi yerine GPT-5.4 yazdı; noktalar ve reddedilen devamlar aynı kaldı. Bu sürüm de kısalttı (AIME 2024'te yüzde 31,8), fakat LoCo'nun gerisinde kaldı. Yazarların açıklaması üslup uyumu: Modelin kendi yazdığı devamlar onun doğal düşünme biçimine daha yakın, bu yüzden daha güçlü bir öğrenme sinyali veriyor. Üçüncü denemede kesme noktaları dedektör yerine rastgele ya da eşit aralıklarla seçildi. Kısalma yine yüzde 40 civarındaydı, ama doğruluk düştü: AIME 2024'te rastgele seçimle yüzde 48,33, eşit aralıkla yüzde 48,75 çıktı; taban model yüzde 50,83'tü. Dedektörün seçtiği noktalar düşüncenin ikinci yarısında yoğunlaşıyor (ortalama göreli konum 0,57), rastgele noktalar ise model daha toparlanmamışken, erken yerlerden kesiyor.

## Ne kadar iyi

Değerlendirmede her soru için sekiz cevap üretildi; tablodaki sayılar ortalama. Taban model DeepSeek-R1-Distill-Qwen-7B:

| Test                | Doğruluk: taban / LoCo | Ortalama token: taban / LoCo | Kısalma    |
| ------------------- | ---------------------- | ---------------------------- | ---------- |
| MATH-500            | yüzde 91,88 / 91,80    | 4.015 / 2.243                | yüzde 44,1 |
| AMC 2023            | yüzde 90,31 / 91,56    | 6.285 / 3.663                | yüzde 41,7 |
| Olympiad            | yüzde 61,33 / 62,78    | 8.972 / 4.968                | yüzde 44,6 |
| AIME 2024           | yüzde 50,83 / 54,17    | 13.493 / 7.364               | yüzde 45,4 |
| AIME 2025           | yüzde 37,92 / 40,42    | 15.134 / 8.291               | yüzde 45,2 |
| MBPP (kod)          | yüzde 84,05 / 84,05    | 3.403 / 2.167                | yüzde 36,3 |
| LiveCodeBench (kod) | yüzde 41,77 / 42,51    | 12.319 / 9.278               | yüzde 24,7 |
| CodeContests (kod)  | yüzde 18,48 / 20,61    | 14.900 / 11.413              | yüzde 23,4 |

Karşılaştırılan diğer yöntemlerden TokenSqueeze de güçlü bir sıkıştırma yapıyor, ancak sorular zorlaştıkça doğruluk kaybediyor: AIME 2024'te 10.457 tokenle yüzde 48,75'te kalıyor. DAST ise zor testlerde cevabı uzatabiliyor. LoCo en zor üç matematik testinde hem en yüksek doğruluğu hem en yüksek verim eğrisini (farklı token bütçelerindeki doğruluğun alanı) veriyor. Bir not: AIME testleri 30 sorudan oluştuğu için sonuçlar artı eksi 4 ile 6 puan arasında oynuyor, küçük farklar bu oynaklığın içinde kalıyor.

## Nasıl denenir

LoCo-7B, taban modeliyle aynı mimaride, yaklaşık 7,6 milyar parametrelik bir model. bfloat16 hassasiyetinde kabaca 15 GB ekran kartı belleği istiyor; 24 GB'lık bir kartta rahat çalışır. Model kartındaki örnek vLLM ile:

```
pip install vllm

from vllm import LLM, SamplingParams

model = LLM(model="MuyaoYuan/LoCo-7B", max_model_len=36864, dtype="bfloat16")
tok = model.get_tokenizer()
prompt = tok.apply_chat_template(
    [{"role": "user", "content": "Soru buraya. Please reason step by step, and put your final answer within \\boxed{}."}],
    tokenize=False, add_generation_prompt=True)
cikti = model.generate([prompt], SamplingParams(temperature=0.6, top_p=0.95, max_tokens=32768))
print(cikti[0].outputs[0].text)
```

Önerilen ayarlar sıcaklık 0,6 ve top-p 0,95; matematik sorularında cevabın kutu içinde verilmesi için yukarıdaki İngilizce cümlenin soruya eklenmesi gerekiyor. Kendi modelinize aynı tarifi uygulamak isterseniz [GitHub deposu](https://github.com/MuyaoYuan/LoCo?ref=globalfeed.ai) veri üretiminden eğitime ve ölçüme kadar bütün kodu içeriyor: altı betikle sırasıyla çözüm üretme, en kısa doğruyu seçme, fazla düşünme noktalarını bulma, hakemle kontrol, yeniden üretme ve DPO çiftlerini kurma. Hakem için Qwen3-30B-A3B, eğitim için dört kartlık DeepSpeed düzeni öneriliyor. Model ve kod MIT lisanslı; ticari kullanım dahil indirmek, değiştirmek ve dağıtmak serbest.

LoCo'nun güzel yanı, dışarıdan hiçbir öğretmen modele ya da insan etiketine dayanmadan, modelin kendi düşünce metinlerinden ders çıkarması. Aynı fikir daha büyük akıl yürüten modellere uygulanırsa, bekleme süresi ve hesaplama maliyeti ciddi biçimde düşebilir. Akıl yürütmenin nerede yön değiştirdiğini inceleyen bir başka çalışmayı, [Goodfire'ın çatal kelimeler araştırmasını](https://globalfeed.ai/goodfire-bir-akil-yurutmenin-nerede-bitecegini-birkac-catal-kelime-belirliyor/) da daha önce anlatmıştık. Bütün sonuçlar yazarların kendi ölçümü; bağımsız bir değerlendirme henüz yayımlanmadı.

Kaynaklar: [LoCo-7B model kartı](https://huggingface.co/MuyaoYuan/LoCo-7B?ref=globalfeed.ai), [Makale (arXiv 2611.04814)](https://arxiv.org/abs/2611.04814?ref=globalfeed.ai), [GitHub deposu](https://github.com/MuyaoYuan/LoCo?ref=globalfeed.ai), [Taban model](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B?ref=globalfeed.ai)