Yapay zeka ajanlarının enerji tüketimi sorgu hesabını aşıyor: OpenAI örneği

Wired'ın veri merkezleri odaklı köşe yazısı Power Play, yapay zeka şirketlerinin neden bu kadar büyük enerji altyapısı kurduğunu ajanlarla açıklıyor. Basit sohbet botu sorguları artık tabloyu anlatmıyor: ajanlar, kullanıcının tek bir isteğinden yola çıkıp kendilerine yüzlerce küçük komut veren, otonom karar alan büyük dil modeli (LLM) sistemleri.

Wired yazarı Maxwell Zeff'in verdiği örnekte, bir ajandan web sitesi yapması istendiğinde sistem saatlerce çalışabiliyor; sayfaları, menüleri ve veri kümelerini üretmek için kendini onlarca kez yeniden tetikliyor.

Ölçüm yok, tahmin var

OpenAI kısa süre önce 10.000'den fazla ajanın 2,7 milyon mesaj alışverişiyle uzun süredir çözülemeyen bir matematik problemini çözdüğünü duyurdu; matematikçiler bu iddiaya itiraz etti. Zeff'e göre bu işlem gücü muhtemelen on milyonlarca dolarlık enerjiye denk geliyor, ancak kesin rakamı söylemek zor.

Şirketler çevresel verileri paylaşmakta isteksiz. OpenAI CEO'su Sam Altman bir podcast söyleşisinde, tek bir badem yetiştirmek için gereken suyun 38.000 ChatGPT sorgusuna karşılık geldiğini söyledi; bu hesap da tartışmaya açıldı.

Sustainable AI'nin kurucu ortağı ve CEO'su Boris Gamazaychikov, otomobil kullanımı veya Netflix izleme gibi alanlarda tüketimin kullanıcı sayısıyla sınırlı olduğunu, ajanlarda ise talebin kullanıcıdan koptuğunu söylüyor.

İki buzdolabı

İklim bilimci Zeke Hausfather geçen ay yayımladığı yazıda kendi kullanımını hesapladı: ağırlıklı olarak ajanlara dayanan ortalama günlük Claude oturumunun iki buzdolabını çalıştırmak için gereken enerjiden fazlasını tüketebileceğini yazdı. Gamazaychikov hesabın eskimiş verilere dayandığını belirtti; grubu ay içinde kapalı modellerde çalışan ajanlar için daha kesin sayılar yayımlayacak.

Meta ise geçen hafta Muse adlı kişisel ajanı duyurdu. Şirket, her kullanıcı için bulutta kendine ait bir bilgisayar tutulacağını ve sistemin kullanıcı çevrimdışıyken de çalışacağını açıkladı; Muse'un yıl içinde yapay zeka gözlüklerine entegre edilmesi planlanıyor.

Ayrıntılar için Wired'ın yazısı.