Google, çok değişkenli zaman serisi tahmini için TimesFM-3'ü yayımladı

Google Research, 330 milyon parametreli zaman serisi temel modeli TimesFM-3'ü yayımladı. Model, birbiriyle ilişkili birden fazla seriyi tek bir ileri geçişte tahmin ediyor. 2.5 dahil önceki bütün TimesFM sürümleri tek değişkenliydi: tek bir seri, yalnızca kendi geçmişi.

TimesFM-3 doğrudan çok değişkenli tahmin için, 1 trilyondan fazla zaman noktası üzerinde önceden eğitildi. Göreve özel ince ayar olmadan birden fazla hedef, geçmiş kovaryatlar ve geçmiş-gelecek kovaryatları kabul ediyor. Google'ın verdiği örnek dondurma satışları: ilgili ürün satışları, yaya trafiği, hava durumu, promosyonlar ve tatiller hedefi birlikte etkiliyor.

Mimari

Omurga yine yalnızca kod çözücülü transformer. Ardışık noktalar 32 adımlık yamalara bölünüyor ve seri bazında normalize ediliyor, böylece çok farklı ölçekler baskın hale gelmiyor. Geçmiş-gelecek kovaryat token'ları bir ileriye bakış yöntemi kullanıyor: mevcut yama gelecekteki yamalarla birleştiriliyor, model planlanmış olayları gerçekleşmeden görüyor. Token'lar iki boyutlu bir ızgaraya girip dönüşümlü iki dikkat mekanizmasından geçiyor.

Önceki sürümler her seferinde tek yama çözüyordu; bu gecikme, hesaplama maliyeti ve biriken hata getiriyordu. TimesFM-3, TiRex ile tanıtılan Contiguous Patch Masking eğitim stratejisini kullanıyor. Tüm ufuk boyunca maskeli yer tutucu token'lar ekleniyor, geçmiş-gelecek kovaryatları görünür kalıyor ve dönüşümlü dikkat katmanları maskelenmiş yamaları eşzamanlı dolduruyor. Her hedef, her ufuk adımında 10. ile 90. yüzdelik arası 9 kuantil alıyor.

Sonuçlar ve lisans

Google, modeli GIFT-Eval, fev-bench ve TIME liderlik tablosunda Chronos-2, Toto 2.0 ailesi ve TimesFM-2.5 ile karşılaştırdı. Şirkete göre TimesFM-3, önceden eğitilmiş temel modeller arasında üçünde de hem nokta hem olasılıksal metriklerde en iyi ortalama sırayı alıyor: fev-bench'te 100 gerçek dünya görevinde 1. sıra, TIME'da 50 alan veri kümesi ve 98 değerlendirme görevinde 1. sıra, GIFT-Eval'de temel modeller arasında 1. sıra.

Depo kodunun bir kısmı Apache-2.0 lisanslı, ancak TimesFM 3.0 ağırlıkları timesfm-non-commercial-license-v1.0 ile geliyor ve ticari olmayan, üretim dışı kullanımla sınırlı. Model bugün karşılaştırmalı test edilebiliyor, üretimdeki bir tahmin API'sinin arkasına konulamıyor.

Ayrıntılar için MarkTechPost'un haberine bakabilirsiniz.