AMOR: Dinamik Dikkat Geçişiyle Verimli Yapay Zekâ Mimarisi Tanıtıldı
AMOR: Dinamik Dikkat Geçişiyle Verimli Yapay Zekâ Mimarisi Tanıtıldı
AMOR adlı yeni hibrit mimari, uzun vadeli bilgi erişiminde verimliliği artırmak için entropiye dayalı dikkat geçiş mekanizması sunuyor.
Önemli Noktalar
- AMOR, SSM ve dikkat mekanizmasını entropi tabanlı olarak birleştiriyor.
- Yalnızca %22 pozisyonda dikkat uygulayarak tam doğruluk sağladı.
- Yönlendirme kararları bilgi kuramı ile yorumlanabiliyor.
AMOR Nedir?
AMOR (Adaptive Metacognitive Output Router), bilişsel bilimdeki çift süreçli teorilerden ilham alan yeni bir hibrit yapay zekâ mimarisidir. Bu yöntem, State Space Models (SSM) ve dikkat (attention) mekanizmalarını bir araya getirerek, modelin belirsizliğini tahmin entropisiyle ölçüp yalnızca gerektiğinde dikkat katmanını devreye alıyor.
Teknik Detaylar
Standart transformer mimarileri, her pozisyona aynı hesaplama gücünü ayırırken, SSM’ler daha verimli olsa da uzun vadeli bilgiye erişimde sınırlı kalabiliyor. AMOR, SSM’in gizli durumlarından anahtar ve değerleri projekte ederek (Ghost KV), yalnızca modelin kararsız olduğu noktalarda dikkat mekanizmasını etkinleştiriyor. Böylece O(n) karmaşıklıktan faydalanırken, yalnızca gerekli pozisyonlarda O(n2) dikkat uygulanıyor.
Performans Sonuçları
Küçük ölçekli sentetik bilgi erişim görevlerinde, AMOR hem yalnızca SSM hem de yalnızca transformer yaklaşımlarından daha iyi performans gösterdi. Model, pozisyonların yalnızca %22’sinde dikkat kullanarak mükemmel erişim doğruluğu elde etti. Ayrıca, tahmin entropisinin bilgiye erişim ihtiyacını güvenilir şekilde işaret ettiği ve yönlendirme kararlarının bilgi kuramı temelli olarak açıklanabildiği doğrulandı.
Önemi ve Gelecek Perspektifi
2026 yılı içinde yapay zekâ alanında daha verimli ve yorumlanabilir modellerin geliştirilmesi açısından AMOR’un yaklaşımı önemli bir adım olarak görülüyor. Entropi tabanlı dinamik dikkat geçişi, hem hesaplama maliyetini azaltıyor hem de modelin kararlarını daha anlaşılır kılıyor.
Kaynak: arxiv.org