LLM Ajanları İçin Aeon: Yüksek Performanslı Bellek Yönetimi Dönemi
LLM Ajanları İçin Aeon: Yüksek Performanslı Bellek Yönetimi Dönemi
Aeon, büyük dil modellerinin uzun vadeli hafıza yönetiminde yeni bir dönem başlatıyor. Yenilikçi mimarisiyle hızlı ve tutarlı veri erişimi sağlıyor.
Önemli Noktalar
- Aeon, LLM’lerde uzun vadeli hafızayı hiyerarşik ve zamansal olarak yönetiyor.
- Yeni Semantic Lookaside Buffer mekanizması ile <1ms gecikme sağlanıyor.
- Bellek yapısı, özerk ajanlar için kalıcı ve düzenli veri saklamayı mümkün kılıyor.
Aeon Nedir?
Büyük dil modelleri (LLM’ler), bağlam pencereleri büyüdükçe “Lost in the Middle” olarak bilinen, akıl yürütme yeteneklerinin bozulmasına ve yüksek hesaplama maliyetine maruz kalıyor. Mevcut çözümler çoğunlukla vektör veritabanlarına dayalı “Flat RAG” mimarileriyle çalışıyor ve hafızayı yapısız bir veri yığını olarak ele alıyor. Ancak bu yöntem, uzun vadeli etkileşimlerde hiyerarşik ve zamansal ilişkileri kaçırarak, bölük pörçük bilgilerin geri çağrılması sorununu (“Vector Haze”) ortaya çıkarıyor.
Teknik Detaylar
Aeon, hafızayı statik bir depo yerine, işletim sistemi kaynakları gibi yönetilen bir yapı olarak tanımlayan nöro-sembolik bir bilişsel işletim sistemi olarak öne çıkıyor. Sistemin temelinde iki ana bileşen bulunuyor:
- Memory Palace: Atlas ile hızlandırılmış, küçük-dünya graf gezintisi ve B+ Tree benzeri disk erişim yerelliği sağlayan, mekansal olarak düzenlenmiş bir indeks yapısı.
- Trace: Nöro-sembolik epizodik grafik, yani yaşanmış olayların bağlantılı bir şekilde saklanması.
Ayrıca Aeon, konuşmalardaki bağlamsal yakınlığı öngörerek alt-milisaniye (< 1ms) gecikmeyle veri çağırabilen yeni bir önbellekleme mekanizması olan Semantic Lookaside Buffer (SLB)’yi tanıtıyor. Sıfır-kopya C++/Python köprüsü ile durum tutarlılığı korunurken, özerk ajanlar için kalıcı ve yapılandırılmış bellek sağlanıyor.
Geleceğe Etkisi
Aeon’un sunduğu bu yenilikçi bellek yönetimi yaklaşımı, LLM tabanlı özerk ajanların daha uzun süreli, anlam bütünlüğü yüksek diyaloglar kurmasını ve geçmiş deneyimlerden etkili şekilde faydalanmasını mümkün kılıyor. Özellikle yapay zekâ destekli uygulamalarda, daha tutarlı ve hızlı bilgi erişimiyle performansın kayda değer ölçüde artması bekleniyor.
Kaynak
Daha fazla detay için arXiv:2601.15311v1 numaralı çalışmaya göz atabilirsiniz.
Kaynak: arxiv.org