PAACE: Büyük Dil Modelleri İçin Plan Odaklı Otomatik Bağlam Mühendisliği Çerçevesi Tanıtıldı
PAACE: Büyük Dil Modelleri İçin Plan Odaklı Otomatik Bağlam Mühendisliği Çerçevesi Tanıtıldı
PAACE, LLM ajanlarının çok adımlı süreçlerde bağlam yönetimini optimize eden yeni bir çerçeve olarak duyuruldu. Doğruluk ve verimlilik artıyor.
Önemli Noktalar
- PAACE, LLM ajanlarının bağlam yönetimini plan odaklı şekilde optimize ediyor.
- Doğruluk artışı ve daha düşük işlem maliyetiyle uzun vadeli görevlerde üstün performans sağlıyor.
- PAACE-FT, öğretici modellerin %97 performansını koruyarak maliyeti önemli ölçüde azaltıyor.
PAACE Nedir?
PAACE (Plan-Aware Automated Agent Context Engineering), büyük dil modeli (LLM) ajanlarının karmaşık ve çok adımlı iş akışlarında bağlamlarını etkili şekilde yönetmek için geliştirilmiş birleşik bir çerçevedir. Plan yapma, araç kullanımı, dış bilgi sistemleriyle etkileşim gibi süreçlerde oluşan geniş bağlamları düzenleyerek doğruluğu artırmayı ve işlem maliyetini azaltmayı hedefler.
Teknik Detaylar
PAACE iki ana bileşenden oluşur:
- PAACE-Syn: Ajan iş akışlarını sentetik olarak üretip adım adım sıkıştırma denetimi sağlayan büyük ölçekli bir sistemdir.
- PAACE-FT: Plan odaklı sıkıştırıcılar ailesidir ve başarılı öğretici gösterimlerinden eğitilmiştir. Küçük ve verimli modellerle plan odaklı bağlam sıkıştırmasını uygulamayı mümkün kılar.
Performans ve Sonuçlar
PAACE, AppWorld, OfficeBench ve 8-Objective QA gibi uzun vadeli görevlerde yapılan deneylerde, doğruluğu artırırken bağlam yükünü önemli ölçüde azaltmayı başardı. AppWorld testlerinde, tüm temel yöntemlerden daha yüksek doğruluk elde etti ve aynı zamanda en yüksek bağlam ve bağımlılık oranlarını düşürdü. OfficeBench ve çok adımlı QA testlerinde ise doğruluk ve F1 skorları yükselirken, adım sayısı, token miktarı ve dikkat bağımlılığı azaldı.
Özellikle PAACE-FT, öğretici modelin performansının %97’sini koruyarak çıkarım maliyetini bir büyüklük mertebesinden fazla düşürüyor. Bu sayede, plan odaklı sıkıştırmanın pratikte küçük ve verimli modellerle uygulanması mümkün hale geliyor.
Gelecek Perspektifi
PAACE, LLM ajanlarının çok adımlı ve planlı görevlerde daha doğru ve verimli çalışmasını sağlayarak, yapay zekâ tabanlı uygulamaların ölçeklenebilirliğini artırıyor. Geliştiriciler ve araştırmacılar için, karmaşık iş akışlarında bağlam yönetimi konusunda yeni bir standart oluşturma potansiyeline sahip.
Son gelişmeler için bizi sosyal medyada @synvalo üzerinden takip edebilirsiniz!
Kaynak: arxiv.org