Yapay Zekâda Mixture-of-Agents Sunumunda Verimlilikte Büyük İlerleme
Yapay Zekâda Mixture-of-Agents Sunumunda Verimlilikte Büyük İlerleme
Yeni bir algoritma ve sistem tasarımı, Mixture-of-Agents sunumunda gecikmeyi %90’a kadar azaltırken doğrulukta kayda değer bir değişiklik yaratmıyor.
Önemli Noktalar
- Sunum gecikmesi %90’a kadar azaltıldı.
- Doğruluk, geleneksel yöntemlerle karşılaştırıldığında ±1% seviyesinde korundu.
- Yeni yöntem, aracılar arası iletişimde yapılandırılmış seyrekliği ve adaptif çalışma mekanizmasını kullanıyor.
Teknik Detaylar
Mixture-of-Agents (MoA) çıkarımı, yoğun aracı iletişimi ve düşük donanım kullanımı nedeniyle sunum gecikmesinde önemli artışlara yol açabiliyor. Yeni çalışmada, bu darboğazları aşmak için algoritma ve sistem birlikte tasarlandı.
Hiyerarşik Ağaç Yapısı
Yoğun aracı etkileşim grafikleri, yapılandırılmış seyrekliği teşvik eden hiyerarşik ağaç topolojisiyle değiştirildi. Böylece aracılar arası iletişim daha verimli hale getirildi.
Adaptif Çalışma Mekanizması
Çalışma sırasında, ara çıktılardan elde edilen anlamsal uyum ve güven sinyalleriyle, aşağı akıştaki aracı çağrılarının seçici olarak sonlandırılması veya atlanması sağlandı.
Prefill-Decode Overlap
Bağımlı aracılar arasında artımlı ön doldurma ile kod çözme işlemleri aynı anda yürütülerek donanım kullanımı artırıldı ve gecikme daha da azaltıldı.
Performans Sonuçları
Temsilci görevlerde uygulanan bu yaklaşım, uçtan uca gecikmeyi %90’a kadar azaltırken, doğrulukta ±1% sapma ile geleneksel yoğun bağlı MoA tabanlarına yakın sonuçlar elde etti. Bazı senaryolarda ise doğrulukta iyileşme gözlendi.
Güncel Gelişmeleri Takip Edin
Yapay zekâ ve e-ticaretteki son trendleri kaçırmamak için @synvalo sosyal medya hesaplarımızı takip edebilirsiniz.
Kaynak: arxiv.org