DLLM-Searcher: Diffusion Büyük Dil Modelleri ile Arama Ajanlarında Verimlilik Artışı
DLLM-Searcher: Diffusion Büyük Dil Modelleri ile Arama Ajanlarında Verimlilik Artışı
DLLM-Searcher, Diffusion tabanlı büyük dil modellerinin arama ajanlarında verimliliğini artırıyor. Yeni P-ReAct yaklaşımıyla %15 hızlanma sağlanıyor.
Önemli Noktalar
- DLLM-Searcher, dLLM tabanlı arama ajanlarının bilgi arama ve akıl yürütme yeteneklerini geliştiriyor.
- Yeni P-ReAct paradigması ile yaklaşık %15 daha hızlı çıkarım süresi elde ediliyor.
- Çözüm, mevcut dLLM modellerinin kısıtlarını iki aşamalı eğitimle aşıyor.
DLLM-Searcher Nedir?
Son zamanlarda Diffusion Büyük Dil Modelleri (dLLM), paralel kod çözme mekanizması ve esnek üretim yapısı sayesinde benzersiz verimlilik avantajları göstermeye başladı. Ancak, arama ajanlarının pratik kullanımı, ReAct ajan paradigmasında çoklu adımlı akıl yürütme ve araç çağrısı süreçlerinin seri şekilde ilerlemesi nedeniyle ciddi bir gecikme sorunu ile karşı karşıya kalıyor.
Teknik Detaylar
İki Temel Zorluk
Arama ajanlarında dLLM kullanımı önünde iki büyük engel bulunuyor:
- Gecikme Sorunu: ReAct ajan paradigması altında yapılan işlemlerin seri yürütülmesi, yanıt süresini uzatıyor.
- Ajan Yetenek Sorunu: Mevcut dLLM modelleri, akıl yürütme ve araç çağrısı konusunda zayıf kalıyor.
Çözüm: DLLM-Searcher ve P-ReAct Paradigması
DLLM-Searcher, dLLM tabanlı arama ajanlarına özel olarak geliştirilmiş bir optimizasyon çerçevesi sunuyor. İki aşamalı eğitim yaklaşımı ile (Agentic SFT ve Agentic VRPO) modelin bilgi arama ve akıl yürütme kabiliyeti artırılıyor. Ayrıca, P-ReAct adı verilen yeni paralel akıl yürütme ve hareket paradigması sayesinde model, araçlardan yanıt beklerken düşünmeye devam edebiliyor. Bu da toplam süreçte yaklaşık %15’lik bir hızlanma sağlıyor.
Deneysel Sonuçlar ve Erişim
Yapılan deneylerde DLLM-Searcher’ın performansı, mevcut büyük dil modeli tabanlı arama ajanlarıyla benzer seviyede bulunuyor. P-ReAct paradigması ise çıkarım süresinde önemli bir avantaj sunuyor. DLLM-Searcher’ın kaynak kodu, araştırmacıların erişimine açık olarak sağlanıyor.
Daha fazla bilgi ve teknik detaylar için resmi kod deposunu ziyaret edebilirsiniz.
Kaynak: arxiv.org