Büyük Dil Modellerinde Planlama: SQ-BCP Yöntemiyle Belirsizliklere Çözüm
Büyük Dil Modellerinde Planlama: SQ-BCP Yöntemiyle Belirsizliklere Çözüm
SQ-BCP yöntemi, büyük dil modellerinin eksik önkoşullarla plan üretirken hata oranını azaltıyor ve hedef uyumluluğunu garanti altına alıyor.
Önemli Noktalar
- SQ-BCP, eksik veya belirsiz önkoşulları tespit ederek hedefe uygun planlar oluşturuyor.
- WikiHow ve RecipeNLG görevlerinde kaynak ihlali oranlarını %14,9 ve %5,8’e kadar düşürdü.
- Yöntem, çift yönlü arama ve kategorik doğrulama ile planların güvenilirliğini artırıyor.
Teknik Detaylar
Büyük dil modelleriyle gerçek zamanlı planlama, özellikle görev için kritik önkoşullar sorgu anında belirtilmediğinde sıklıkla başarısız olabiliyor. Bu durumda modeller, eksik bilgileri hayal ederek veya sert kısıtlamaları ihlal eden planlar üretebiliyor.
Self-Querying Bidirectional Categorical Planning (SQ-BCP) adlı yeni yöntem, önkoşul durumlarını (Sat/Viol/Unk) açıkça temsil ediyor ve bilinmeyenleri (i) hedefe yönelik kendi sorguları yoluyla veya (ii) eksik koşulu ilave bir eylemle tamamlayan köprü hipotezlerle çözüyor.
SQ-BCP, çift yönlü arama gerçekleştiriyor ve hedef uyumluluğu için pullback tabanlı bir doğrulayıcıyı kategorik sertifika olarak kullanıyor. Mesafe tabanlı skorlar ise sadece sıralama ve budama için tercih ediliyor.
Performans Sonuçları
WikiHow ve RecipeNLG veri setlerinde, önkoşulları gizlenmiş görevlerde yapılan testlerde SQ-BCP, kaynak ihlali oranını sırasıyla %14,9 ve %5,8’e indirerek, en iyi mevcut yöntemlere göre (%26,0 ve %15,7) belirgin bir iyileşme sağladı. Referans kalite ise rekabetçi düzeyde korunuyor.
Gelecek Perspektifi
2026 yılı içinde, SQ-BCP gibi kategorik planlama yaklaşımlarının, büyük dil modellerinin güvenilirliğini ve gerçek dünya uygulamalarındaki başarısını artırması bekleniyor.
Kaynak
arXiv:2601.20014v1 – “Teaching LLMs to Ask: Self-Querying Category-Theoretic Planning for Under-Specified Reasoning”
Kaynak: arxiv.org