Found-RL: Otonom Sürüşte RL Verimliliğini Foundation Model ile Artıran Yeni Platform Tanıtıldı
Found-RL: Otonom Sürüşte RL Verimliliğini Foundation Model ile Artıran Yeni Platform Tanıtıldı
Found-RL, otonom sürüşte gerçek zamanlı öğrenme için foundation model destekli RL’yi verimli ve hızlı şekilde entegre eden yeni bir platform sunuyor.
Önemli Noktalar
- Found-RL, Vision-Language Models (VLMs) ile RL’nin verimliliğini artırıyor.
- Gerçek zamanlı öğrenme için yaklaşık 500 FPS hızında çalışıyor.
- Çeşitli denetim mekanizmalarıyla uzman benzeri davranışlar RL modeline aktarılıyor.
Platformun Amacı ve Yenilikleri
Otonom sürüş alanında son zamanlarda öne çıkan Found-RL platformu, reinforcement learning (RL) tabanlı sistemlerin foundation modellerle daha verimli ve anlamlı hale getirilmesini hedefliyor. Özellikle Vision-Language Models (VLMs) sayesinde bağlama duyarlı bilgi sunulabiliyor, ancak yüksek çıkarım gecikmesi RL eğitim döngülerinde uygulamayı zorlaştırıyor.
Found-RL, bu sorunu çözmek için asenkron toplu çıkarım çerçevesiyle VLM’nin ağır hesaplamalarını simülasyon döngüsünden ayırıyor. Böylece gecikme problemi ortadan kalkıyor ve gerçek zamanlı RL eğitimi mümkün hale geliyor.
Teknik Detaylar
Denetim ve Ödül Mekanizmaları
Platformda iki ana denetim yöntemi sunuluyor: Value-Margin Regularization (VMR) ve Advantage-Weighted Action Guidance (AWAG). Bu mekanizmalar, VLM’nin önerdiği uzman benzeri eylemleri RL politikasına etkin şekilde aktarıyor.
Ayrıca, yüksek verimli CLIP modeliyle yoğun ödül şekillendirme sağlanıyor. CLIP’in dinamik körlüğü ise Conditional Contrastive Action Alignment ile gideriliyor; bu yöntem, hız ve komutlara göre ayrıştırılmış promptlar kullanarak bağlamdan türetilen normalleştirilmiş ödül bonusları sunuyor.
Performans ve Erişim
Found-RL, ince ayarlı VLM entegrasyonu ile milyar parametreli VLM’lere yakın performansı, hafif bir RL modeliyle ve yaklaşık 500 FPS gerçek zamanlı çıkarım hızıyla elde edebiliyor. Kod, veri ve modellerin 2026 yılı içinde https://github.com/ys-qu/found-rl adresinde paylaşılması bekleniyor.
Kaynak: arxiv.org