Yapay Zekâ Biliminin Sınırlarını Zorluyor: SGI-Bench ile Kapsamlı Değerlendirme
Yapay Zekâ Biliminin Sınırlarını Zorluyor: SGI-Bench ile Kapsamlı Değerlendirme
SGI-Bench, yapay zekâ modellerinin bilimsel genel zekâ yeteneklerini ölçmek için geliştirildi; derin araştırma, fikir üretimi ve deney yetenekleri değerlendirildi.
Önemli Noktalar
- SGI-Bench, 1.000’den fazla uzman seçkisiyle LLM’lerin bilimsel zekâsını test ediyor.
- Derin araştırmada tam eşleşme oranı yalnızca %10–20 arasında kaldı.
- Test-Time Reinforcement Learning ile hipotez yeniliği artırıldı.
Bilimsel Genel Zekâya Yeni Bir Yaklaşım
Son yıllarda bilimsel yapay zekâda önemli ilerlemeler yaşansa da, bilimsel genel zekâ (SGI) için tutarlı bir çerçeve eksikliği sürüyor. SGI, bir yapay zekânın farklı bilim dallarında bağımsız olarak kavram geliştirme, araştırma yapma ve mantık yürütme yeteneği anlamına geliyor. Bu doğrultuda, Practical Inquiry Model (PIM: Düşünme, Kavramsallaştırma, Eylem, Algılama) temelli operasyonel bir SGI tanımı geliştirildi.
SGI-Bench: Bilimsel Yeteneklerin Ölçümü
SGI-Bench, Science dergisinin belirlediği 125 Büyük Soru’dan esinlenerek oluşturulan, disiplinler arası ve uzmanlar tarafından seçilmiş 1.000’den fazla örnek içeriyor. Bu platform, güncel büyük dil modellerinin (LLM) bilimsel yeteneklerini dört temel görevde sistematik olarak değerlendiriyor:
- Derin araştırma
- Fikir üretimi
- Kuru/ıslak deneyler
- Deneysel akıl yürütme
Teknik Detaylar ve Bulgular
Yapılan testlerde, derin araştırma görevlerinde adım adım uyum sağlansa da tam doğru cevap oranı %10–20 gibi düşük seviyede kaldı. Fikir üretiminde ise modellerin sunduğu çözümler yeterince uygulanabilir ve detaylı bulunmadı. Kuru deneylerde kod çalıştırma oranı yüksek olsa da, sonuçların doğruluğu düşük seviyede. Islak protokollerde ise adım sırası ve tutarlılık eksikliği gözlendi. Ayrıca, multimodal karşılaştırmalı akıl yürütme alanında modellerin hâlâ zorlandığı tespit edildi.
Test-Time Reinforcement Learning ile Yenilikçi Hipotezler
SGI-Bench, Test-Time Reinforcement Learning (TTRL) yöntemini de tanıttı. Bu yaklaşım, modelin tahmin sırasında yenilikçi hipotezler üretmesini teşvik ediyor ve referans cevaba bağlı kalmadan özgün fikirler geliştirebiliyor.
Sonuç ve Gelecek Perspektifi
SGI-Bench’in sunduğu PIM tabanlı tanım, iş akışı merkezli değerlendirme ve deneysel bulgular, bilimsel keşiflere gerçek anlamda katkı sunabilecek yapay zekâ sistemleri için sağlam bir temel oluşturuyor. Bilimsel genel zekâ alanında ilerleme kaydedilmesi, hem araştırmacılar hem de teknolojinin geleceği için büyük önem taşıyor.
Sektördeki son gelişmeleri takip etmek için @synvalo sosyal medya hesaplarımızı ziyaret edebilirsiniz!
Kaynak: arxiv.org