Adjudicator: Bilgi Grafiği Destekli LLM Konseyi ile Gürültülü Etiketler Düzeltildi
Adjudicator Sistemi ile Gürültülü Etiketler Artık Daha Doğru Şekilde Düzeltiliyor
Adjudicator, üretim makine öğrenimi sistemlerinde gürültülü etiketleri otomatik olarak tespit edip düzelten, bilgi grafiği destekli yeni bir sistem olarak tanıtıldı.
Önemli Noktalar
- Adjudicator, gürültülü etiketleri tespit ve düzeltmede bilgi grafiği tabanlı çoklu ajan mimarisi kullanıyor.
- Sistem, 1.000 öğelik bir veri setinde 0.99 F1 skoru ile mevcut yöntemleri önemli ölçüde geride bıraktı.
- Yenilikçi “override” mantığı sayesinde karmaşık ve yapısal hatalarda tam isabet sağlanıyor.
Adjudicator Nedir?
Adjudicator, makine öğrenimi sistemlerinde eğitim verilerindeki gürültülü (hatalı) etiketlerin otomatik olarak tanımlanıp düzeltilmesini amaçlayan yeni bir sistemdir. Özellikle yüksek riskli endüstriyel uygulamalarda, hatalı etiketler model performansını düşürürken kullanıcı güvenini de zedeler. Adjudicator, bu soruna yenilikçi bir yaklaşım sunuyor.
Teknik Detaylar
Sistem, ilk olarak veri kümesi içindeki öğelerin bağlamını bir araya getiren dinamik bir Bilgi Grafiği (Knowledge Graph, KG) oluşturuyor. Ardından, bu bilgi grafiğini kullanan “Ajanlar Konseyi” (Council of Agents) adı verilen çoklu Büyük Dil Modeli (LLM) tabanlı bir mimari devreye giriyor. Uzmanlaşmış LLM ajanları, her bir etiketin doğruluğu hakkında tartışıp oylama yaparak nihai kararı veriyor.
Performans Karşılaştırması
Adjudicator, AlleNoise benchmark’ının dengelenmiş 1.000 öğelik bir alt kümesinde test edildi. Bilgi grafiği destekli model, 0.99 F1 skoru elde ederek tek bir LLM tabanlı yöntemin (0.48 F1) ve bilgi grafiği kullanılmayan çoklu ajan yaklaşımının (0.59 F1) çok üzerinde performans gösterdi.
Yenilikçi Yöntem ve Endüstriyel Katkı
Başarıda en önemli etken, Adjudicator’ın bilgi grafiği temelli “override” mantığı oldu. Bu sayede, karmaşık ve yapısal hatalar tamamen tespit edilip düzeltilebiliyor; bu tür hatalar önceki yöntemlerle yakalanamıyordu. Sonuç olarak Adjudicator, otomatik ve yüksek hassasiyetli veri doğrulama için güçlü ve açıklanabilir bir çözüm sunuyor.
Endüstriyel Uygulamalar için Önemi
Adjudicator’ın başarısı, katı kurallarla yönetilen endüstriyel ortamlarda güvenilir ve yüksek kaliteli veri kümeleri oluşturmak için önemli bir kanıt niteliği taşıyor. Bu sistem, makine öğrenimi tabanlı uygulamalarda veri doğruluğunu artırarak model güvenilirliğini de destekliyor.
Kaynak: arxiv.org