Solidity Akıllı Sözleşmelerde Hata Tespiti İçin LLM Yöntemleri Karşılaştırıldı
Solidity Akıllı Sözleşmelerde Hata Tespiti İçin LLM Yöntemleri Karşılaştırıldı
Son analizlerde, farklı büyük dil modelleriyle Solidity akıllı sözleşmelerde hata tespiti için sıfır-atış yaklaşımları karşılaştırıldı.
Önemli Noktalar
- 400 akıllı sözleşme üzerinde sıfır-atış (zero-shot) yöntemlerle kapsamlı değerlendirme yapıldı.
- Chain-of-Thought ve Tree-of-Thought stratejileri, hata tespitinde hatırlama oranını %95-99’a kadar yükseltti.
- Claude 3 Opus, hata sınıflandırma görevinde en yüksek Weighted F1-skorunu (90.8) elde etti.
Çalışmanın Özeti
Blockchain sistemlerinde finansal ve operasyonel mantığı kodlayan akıllı sözleşmeler, güvenlik açıkları nedeniyle ciddi finansal kayıplara ve güven sorunlarına yol açabiliyor. Son zamanlarda, büyük dil modelleri (LLM) ile bu açıkların otomatik tespiti için yeni fırsatlar ortaya çıkarken, farklı model ve prompt stratejilerinin gerçek dünyadaki etkinliği hâlâ tartışmalı.
2026 yılı içinde yayınlanan bu çalışma, güncel LLM’leri kullanarak Solidity akıllı sözleşmeler üzerinde iki ana görevde değerlendirme yaptı:
- Hata Tespiti: Model, sözleşmenin güvenli olup olmadığını ikili sınıflandırma ile belirliyor.
- Hata Sınıflandırması: Model, tespit edilen sorunu spesifik bir güvenlik kategorisine atıyor.
Araştırmada sıfır-atış, sıfır-atış Chain-of-Thought (CoT) ve sıfır-atış Tree-of-Thought (ToT) promptları kullanıldı. Hata tespiti görevinde CoT ve ToT stratejileri, hatırlama oranını genellikle %95 ila %99 seviyesine yükseltirken, hassasiyetin düşmesi daha fazla yanlış pozitif kararlar alınmasına neden oldu.
Hata sınıflandırmasında ise Claude 3 Opus modeli, Tree-of-Thought promptu ile 90.8 Weighted F1-skoru elde ederek en iyi performansı gösterdi; CoT yaklaşımı ise benzer derecede yüksek skorlar sundu.
Teknik Detaylar
Değerlendirme, dengeli bir veri setiyle 400 Solidity akıllı sözleşme üzerinde gerçekleştirildi. Modeller sıfır-atış promptlarıyla test edildi ve Chain-of-Thought ile Tree-of-Thought teknikleri özellikle hatırlama oranını artırdı. Ancak bu stratejiler, hassasiyeti düşürdüğü için daha fazla yanlış pozitif sonuçlar üretti.
Claude 3 Opus, hata sınıflandırma görevinde Tree-of-Thought promptuyla en yüksek Weighted F1-skorunu (90.8) alırken, CoT yaklaşımı da benzer başarı gösterdi.
Güncel Bilgi ve Takip
Akıllı sözleşmelerin daha güvenli hale gelmesi için LLM tabanlı otomatik analizlerin önemi artıyor. Yakın gelecekte, bu tür modellerin güvenlik alanında daha fazla uygulama bulması bekleniyor.
Son gelişmeler için @synvalo sosyal medya hesaplarımızı takip etmeyi unutmayın!
Kaynak: arxiv.org