Yapay zeka araçlarının ürettiği kodların kalitesi ve doğruluğu yazılımcılar arasında halen önemli bir tartışma konusu. Yaygın düşünce YZ üretimi kodların basit işlemlerde genelde temiz ve az hatalı çıktıları olmasıyla beraber, karmaşık işlemlerde ise YZ üretimi kodların hem istenen düzeyde olmaması hem de çok sayıda bug ve hata içermesi yönünde.
Coderabbit adlı platformun hazırladığı "State of AI vs Human Code Generation" raporu bu görüşü onaylar nitelikte. Rapor oluşturulurken incelenen 470 tane GitHub'daki açık kaynak proje pull request'inden bu yönde elde edilen bilgiler paylaşılmış. İşte raporda öne çıkan birkaç başlık:
Analiz: 470 açık kaynak GitHub pull request (PR) incelendi:
- • 320 tanesi YZ katkılı PR
• 150 tanesi yalnızca insan yazımı PR
Elde edilen sonuçlar:
- YZ tarafından üretilen PR’ler ortalama ~10.83 hata/issue içerirken,
- İnsan tarafından yazılan PR’ler ortalama ~6.45 hata/issue içeriyor.
Bu da YZ üretimi kodların yaklaşık 1.7 katı hata içerdiğini gösteriyor.
Ek olarak rapor, YZ kodlarının hem daha fazla kritik ve önemli hata ürettiğini hem de mantık, bakım, güvenlik ve performans açısından daha fazla sorun içerdiğini vurguluyor.
Yakın gelecekte YZ araçlarının üreteceği kodların daha yüksek kalitede ve doğrulukta olması çoğu uzman tarafından beklenen bir gelişme olacak. Ancak günümüzde YZ araçlarının ürettiği kodların mutlaka detaylı şekilde incelenmesi ve doğrulanması gerektiğinin ne kadar önemli olduğunu CodeRabbit raporu ışığında görebilmekteyiz.
Habere konu olan rapor detaylarına https://www.coderabbit.ai/whitepapers/state-of-AI-vs-human-code-generation-report adresinden ulaşabilirsiniz.