Akka, 65 Açık Kaynak Projeyle Yapay Zeka Destekli Yazılım Taşımasını Test Etti

Akka, yapay zeka modellerini yazılım geliştirme sürecine entegre etmenin etkinliğini ölçmek için kapsamlı bir deney yürütmüştür. 65 açık kaynak projede yapay zeka destekli yazılım taşıması (porting) yaparak, belirtim tabanlı bir iş akışının ne kadar faydalı olabileceğini test etmişlerdir. Deneyim, her projenin yüzde 10'una kadar uygulanmış olup, özellikle başarılı sonuçlar veren 10 proje tam olarak yeniden yazılmıştır.

Çalışma iki aşamada gerçekleştirildi: ilk aşamada tüm projelerin belirtimleri oluşturulup ön uygulamalar yapılırken, ikinci aşamada en umut verici 10 proje seçilerek tamamıyla yeniden yazılmıştır. İş akışı keşif, belirtim oluşturma, taşıma, kıyaslama ve iyileştirme aşamalarından oluşmaktaydı. Keşif sırasında kod, veri modelleri ve çalışma zamanı davranışı analiz edilirken, Claude yapay zeka modeli uygulama, test ve inceleme aşamalarını yönetmiştir.

Model Seçimi ve Verimlilik

Deneyden çıkan belki de en dikkat çekici sonuç, küçük modellerin daha büyük olanlardan daha verimli performans gösterdiğidir. Akka'nın Sonnet modeli, Opus'a kıyasla proje başına ortalama 61 dakikada çalışırken, Opus'un yüzde 40 daha az token tükettiği ölçülmüştür. Ancak Opus'un daha yüksek çalışma ayarları, tüketilen token miktarını artırmasına rağmen, elde edilen sonuçlarda tutarlı bir iyileştirme sağlamamıştır.

Mühendisler arasında çıkan tartışmalar, bu bulguların nedenini sorgulamıştır. Bazı uzmanlar, küçük modellerin belirtimi yakından takip ederken, daha büyük modellerin özel çözümlere gitme eğiliminin bulunduğunu öne sürmüşlerdir. Ayrıca, kod satırında azalmanın ölü kodu temizlemekten mi, yoksa hedef programlama dilinin özelliklerinden mi kaynaklandığı konusunda şüphe dile getirilmiştir.

Doğrulama ve Performans Sonuçları

Akka, belirtim oluşturma aşamasında, talepkişi, kanıt ve türlü davranış öğelerinin dahil edilmesinin ilk denemede başarı oranını artırdığını saptamıştır. Yine de bileşenler arası kararlar konusunda belirtim dosyalarında boşluklar kalmıştır. Doğrulama aşamasında, orijinal testlere ek olarak denetçiler serileştirme, güvenlik, hata işleme, kişisel veri koruma, işlem tekrarı ve mimari sınırları kontrol etmiştir.

Performans sonuçları proje türüne göre değişmiştir. Uygulamalar, yazılım çatıları ve kütüphanelerin çoğunda iyileştirme görülürken, altyapı ve araçların performansında azalma kaydedilmiştir. Dify örneğinde 143.333 kat iyileştirme raporlanmış olsa da, kıyaslanan iş yükleri farklılık göstermiştir. Netflix Metaflow ise yaklaşık 100 kat daha yavaş çalışmıştır.

Neden önemli?

Bu deney, yapay zeka modelleri kullanılarak eski yazılımın modern dillerine veya mimarilere taşınmasının pratik bir yol olarak viabilite kazanabileceğini göstermektedir. Özellikle açık kaynak ekosisteminde bakımı zor veya güncel olmayan projelerin yenilenmesi için ölçeklenebilir bir yaklaşım sunabilir. Aynı zamanda, yapay zekanın yazılım geliştirme süreçlerinde akıllandırılmış bir şekilde (belirtim tabanlı iş akışıyla) kullanıldığında, maliyetli çalışmaların otomatikleştirilmesine kapı açmaktadır. Bulguların, özellikle küçük modellerin rekabetçi sonuçlar vermesinin maliyetler açısından önemli çıkarımları vardır.