Araştırmacılar geliştirdi: "Acaba yapay zekayla mı yazıldı?" sorusuna son! %99'un üzerinde doğrulukla tespit edebiliyor

Yapay zekalı sohbet robotu ChatGPT'nin çıkışıyla, insan benzeri metin ve konuşmalar üretme becerisi dünyada gündem oldu. Ancak ödevini veya akademik kullanım için ihtiyacı olan bir metni ChatGPT'ye yazdıranlar bile çıktı. İnsanlar ChatGPT ile yazılmış metinleri nasıl ayırt edeceği üzerine uzun uzun konuştu ve tartıştı.

%99'UN ÜZERİNDE DOĞRULUKLA TESPİT ETMEK İÇİN ARAÇ GELİŞTİRDİLER

Cell Reports Physical Science dergisinde 7 Haziran'da yayınlanan bir araştırmaya göre ise birçok belirti yapay zeka sohbet robotlarını insanlardan ayırt etmemize yardımcı olabilir. İşte araştırmacılar da bu işaretlere dayanarak önemli bir adım attı ve yapay zeka tarafından üretilen akademik bilim yazılarını %99'un üzerinde doğrulukla tespit etmek için bir araç geliştirdi.

"KATKIDA BULUNMAK İÇİN BİLGİSAYAR BİLİMLERİ DİPLOMASINA İHTİYACI YOK"

Erişilebilir bir yöntem oluşturmak için çok uğraştıklarını söyleyen Kansas Üniversitesi'nden profesör Heather Desaire, "Yapay zekanın metin yazımını ele almaya yönelik bir ihtiyaç var ve insanların bu alana katkıda bulunmak için bilgisayar bilimleri diplomasına ihtiyacı yok." dedi.

Desaire, "Şu anda, yapay zeka yazımıyla ilgili oldukça göze batan bazı sorunlar var. En büyük sorunlardan biri, metni birçok kaynaktan bir araya getirmesi ve herhangi bir doğruluk kontrolü olmaması." diye konuştu.

Online birçok yapay zeka metin dedektörü var ve bunlar oldukça iyi performans da gösteriyor. Ancak buna rağmen, özellikle akademik yazılar için tasarlanmış değiller.

Ekip, bu boşluğu doldurmak için tam da bu amaca yönelik daha iyi performansa sahip bir araç geliştirmeyi hedefledi. Bilim insanları tarafından yazılan belirli araştırma konularına genel bir bakış sağlayan "perspektif" adı verilen bir makale türüne odaklandılar. Ekip 64 "perspektif" makale seçti ve modeli eğitmek için aynı araştırma konularında ChatGPT tarafından yazılan 128 makale oluşturdu. Makaleleri karşılaştırdıklarında, yapay zeka ile metin yazımının bir göstergesini buldular: öngörülebilirlik (tahmin edilebilirlik)

Öte yandan, yapay zekanın aksine, insanların daha karmaşık paragraf yapılarına sahip olduğu iddiası var. Buna göre; paragraf başına düşen cümle ve toplam kelime sayısı değişkenlikler gösteriyor. Noktalama işaretleri ve kelime tercihleri de ipucu veriyor. Örneğin, bilim insanları "ancak", "ama" ve "rağmen" gibi kelimelere yönelirken, ChatGPT yazılarında sıklıkla "diğerleri" ve "araştırmacılar" kelimelerini kullanıyor.

YÜKSEK DOĞRULUK ORANI

Test edildiğinde model, %100 doğruluk oranı elde etti. Konu, makale içindeki paragrafları tek tek tespit etmek olduğunda ise doğruluk oranı %92 oldu.

Araştırma ekibinin modeli, benzer testlerde piyasadaki mevcut bir yapay zeka metin dedektöründen de açık ara farkla daha iyi performans gösterdi.

"İNSANLARIN ARAŞTIRMAYI DUYDUKLARINDA BİLMEK İSTEDİKLERİ İLK ŞEY..."

"Desaire'ın dediğine göre, "İnsanların araştırmayı duyduklarında bilmek istedikleri ilk şey, 'Bunu öğrencilerimin makalelerini gerçekten yazıp yazmadıklarını anlamak için kullanabilir miyim?" sorusunun cevabı.

"BUNUN İÇİN TASARLANMADI"

Model, yapay zeka ile bilim insanlarını ayırt etme konusunda oldukça yetenekli olsa da Desaire, modelin eğitimciler için yapay zeka tarafından üretilen öğrenci makalelerini yakalamak üzere tasarlanmadığını söylüyor. Bununla birlikte, insanların kendi amaçlarına yönelik modeller oluşturmak için yöntemlerini kolayca kopyalayabileceklerini belirtiyor.

Ekip modeli daha kapsamlı veri kümeleri üzerinde ve farklı akademik bilim yazım türlerinde test etmek istiyor. Yapay zekalı sohbet robotları geliştikçe ve daha sofistike hale geldikçe, araştırmacılar modellerinin ayakta kalıp kalmayacağını da bilmek istiyorlar.