Üretken yapay zeka, daha fazla içeriğin temeli haline geliyor ve birçok kişinin yapay zeka dedektörünün güvenilirliğini sorgulamasına neden oluyor.
Yanıt olarak, insan ve yapay zeka tarafından oluşturulan içerik arasında ayrım yapmak için yapay zeka algılama araçlarının etkinliği üzerine birkaç çalışma yapılmıştır.
Yapay zeka dedektörlerinin nasıl çalıştığı hakkında daha fazla bilgi edinmenize yardımcı olmak, size çalışırken yapay zeka dedektörlerinin bir örneğini göstermek ve araçlara mı yoksa araştırmalara mı güveneceğinize karar vermenize yardımcı olmak için bu çalışmaları parçalara ayıracağız.
AI Dedektörleri Önyargılı mı?
Araştırmacılar, GPT tarafından oluşturulan içeriği tespit etmeyi amaçlayan AI içerik algılayıcılarının, anadili İngilizce olmayan yazarlara karşı önemli bir önyargıya sahip olabileceğini ortaya çıkardı.
Yapay zeka ile insan tarafından oluşturulan içerik arasında ayrım yapmak için tasarlanan bu algılayıcıların, ana dili İngilizce olan yazı örneklerini doğru bir şekilde tanımlarken, anadili İngilizce olmayan yazı örneklerini sürekli olarak yapay zeka tarafından oluşturulmuş olarak yanlış sınıflandırdığını buldu.
Anadili İngilizce olan ve olmayan yazarlardan alınan yazı örneklerini kullanan araştırmacılar, dedektörlerin ikinci örneklerin yarısından fazlasını yapay zeka tarafından oluşturulmuş olarak yanlış sınıflandırdığını buldu.
İlginç bir şekilde, çalışma aynı zamanda “” gibi basit yönlendirme stratejilerinin de ortaya çıktığını ortaya koydu. Edebi bir dil kullanarak sağlanan metni yükseltin,” bu önyargıyı azaltabilir ve GPT dedektörlerini etkili bir şekilde atlayabilir.
Bulgular, GPT algılayıcılarının yazarları istemeden kısıtlı dilsel ifadelerle cezalandırabileceğini öne sürerek, bu araçlardaki adalet ve sağlamlığa daha fazla odaklanma ihtiyacının altını çiziyor.
Bunun, özellikle ana dili İngilizce olmayan konuşmacıların yanlışlıkla cezalandırılabileceği veya küresel söylemden dışlanabileceği değerlendirme veya eğitim ortamlarında önemli sonuçları olabilir. Aksi takdirde, “haksız sonuçlara ve mevcut önyargıları şiddetlendirme riskine” yol açacaktır.
Araştırmacılar ayrıca, tüm kullanıcılar için daha adil ve güvenli bir dijital manzara sağlamak için bu önyargıları ele almak ve mevcut tespit yöntemlerini geliştirmek için daha fazla araştırma yapılması gerektiğinin altını çiziyor.
Bir Yapay Zeka Dedektörünü Yenebilir misiniz?
Araştırmacılar, yapay zeka tarafından oluşturulan metin üzerinde ikame tabanlı bağlam içi örnek optimizasyonunu (SICO) belgeleyerek, ChatGPT gibi büyük dil modellerinin (LLM’ler) yapay zeka tarafından oluşturulan metin algılayıcılar tarafından algılanmaktan kaçınmasına olanak tanır.
Çalışma, akademik makaleler, açık uçlu sorular ve cevaplar ve iş incelemeleri dahil olmak üzere yapay zeka tarafından oluşturulan metinleri tespit etmenin çok önemli olduğu LLM’lerin gerçek hayattaki kullanım senaryolarını simüle etmek için üç görev kullandı.
Ayrıca SICO’nun, tüm dedektörler ve veri kümelerinde diğer yöntemlerden sürekli olarak daha iyi performans gösteren eğitim tabanlı modeller, istatistiksel yöntemler ve API’ler dahil olmak üzere altı temsili dedektöre karşı test edilmesini içeriyordu.
Araştırmacılar, SICO’nun test edilen tüm kullanım senaryolarında etkili olduğunu buldu. Çoğu durumda, SICO tarafından oluşturulan metin, genellikle insan tarafından yazılan metinden ayırt edilemezdi.
Bununla birlikte, bu teknolojinin olası kötüye kullanımının da altını çizdiler. SICO, AI tarafından oluşturulan metnin tespitten kaçmasına yardımcı olabileceğinden, kötü niyetli aktörler bunu insan tarafından yazılmış gibi görünen yanıltıcı veya yanlış bilgiler oluşturmak için de kullanabilir.
Her iki çalışma da üretken yapay zeka gelişiminin yapay zeka metin algılayıcılarını geride bırakma oranına işaret ederken, ikincisi daha gelişmiş algılama teknolojisine olan ihtiyacı vurguluyor.
Bu araştırmacılar, AI dedektörlerinin eğitim aşaması sırasında SICO’nun entegre edilmesinin sağlamlıklarını artırabileceğini ve SICO’nun temel konseptinin çeşitli metin oluşturma görevlerine uygulanabileceğini ve metin oluşturma ve bağlam içi öğrenmede gelecekteki araştırmalar için yeni yollar açabileceğini öne sürüyor.
AI Dedektörleri İnsan Sınıflandırmasına Yöneliyor mu?
AI dedektörlerinin güvenilirliğine ilişkin önceki çalışmaları ve ardından verilerini derledi ve bu araçlar hakkında birkaç bulgu yayınladı.
- Aydın ve Karaarslan (2022), popüler bir intihal tespit aracı olan iThenticate’in ChatGPT ile başka sözcüklerle ifade edilmiş metinlerde yüksek eşleşme oranları bulduğunu ortaya çıkardı.
- Wang ve ark. (2023), yapay zeka tarafından oluşturulan kodu algılamanın doğal dil içeriğinden daha zor olduğunu buldu. Dahası, bazı araçlar, metni yapay zeka tarafından oluşturulmuş veya insan tarafından yazılmış olarak tanımlamaya yönelerek önyargı sergiledi.
- Pegoraro ve ark. (2023), ChatGPT tarafından oluşturulan metni algılamanın oldukça zor olduğunu ve en verimli aracın %50’den daha düşük bir başarı oranına ulaştığını tespit etti.
- Van Oijen (2023), yapay zeka tarafından oluşturulan metni tespit etmede araçların genel doğruluğunun yalnızca %28 civarında olduğunu ve en iyi aracın yalnızca %50 doğruluk elde ettiğini ortaya koydu. Tersine, bu araçlar insan yazısı içeriği tespit etmede daha etkiliydi (yaklaşık %83 doğruluk).
- Anderson ve ark. (2023), başka kelimelerle ifade etmenin GPT-2 Çıkış Dedektörünün etkinliğini önemli ölçüde azalttığını gözlemledi.
Araştırmacılar, yapay zeka tarafından oluşturulan 14 metin algılama aracını kullanarak farklı kategorilerde birkaç düzine test durumu oluşturdu:
- İnsan eliyle yazılmış metin.
- Çevrilmiş metin.
- AI tarafından oluşturulan metin.
- İnsan düzenlemeleriyle yapay zeka tarafından oluşturulan metin.
- AI açıklamalı yapay zeka tarafından oluşturulan metin.
Turnitin, tüm yaklaşımlarda en doğru araç olarak ortaya çıktı, ardından Compilatio ve GPT-2 Output Detector geldi.
Bununla birlikte, test edilen araçların çoğu, yapay zeka tarafından oluşturulan veya değiştirilmiş metinle karşılaştırıldığında, insan tarafından yazılan metni doğru bir şekilde sınıflandırma yönünde önyargı gösterdi.
Bu sonuç akademik bağlamlarda arzu edilir olsa da, çalışma ve diğerleri asılsız suçlamalar ve tespit edilemeyen vakalar riskini vurguladı. Yüksek bir oran sergileyen GPT Sıfır dışında çoğu araçta yanlış pozitifler minimum düzeydeydi.
Tespit edilemeyen vakalar, özellikle yapay zeka tarafından oluşturulan ve insan düzenlemesi veya makineyle başka kelimelerle ifade edilen metinler için bir endişe kaynağıydı. Çoğu araç, öğrenciler arasında akademik dürüstlük ve adalet için potansiyel bir tehdit oluşturan bu tür içeriği tespit etmekte zorlandı.
Değerlendirme ayrıca aletlerle ilgili teknik zorlukları da ortaya çıkardı.
Bazıları sunucu hataları yaşadı veya bilgisayar kodu gibi belirli giriş türlerini kabul etmede sınırlamalar yaşadı. Diğerleri hesaplama sorunlarıyla karşılaştı ve bazı araçlarda sonuçların işlenmesi zorlayıcı oldu.
Araştırmacılar, bu sınırlamaların ele alınmasının, yapay zeka tarafından oluşturulan metin algılama araçlarını eğitim ortamlarında etkili bir şekilde uygulamak için çok önemli olacağını, yanlış suçlamaları ve tespit edilemeyen vakaları en aza indirirken görevi kötüye kullanmanın doğru şekilde tespit edilmesini sağlayacağını öne sürdü.
Bu Çalışmalar Ne Kadar Doğru?
Bu çalışmaların sonuçlarına göre yapay zeka algılama araçlarına güvenmeli misiniz?
Daha önemli soru, AI algılama araçlarıyla ilgili bu çalışmalara güvenmeniz gerekip gerekmediği olabilir.
Yukarıda bahsedilen üçüncü çalışmayı gönderdim. Jonathan Gillham, Originality.ai’nin kurucusu. Çok ayrıntılı ve anlayışlı birkaç yorumu vardı.
Başlangıçta, Originality.ai eğitim sektörü için tasarlanmamıştı. Test edilen diğer AI dedektörleri de o ortam için oluşturulmamış olabilir.
Akademi içinde kullanım şartı, uygulanabilir bir yanıt üretmesidir. Aracımızın Akademi DEĞİL Dijital Pazarlama için olduğunu (ana sayfamızın üst kısmında) açıkça bildirmemizin bir nedeni de budur.
Aynı yazar (öğrenci değil) tarafından gönderilen birden fazla makaleyi değerlendirme ve bilinçli bir karar verme yeteneği, bir öğrenci tarafından gönderilen tek bir makale üzerinde sonuçsal kararlar vermekten çok daha iyi bir kullanım durumudur.
Yapay zeka tarafından oluşturulan içeriğin tanımı, çalışmanın gösterdiği ile her bir yapay zeka algılama aracının tanımladığı arasında değişebilir. Gillham, AI ve insan yapımı içeriğin çeşitli anlamlarına referans olarak aşağıdakileri dahil etti.
- Yapay Zeka Tarafından Oluşturulmuş ve Düzenlenmemiş = Yapay Zeka Tarafından Oluşturulmuş metin.
- Yapay Zeka Tarafından Oluşturulan ve İnsan Tarafından Düzenlenen = Yapay Zeka Tarafından Oluşturulan metin.
- Yapay Zeka Taslağı, İnsan Yazılı ve yoğun şekilde Yapay Zeka Tarafından Düzenlenmiş = Yapay Zeka Tarafından Oluşturulan metin.
- Yapay Zeka Araştırması ve Yazılı İnsan = Orijinal İnsan Üretimi.
- Grammarly ile Yazılmış ve Düzenlenmiş İnsan = Orijinal İnsan Tarafından Üretildi.
- İnsan Tarafından Yazılmış ve İnsan Tarafından Düzenlenmiş = İnsan Tarafından Üretilmiş Orijinal.
Çalışmadaki bazı kategoriler, insan olarak sınıflandırılmasını bekleyerek AI tarafından çevrilmiş metni test etti. Örneğin, çalışmanın 10. sayfasında şöyle diyor:
İkinci kategori için (02-MT olarak adlandırılır), yaklaşık 10.000 karakter (boşluklar dahil) Boşnakça, Çekçe, Almanca, Letonca, Slovakça, İspanyolca ve İsveççe yazılmıştır. 01-Hum’da olduğu gibi, bu metinlerin hiçbiri daha önce İnternet’e maruz kalmamış olabilir. Dile bağlı olarak, test belgelerini İngilizce olarak oluşturmak için AI çeviri aracı DeepL (3 vaka) veya Google Translate (6 vaka) kullanıldı.
İki aylık deneme süresi boyunca, bazı araçlar muazzam ilerlemeler kaydetmiş olabilirdi. Gillham, sürüm güncellemelerinden sonraki iki ay içinde yapılan iyileştirmelerin grafiksel bir temsilini ekledi.
Gillham’ın belirlediği çalışmanın analiziyle ilgili ek sorunlar arasında küçük bir örneklem boyutu (54), yanlış sınıflandırılmış cevaplar ve yalnızca iki ücretli aracın dahil edilmesi vardı.
Veriler ve test materyalleri, çalışmanın sonunda yer alan URL’de mevcut olmalıdır. Veriler için iki hafta boyunca yapılan bir talep cevapsız kalır.
Yapay Zeka Uzmanlarının Yapay Zeka Tespit Araçları Hakkında Söyledikleri
Başkalarının yapay zeka dedektörleriyle ilgili deneyimleri hakkında ne söylediklerini öğrenmek için HARO topluluğunu sorguladım, bu da istemeden kendi çalışmama yol açtı.
Bir noktada, iki dakika içinde farklı kaynaklardan gelen ve şüpheli görünen yinelenen yanıtlar olan beş yanıt aldım.
Bu sorgu için aldığım tüm HARO yanıtlarında Originality.ai’yi kullanmaya karar verdim. Kişisel deneyimime ve bilimsel olmayan testlere dayanarak, bu özel aracı yenmek zor görünüyordu.
Originality.ai, bu yanıtların çoğunun yapay zeka tarafından oluşturulduğunu %100 güvenle saptadı.
Öncelikli olarak insan kaynaklı olarak gelen tek HARO yanıtları, görüşme yapmak isteyebileceğim potansiyel kaynaklara yönelik bire iki cümlelik tanıtımlardı.
ChatGPT’nin HARO yanıtları yazmasına yönelik Chrome uzantıları olduğundan, bu sonuçlar sürpriz olmadı.
FTC’nin Yapay Zeka Tespit Araçları Hakkında Söylemesi Gerekenler
AI araçlarının üretilen içeriği tespit etme yeteneklerini abartmaya karşı, yanlış pazarlama iddialarının tüketici koruma yasalarını ihlal edebileceği konusunda uyarıda bulunuyor.
Teknolojinin sınırlamaları olduğu için, tüketicilere ayrıca yapay zeka tespit araçlarının tüm yapay içeriği güvenilir bir şekilde tanımlayabileceği iddialarına şüpheyle yaklaşmaları tavsiye edildi.
FTC, yapay zeka algılama araçlarıyla ilgili pazarlama iddialarını doğrulamak için sağlam bir değerlendirmenin gerekli olduğunu söyledi.
Anayasayı Yazmak İçin Yapay Zeka Kullanıldı mı?
Yapay zeka tespit araçları, kullanıcılar ABD Anayasasını yapay zekanın yazmış olma olasılığını keşfettiklerinde manşetlere taşındı.
Ars Technica’da, AI yazma algılama araçlarının ABD Anayasası gibi metinleri neden genellikle yanlış bir şekilde AI tarafından oluşturulmuş olarak tanımladığını açıkladı.
Tarihsel ve biçimsel dil, genellikle yapay zeka yazmanın göstergeleri olarak yorumladıkları düşük “şaşkınlık” ve “patlama” puanları verir.
İnsan yazarlar, benzer puanlarla sonuçlanan ortak ifadeler ve biçimsel stiller kullanabilir.
Bu alıştırma, FTC’nin tüketicilerin AI dedektör puanlarına şüpheyle yaklaşması gerektiğini daha da kanıtladı.
Güçlü Yönler ve Sınırlamalar
Çeşitli çalışmalardan elde edilen bulgular, AI algılama araçlarının güçlü yönlerini ve sınırlamalarını vurgulamaktadır.
AI tarafından oluşturulan metni tespit ederken, aynı zamanda kaçınma tekniklerine karşı önyargılar, kullanılabilirlik sorunları ve güvenlik açıkları sergilediler.
Ancak çalışmaların kendileri kusurlu olabilir ve her şeyi spekülasyona açık bırakabilir.
Önyargıları ele almak, sağlamlığı artırmak ve farklı bağlamlarda doğru algılamayı sağlamak için iyileştirmelere ihtiyaç vardır.
Sürekli araştırma ve geliştirme, yapay zeka dedektörlerine olan güveni artırmak ve daha adil ve güvenli bir dijital manzara oluşturmak için çok önemlidir.