ChatGPT iklim değişikliğini doğru anlıyor mu?
Berlinli araştırmacılar ChatGPT'nin iklim değişikliği konusunda bilimsel olarak ne kadar güvenilir bilgi sağladığını araştırıyor. Yapay zekanın genellikle doğru yanıtlar verdiğini, ancak asla körü körüne güvenilmemesi gerektiğini buldular. Kaynakları kontrol etmek her zamankinden daha önemli ama bir o kadar da kolay.
ChatGPT ve makine öğrenimine dayalı diğer büyük dil modelleri ve büyük veri setleri toplumun neredeyse tüm alanlarına nüfuz ediyor. Bunları kullanmayan şirketler veya araştırmacılar giderek daha fazla çağdışı olarak görülüyor. Peki yapay zeka tarafından sağlanan bilgiler yeterince güvenilir mi? Berlin Teknik Üniversitesi'ndeki bilim insanları bunu iklim değişikliği temelinde test etti. ChatGPT'ye konuyla ilgili sorular sordular ve yanıtları doğruluk, uygunluk ve olası hatalar ve çelişkiler açısından analiz ettiler.
Berlin ekibi "Ökologisches Wirtschaften" dergisinde yayınlanan makalede, ChatGPT'nin etkileyici yeteneklerinin onu pek çok farklı konuda potansiyel bir kaynak haline getirdiğini belirtiyor. Ancak, geliştiricilerin kendileri bile belirli bir cevabın nasıl ortaya çıktığını açıklayamıyordu. Bu durum şiir yazmak gibi yaratıcı görevler için uygun olabilir. Ancak iklim değişikliğinin sonuçları gibi doğru ve gerçeklere dayalı bilginin önemli olduğu konularda bu bir sorun teşkil etmektedir.
Araştırmacılara göre bu nedenle ChatGPT'nin bu tür konularda verdiği yanıtların kalitesini analiz etmek önemli. Diğer şeylerin yanı sıra, kamusal tartışmalar ve medyadaki yanlış bilgileri bilimsel olarak sağlam bulgulardan ayırmak önemlidir.
Halüsinasyonlar ve anlamsız varsayımlar
Bu hiç de kolay değil. İşleri daha da kötüleştirmek için, yapay zeka "halüsinasyon" görebilir. Bu da ChatGPT'nin herhangi bir kaynak tarafından doğrulanamayan gerçeklere dayalı iddialarda bulunduğu anlamına geliyor. Ayrıca, TU ekibine göre, dil modeli "cevaplanamayan soruları reddetmek yerine anlamsız varsayımlarda bulunma" eğilimindedir.
En büyük tehlike, ChatGPT kullanıcılarının yanlış ya da hatalı cevapları, makul ve anlamsal olarak doğru bir şekilde formüle edildikleri için olduğu gibi kabul etmeleridir. Araştırmacılar, daha önceki araştırmaların, tartışılan konuya aşina olmayan, ChatGPT'yi daha önce kullanmış ve modelden doğru tavsiyeler almış kişilerin yapay zekanın tavsiyelerine daha fazla ağırlık verdiğini gösterdiğini belirtiyor.
Berlin ekibi, tüketicileri çevrimiçi ortamda daha sürdürülebilir satın alma kararları vermeleri konusunda destekleyen Yeşil Tüketim Asistanı araştırma projesi ile yapay zeka destekli bir asistan geliştirdiği için konuyla özellikle ilgileniyor. Araştırmacılar, önceki araştırmaların sadece ChatGPT'nin olanaklarını vurguladığını, ancak iklim değişikliği ile ilgili soruları yanıtlama yeteneğini yansıtmadığını belirtiyor.
Bunu açıklığa kavuşturmak için ChatGPT'ye toplam 95 soru sordular. Cevapları doğruluk, alaka düzeyi ve tutarlılık açısından değerlendirdiler. Ekip, Hükümetlerarası İklim Değişikliği Paneli 'nin (IPCC) son raporu gibi iklim değişikliğiyle ilgili kamuya açık ve güvenilir bilgi kaynaklarını kullanarak cevapların kalitesini kontrol etti.
Çoğunlukla yüksek kaliteli cevaplar
Araştırmacılar, dil modelinin sürekli olarak daha da geliştirilmekte olduğu gerçeğini dikkate aldılar. Örneğin, bir girdinin (istem) farklı zamanlarda farklı sonuçlar verip vermediğini kontrol ettiler. İlk tur geçtiğimiz Şubat ayında ChatGPT-3.5 ile gerçekleştirilirken, ikinci soru seti bu yılın Mayıs ayı ortasında modelin bir sonraki versiyonu ile gerçekleştirildi. Kısa bir süre önce bilgi tabanı güncellendi ve artık Nisan 2023'e kadar uzanıyor. Daha önce modelde yalnızca Eylül 2021'e kadar bilgi vardı.
Dolayısıyla sonuçlar bugün farklı olabilir. Araştırmacılar, takip çalışmaları için daha kısa aralıklarla daha fazla soru sorulmasını öneriyor. Araştırmacılar, cevapları değerlendirecek uzman sayısının muhtemelen yetersiz olmasının çalışmalarında başka kısıtlamalar yarattığını düşünüyor. Buna ek olarak, sorular ve formülasyonları mevcut kullanıcı verilerine dayanmamaktadır. Bugün insanlar ChatGPT'ye farklı bir şekilde formüle edilmiş farklı sorular sorabilir ve bu da farklı sonuçlar doğurabilir.
Şu anda yayınlanmış olan araştırma çalışması, modelin cevaplarının kalitesinin genel olarak yüksek olduğunu göstermiştir. Ortalama olarak 10 üzerinden 8,25 puan almıştır. TU Berlin'den Maike Gossen, "ChatGPT'nin dengeli ve nüanslı argümanlar sunduğunu ve birçok cevabı, önyargılı cevaplardan kaçınmak için eleştirel incelemeyi teşvik eden bir yorumla sonlandırdığını gözlemledik" diyor. Örneğin, "Deniz yaşamı iklim değişikliğinden nasıl etkilenir ve olumsuz etkiler nasıl azaltılabilir?" sorusuna verdiği cevapta ChatGPT sadece sera gazı emisyonlarının azaltılmasından bahsetmekle kalmamış, aynı zamanda ?
Aşırı avlanma ve kirlilik gibi insan faaliyetlerinin iklimsel olmayan etkilerinin azaltılması.
İlgili hata oranı
Cevapların yarısından fazlasının doğruluğu 10 puana kadar yükselmiştir. Ancak, sonuçların her zaman bu kadar yüksek olacağına güvenilmemelidir. Sonuçta, cevapların yüzde 6,25'i doğruluk açısından 3 puandan, yüzde 10'u ise uygunluk açısından 3 puandan fazla alamamıştır.
Yanlış cevaplanan sorular arasında en yaygın hata, gerçeklerin halüsinasyonundan kaynaklanmıştır. Örneğin, ChatGPT'nin "Almanya'da geri dönüştürülebilir atıkların yüzde kaçı gerçekten geri dönüştürülüyor?" sorusuna verdiği cevap genel hatlarıyla doğruydu, ancak ayrıntılarıyla değil. Federal Çevre Ajansı'na göre 2020 yılında bu oran yüzde 67,4 iken ChatGPT yüzde 63 olarak belirtmiştir.
ChatGPT icat ediyor ama inandırıcı görünüyor
Bazı durumlarda ChatGPT, bilimsel yayınlardaki sözde makaleler ve katkılar da dahil olmak üzere, uydurma referanslar veya sahte bağlantılar gibi yanlış veya tahrif edilmiş bilgiler üretmiştir. ChatGPT'nin somut ve doğru bilimsel kaynaklar veya literatür sağladığı, ancak bunlardan yanlış sonuçlar çıkardığı durumlarda daha fazla hata meydana geldi.
Araştırmacılar ayrıca, yanlış cevapların ChatGPT tarafından o kadar makul bir şekilde formüle edildiğini ve yanlış bir şekilde doğru olarak algılandığını gözlemledi. Maike Gossen, "ChatGPT gibi metin oluşturucular insanlara doğru gelen cevaplar vermek üzere eğitildikleri için, kendinden emin cevaplama tarzı insanları cevabın doğru olduğuna inandırabilir" diyor.
Ekip ayrıca sosyal söylemde yanlış bilgilere ve önyargılara da rastladı. Örneğin, ChatGPT'den gelen yanlış cevaplardan bazıları, iklim değişikliğiyle mücadelede etkili önlemler hakkındaki yanlış anlamaları yansıtıyordu. Bunlar arasında bireysel davranış değişikliklerine aşırı değer verilmesinin yanı sıra, daha büyük etkiye sahip yapısal ve kolektif değişiklikleri yavaşlatan, çok az etkiye sahip bireysel önlemler de yer almaktadır. Zaman zaman, yanıtların iklim değişikliğini azaltmanın temel yolu olarak teknolojik çözümler konusunda aşırı iyimser olduğu da görülmüştür.
Değerli ama hatalı kaynak
Araştırmacılar ChatGPT gibi büyük dil modellerinin iklim değişikliği konusunda değerli bir bilgi kaynağı olabileceğini belirtiyor. Ancak, güncel olmayan gerçekleri ve yanlış anlamaları yansıttıkları için iklim değişikliği hakkında yanlış bilgileri yayma ve teşvik etme riski vardır.
Bu kısa çalışma, çevre ve iklim bilgi kaynaklarını kontrol etmenin her zamankinden daha önemli olduğunu gösteriyor. Ancak, ilk bakışta makul göründükleri için yanlış cevapların farkına varmak, genellikle ilgili konu alanında ayrıntılı uzmanlık bilgisi gerektirmektedir.
Kaynakwww.ntv.de