Înțelege ChatGPT corect schimbările climatice?
Cercetătorii din Berlin investighează cât de fiabil este ChatGPT în furnizarea de informații științifice solide privind schimbările climatice. Aceștia au constatat că inteligența artificială oferă, de obicei, răspunsuri corecte, dar că nu ar trebui niciodată să se aibă încredere oarbă în ea. Verificarea surselor este mai importantă ca niciodată - dar nu este deloc ușor.
ChatGPT și alte modele lingvistice de mari dimensiuni bazate pe învățarea automată și pe seturi mari de date pătrund în aproape toate domeniile societății. Companiile sau cercetătorii care nu le utilizează sunt din ce în ce mai mult considerați anacronici. Dar sunt informațiile furnizate de inteligența artificială suficient de fiabile? Oamenii de știință de la Universitatea Tehnică din Berlin au testat acest lucru pe baza schimbărilor climatice. Aceștia au adresat întrebări ChatGPT pe această temă și au analizat răspunsurile în ceea ce privește acuratețea, relevanța și eventualele erori și contradicții.
Capacitățile sale impresionante au făcut din ChatGPT o sursă potențială pe multe subiecte diferite, scrie echipa din Berlin în lucrarea publicată în "Ökologisches Wirtschaften". Cu toate acestea, nici măcar dezvoltatorii înșiși nu au putut explica cum s-a ajuns la un anumit răspuns. Acest lucru ar putea fi totuși în regulă pentru sarcini creative, cum ar fi scrierea unui poem. Cu toate acestea, pentru subiecte precum consecințele schimbărilor climatice, unde informațiile exacte și bazate pe fapte sunt importante, acest lucru reprezintă o problemă.
Prin urmare, potrivit cercetătorilor, este important să se analizeze calitatea răspunsurilor pe care ChatGPT le oferă în astfel de domenii. Printre altele, este important să se facă distincția între dezinformarea din dezbaterea publică și din mass-media și constatările solide din punct de vedere științific.
Halucinații și presupuneri inutile
Acest lucru nu este ușor. Pentru a înrăutăți situația, IA poate avea "halucinații". Acest lucru înseamnă că ChatGPT face afirmații factuale care nu pot fi susținute de nicio sursă. În plus, modelul lingvistic tinde să "facă presupuneri fără sens în loc să respingă întrebările fără răspuns", potrivit echipei TU.
Marele pericol este ca utilizatorii ChatGPT să ia de bune răspunsurile incorecte sau false, deoarece acestea sunt formulate în mod plauzibil și corect din punct de vedere semantic. Cercetările anterioare au arătat că oamenii pun mai mult preț pe sfaturile AI dacă nu erau familiarizați cu subiectul discutat, dacă au mai folosit ChatGPT și dacă au primit sfaturi corecte din partea modelului, scriu cercetătorii.
Echipa de la Berlin este deosebit de interesată de acest subiect, deoarece dezvoltă un asistent asistat de IA în cadrul proiectului de cercetare Green Consumption Assistant, care sprijină consumatorii în luarea unor decizii de cumpărare online mai durabile. Cercetările anterioare au evidențiat doar posibilitățile ChatGPT, dar nu au reflectat capacitatea acestuia de a răspunde la întrebări despre schimbările climatice, scriu cercetătorii.
Pentru a clarifica acest lucru, ei au adresat ChatGPT un total de 95 de întrebări. Aceștia au evaluat răspunsurile în ceea ce privește acuratețea, relevanța și coerența. Echipa a verificat calitatea răspunsurilor folosind surse publice și fiabile de informații privind schimbările climatice, cum ar fi cel mai recent raport al Grupului interguvernamental de experți privind schimbările climatice (IPCC).
Răspunsuri de înaltă calitate în cea mai mare parte
Cercetătorii au ținut cont de faptul că modelul lingvistic este în continuă dezvoltare. De exemplu, ei au verificat dacă un input (prompt) a dat rezultate diferite în momente diferite. Prima rundă a avut loc în februarie anul trecut cu ChatGPT-3.5, în timp ce al doilea set de întrebări a fost realizat la jumătatea lunii mai a acestui an cu versiunea ulterioară a modelului. Recent, baza sa de cunoștințe a primit o actualizare și se extinde acum până în aprilie 2023. Anterior, modelul avea informații doar până în septembrie 2021.
Prin urmare, rezultatele ar putea fi diferite în prezent. Pentru studiile ulterioare, cercetătorii sugerează mai multe runde de întrebări la intervale mai scurte. Cercetătorii văd alte limitări ale activității lor în numărul posibil insuficient de experți care să evalueze răspunsurile. În plus, întrebările și formularea lor nu s-au bazat pe datele actuale ale utilizatorilor. În prezent, oamenii ar putea adresa ChatGPT întrebări diferite, formulate într-un mod diferit, care ar produce rezultate diferite.
Lucrările de cercetare care au fost publicate în prezent au arătat că, în general, calitatea răspunsurilor oferite de model este ridicată. În medie, acesta a fost evaluat cu 8,25 din 10 puncte. "Am observat că ChatGPT oferă argumente echilibrate și nuanțate și încheie multe răspunsuri cu un comentariu care încurajează examinarea critică pentru a evita răspunsurile tendențioase", spune Maike Gossen de la TU Berlin. De exemplu, în răspunsul său la întrebarea "Cum este afectată viața marină de schimbările climatice și cum pot fi reduse efectele negative?", ChatGPT nu a menționat doar reducerea emisiilor de gaze cu efect de seră - ci și ?
reducerea impactului non-climatic al activităților umane, cum ar fi pescuitul excesiv și poluarea.
Rata de eroare relevantă
Acuratețea a mai mult de jumătate dintre răspunsuri a fost evaluată cu până la 10 puncte. Cu toate acestea, nu trebuie să ne bazăm pe faptul că rezultatele sunt întotdeauna atât de ridicate. La urma urmei, 6,25 % dintre răspunsuri au obținut cel mult 3 puncte pentru acuratețe și 10 % au obținut cel mult 3 puncte pentru relevanță.
Dintre întrebările la care s-a răspuns inexact, cea mai frecventă eroare a fost cauzată de halucinații ale faptelor. De exemplu, răspunsul lui ChatGPT la întrebarea "Ce procent din deșeurile reciclabile este de fapt reciclat de Germania?" a fost corect în linii mari, dar nu și în detaliu. Potrivit Agenției Federale de Mediu, acesta era de 67,4 % în 2020, în timp ce ChatGPT a afirmat 63 %.
ChatGPT inventează, dar pare credibil
În unele cazuri, ChatGPT a generat informații false sau falsificate, cum ar fi referințe inventate sau linkuri false, inclusiv către presupuse articole și contribuții în publicații științifice. Alte erori au apărut în cazurile în care ChatGPT a furnizat surse sau literatură științifică concretă și corectă, dar a tras concluzii false din acestea.
Cercetătorii au observat, de asemenea, că răspunsurile inexacte au fost formulate de ChatGPT într-un mod atât de plauzibil încât au fost percepute în mod fals ca fiind corecte. "Deoarece generatoarele de text precum ChatGPT sunt antrenate să dea răspunsuri care sună corect pentru oameni, stilul de răspuns încrezător poate induce în eroare oamenii, făcându-i să creadă că răspunsul este corect", spune Maike Gossen.
Echipa a întâlnit, de asemenea, dezinformări în discursul social și prejudecăți. De exemplu, unele dintre răspunsurile incorecte din ChatGPT reflectau neînțelegeri cu privire la măsurile eficiente de combatere a schimbărilor climatice. Printre acestea se numără supraevaluarea schimbărilor comportamentale individuale, dar și a măsurilor individuale cu impact redus care încetinesc schimbările structurale și colective cu impact mai mare. Uneori, răspunsurile au părut, de asemenea, excesiv de optimiste în ceea ce privește soluțiile tehnologice ca modalitate esențială de atenuare a schimbărilor climatice.
O sursă valoroasă, dar falibilă
Modelele lingvistice de mari dimensiuni, cum ar fi ChatGPT, ar putea fi o sursă valoroasă de informații privind schimbările climatice, rezumă cercetătorii. Cu toate acestea, există riscul ca acestea să răspândească și să promoveze informații false despre schimbările climatice, deoarece reflectă fapte învechite și neînțelegeri.
Scurtul lor studiu arată că verificarea surselor de informații despre mediu și climă este mai importantă ca niciodată. Cu toate acestea, recunoașterea răspunsurilor false necesită adesea cunoștințe detaliate de specialitate în domeniul respectiv, tocmai pentru că acestea par plauzibile la prima vedere.
Sursawww.ntv.de