O ChatGPT compreende corretamente as alterações climáticas?
Os investigadores de Berlim estão a investigar a fiabilidade com que o ChatGPT fornece informações cientificamente sólidas sobre as alterações climáticas. Descobriram que a IA fornece geralmente respostas correctas, mas que nunca se deve confiar cegamente nela. A verificação das fontes é mais importante do que nunca - mas é tudo menos fácil.
O ChatGPT e outros modelos linguísticos de grande dimensão baseados na aprendizagem automática e em grandes conjuntos de dados estão a penetrar em quase todas as áreas da sociedade. As empresas ou os investigadores que não os utilizam são cada vez mais vistos como anacrónicos. Mas será que a informação fornecida pela inteligência artificial é suficientemente fiável? Os cientistas da Universidade Técnica de Berlim testaram esta questão com base nas alterações climáticas. Fizeram perguntas ao ChatGPT sobre o tema e analisaram as respostas quanto à exatidão, relevância e possíveis erros e contradições.
As suas impressionantes capacidades tornaram o ChatGPT uma fonte potencial sobre muitos temas diferentes, escreve a equipa de Berlim no artigo publicado na revista "Ökologisches Wirtschaften". No entanto, nem mesmo os próprios criadores conseguiram explicar como surgiu uma determinada resposta. Isto pode ser bom para tarefas criativas, como escrever um poema. No entanto, para temas como as consequências das alterações climáticas, em que é importante dispor de informações exactas e baseadas em factos, isto é um problema.
Por isso, segundo os investigadores, é importante analisar a qualidade das respostas que o ChatGPT fornece em tais áreas temáticas. Entre outras coisas, é importante separar a desinformação no debate público e nos media das conclusões cientificamente sólidas.
Alucinações e suposições sem sentido
Isto não é fácil. Para piorar a situação, a IA pode "alucinar". Isto significa que o ChatGPT faz afirmações factuais que não podem ser comprovadas por nenhuma fonte. Além disso, o modelo de linguagem tende a "fazer suposições sem sentido em vez de rejeitar perguntas sem resposta", segundo a equipa da TU.
O grande perigo é que os utilizadores do ChatGPT aceitem respostas incorrectas ou falsas pelo seu valor nominal, uma vez que estão formuladas de forma plausível e semanticamente correcta. Estudos anteriores mostraram que as pessoas davam mais importância aos conselhos da IA se não estivessem familiarizadas com o tema em discussão, se já tivessem utilizado o ChatGPT antes e se tivessem recebido conselhos correctos do modelo, escrevem os investigadores.
A equipa de Berlim está particularmente interessada no tema, uma vez que está a desenvolver um assistente apoiado por IA com o projeto de investigação Green Consumption Assistant, que apoia os consumidores na tomada de decisões de compra mais sustentáveis em linha. A investigação anterior tinha apenas destacado as possibilidades do ChatGPT, mas não reflectia a sua capacidade de responder a perguntas sobre as alterações climáticas, escrevem os investigadores.
Para clarificar esta questão, colocaram ao ChatGPT um total de 95 perguntas. Avaliaram as respostas em termos de exatidão, pertinência e coerência. A equipa verificou a qualidade das respostas utilizando fontes de informação públicas e fiáveis sobre as alterações climáticas, como o último relatório do Painel Intergovernamental sobre as Alterações Climáticas (IPCC).
Respostas maioritariamente de elevada qualidade
Os investigadores tiveram em conta o facto de o modelo linguístico estar em constante desenvolvimento. Por exemplo, verificaram se uma entrada (prompt) produzia resultados diferentes em alturas diferentes. A primeira ronda teve lugar em fevereiro passado com o ChatGPT-3.5, enquanto o segundo conjunto de perguntas foi realizado em meados de maio deste ano com a versão subsequente do modelo. Recentemente, a sua base de conhecimentos foi actualizada e estende-se agora até abril de 2023. Anteriormente, o modelo só tinha informações até setembro de 2021.
Por conseguinte, os resultados poderiam ser diferentes atualmente. Para estudos de acompanhamento, os investigadores sugerem mais rondas de perguntas a intervalos mais curtos. Os investigadores vêem outras limitações ao seu trabalho no número possivelmente insuficiente de peritos para avaliar as respostas. Além disso, as perguntas e a sua formulação não se basearam nos dados actuais dos utilizadores. Atualmente, as pessoas poderiam fazer perguntas diferentes ao ChatGPT, formuladas de uma forma diferente, o que produziria resultados diferentes.
O trabalho de investigação agora publicado mostrou que a qualidade das respostas do modelo é geralmente elevada. Em média, obteve uma classificação de 8,25 em 10 pontos. "Observámos que o ChatGPT apresenta argumentos equilibrados e matizados e conclui muitas respostas com um comentário que incentiva o exame crítico para evitar respostas tendenciosas", afirma Maike Gossen da TU Berlin. Por exemplo, na sua resposta à pergunta "Como é que a vida marinha é afetada pelas alterações climáticas e como podem ser reduzidos os impactos negativos?", o ChatGPT não só mencionou a redução das emissões de gases com efeito de estufa - mas também a?
Redução dos impactos não climáticos das actividades humanas, como a sobrepesca e a poluição.
Taxa de erro relevante
A exatidão de mais de metade das respostas foi classificada com 10 pontos. No entanto, não se deve esperar que os resultados sejam sempre tão elevados. Afinal, 6,25% das respostas não obtiveram mais de 3 pontos para a exatidão e 10% não obtiveram mais de 3 pontos para a relevância.
Entre as perguntas que foram respondidas de forma incorrecta, o erro mais comum foi causado por alucinações de factos. Por exemplo, a resposta do ChatGPT à pergunta "Que percentagem de resíduos recicláveis é efetivamente reciclada na Alemanha?" estava correcta em linhas gerais, mas não em pormenor. De acordo com a Agência Federal do Ambiente, era de 67,4 por cento em 2020, enquanto ChatGPT afirmava 63 por cento.
ChatGPT inventa, mas parece credível
Nalguns casos, o ChatGPT gerou informações falsas ou falsificadas, tais como referências inventadas ou ligações falsas, incluindo a alegados artigos e contribuições em publicações científicas. Outros erros ocorreram nos casos em que o ChatGPT forneceu fontes ou literatura científica concretas e correctas, mas tirou conclusões falsas a partir delas.
Os investigadores também observaram que as respostas incorrectas eram formuladas de forma tão plausível pelo ChatGPT que eram falsamente consideradas correctas. "Uma vez que os geradores de texto como o ChatGPT são treinados para dar respostas que pareçam correctas para as pessoas, o estilo de resposta confiante pode levar as pessoas a acreditar que a resposta está correcta", diz Maike Gossen.
A equipa também se deparou com desinformação no discurso social e preconceitos. Por exemplo, algumas das respostas incorrectas do ChatGPT reflectiam mal-entendidos sobre medidas eficazes para combater as alterações climáticas. Estas incluem a sobrevalorização de mudanças de comportamento individuais, mas também medidas individuais com pouco impacto que atrasam mudanças estruturais e colectivas com maior impacto. Por vezes, as respostas também pareciam ser demasiado optimistas em relação às soluções tecnológicas como forma de mitigar as alterações climáticas.
Fonte valiosa mas falível
Os investigadores resumem que os grandes modelos linguísticos, como o ChatGPT, podem ser uma fonte valiosa de informação sobre as alterações climáticas. No entanto, existe o risco de divulgarem e promoverem informações falsas sobre as alterações climáticas, uma vez que reflectem factos ultrapassados e mal-entendidos.
Este pequeno estudo mostra que a verificação das fontes de informação sobre o ambiente e o clima é mais importante do que nunca. No entanto, o reconhecimento de respostas falsas requer muitas vezes um conhecimento especializado pormenorizado na respectiva área temática, precisamente porque parecem plausíveis à primeira vista.
Fontewww.ntv.de
