¿Entiende ChatGPT correctamente el cambio climático?
Investigadores berlineses estudian hasta qué punto ChatGPT proporciona información científicamente fiable sobre el cambio climático. Han descubierto que la IA suele dar respuestas correctas, pero que nunca hay que confiar ciegamente en ella. Comprobar las fuentes es más importante que nunca, pero nada fácil.
ChatGPT y otros grandes modelos lingüísticos basados en aprendizaje automático y grandes conjuntos de datos están penetrando en casi todos los ámbitos de la sociedad. Las empresas o investigadores que no los utilizan son vistos cada vez más como anacrónicos. Pero, ¿es suficientemente fiable la información que proporciona la inteligencia artificial? Científicos de la Universidad Técnica de Berlín lo han puesto a prueba basándose en el cambio climático. Hicieron preguntas a ChatGPT sobre el tema y analizaron las respuestas en busca de precisión, relevancia y posibles errores y contradicciones.
Sus impresionantes capacidades convirtieron a ChatGPT en una fuente potencial sobre muchos temas diferentes, escribe el equipo de Berlín en el artículo publicado en "Ökologisches Wirtschaften". Sin embargo, ni siquiera los propios desarrolladores podían explicar cómo se había llegado a una respuesta concreta. Esto puede estar bien para tareas creativas, como escribir un poema. Sin embargo, para temas como las consecuencias del cambio climático, en los que es importante disponer de información precisa y basada en hechos, esto supone un problema.
Por eso, según los investigadores, es importante analizar la calidad de las respuestas que da ChatGPT en estos temas. Entre otras cosas, es importante separar la desinformación en el debate público y en los medios de comunicación de las conclusiones científicamente sólidas.
Alucinaciones y suposiciones sin sentido
Esto no es fácil. Para colmo, la IA puede "alucinar". Esto significa que ChatGPT hace afirmaciones objetivas que no pueden ser corroboradas por ninguna fuente. Además, el modelo lingüístico tiende a "hacer suposiciones sin sentido en lugar de rechazar preguntas sin respuesta", según el equipo de la TU.
El gran peligro es que los usuarios de ChatGPT se toman al pie de la letra las respuestas incorrectas o falsas, ya que están formuladas de forma plausible y semánticamente correcta. Investigaciones anteriores habían demostrado que las personas valoraban más los consejos de la IA si no estaban familiarizadas con el tema tratado, habían utilizado ChatGPT antes y habían recibido consejos precisos del modelo, escriben los investigadores.
El equipo de Berlín está especialmente interesado en el tema, ya que está desarrollando un asistente asistido por IA con el proyecto de investigación Green Consumption Assistant, que ayuda a los consumidores a tomar decisiones de compra más sostenibles en Internet. Investigaciones anteriores sólo habían destacado las posibilidades de ChatGPT, pero no reflejaban su capacidad para responder a preguntas sobre el cambio climático, escriben los investigadores.
Para aclarar esto, plantearon a ChatGPT un total de 95 preguntas. Evaluaron las respuestas en términos de precisión, relevancia y coherencia. El equipo comprobó la calidad de las respuestas utilizando fuentes públicas y fiables de información sobre el cambio climático, como el último informe del Grupo Intergubernamental de Expertos sobre el Cambio Climático (IPCC).
Respuestas mayoritariamente de alta calidad
Los investigadores tuvieron en cuenta que el modelo lingüístico está en constante desarrollo. Por ejemplo, comprobaron si una entrada (prompt) daba resultados diferentes en distintos momentos. La primera ronda tuvo lugar el pasado mes de febrero con ChatGPT-3.5, mientras que la segunda serie de preguntas se realizó a mediados de mayo de este año con la versión posterior del modelo. Recientemente, su base de conocimientos recibió una actualización y ahora se extiende hasta abril de 2023. Anteriormente, el modelo sólo disponía de información hasta septiembre de 2021.
Por tanto, los resultados podrían ser diferentes hoy. Para los estudios de seguimiento, los investigadores sugieren más rondas de preguntas a intervalos más cortos. Los investigadores ven otras limitaciones de su trabajo en el número posiblemente insuficiente de expertos para evaluar las respuestas. Además, las preguntas y su formulación no se basaron en los datos actuales de los usuarios. Hoy en día, la gente podría hacer a ChatGPT preguntas diferentes, formuladas de otra manera, que producirían resultados distintos.
El trabajo de investigación que se ha publicado ahora ha demostrado que la calidad de las respuestas del modelo es, en general, alta. Por término medio, obtuvo una puntuación de 8,25 sobre 10 puntos. "Hemos observado que ChatGPT proporciona argumentos equilibrados y matizados y concluye muchas respuestas con un comentario que anima al escrutinio crítico para evitar respuestas sesgadas", afirma Maike Gossen, de la TU de Berlín. Por ejemplo, en su respuesta a la pregunta "¿Cómo afecta el cambio climático a la vida marina y cómo pueden reducirse los impactos negativos?", ChatGPT no sólo menciona la reducción de las emisiones de gases de efecto invernadero, sino también la?
reducción de los impactos no climáticos de las actividades humanas, como la sobrepesca y la contaminación.
Tasa de error relevante
La precisión de más de la mitad de las respuestas alcanzó los 10 puntos. Sin embargo, no hay que confiar en que los resultados sean siempre tan altos. Al fin y al cabo, el 6,25% de las respuestas no superó los 3 puntos en precisión y el 10% no superó los 3 puntos en relevancia.
Entre las preguntas que se respondieron de forma inexacta, el error más común se debió a alucinaciones sobre los hechos. Por ejemplo, la respuesta de ChatGPT a la pregunta "¿Qué porcentaje de residuos reciclables se recicla realmente en Alemania?" era correcta a grandes rasgos, pero no en detalle. Según la Agencia Federal de Medio Ambiente, era del 67,4% en 2020, mientras que ChatGPT afirmaba que era del 63%.
ChatGPT inventa, pero parece creíble
En algunos casos, ChatGPT generó información falsa o falsificada, como referencias inventadas o enlaces falsos, incluso a supuestos artículos y contribuciones en publicaciones científicas. Otros errores se produjeron en casos en los que ChatGPT proporcionó fuentes o bibliografía científica concreta y correcta, pero extrajo de ellas conclusiones falsas.
Los investigadores también observaron que las respuestas inexactas eran formuladas de forma tan plausible por ChatGPT que se percibían falsamente como correctas. "Como los generadores de texto como ChatGPT están entrenados para dar respuestas que a la gente le parezcan correctas, el estilo confiado de las respuestas puede inducir a error y hacer creer que la respuesta es correcta", afirma Maike Gossen.
El equipo también se topó con desinformación en el discurso social y prejuicios. Por ejemplo, algunas de las respuestas incorrectas de ChatGPT reflejaban malentendidos sobre las medidas eficaces para combatir el cambio climático. Entre ellas, la sobrevaloración de los cambios de comportamiento individuales, pero también medidas individuales con escaso impacto que frenan cambios estructurales y colectivos con mayor impacto. En ocasiones, las respuestas también parecían demasiado optimistas sobre las soluciones tecnológicas como vía clave para mitigar el cambio climático.
Fuente valiosa pero falible
Los investigadores resumen que los grandes modelos lingüísticos como ChatGPT pueden ser una valiosa fuente de información sobre el cambio climático. Sin embargo, existe el riesgo de que difundan y promuevan información falsa sobre el cambio climático porque reflejan hechos obsoletos y malentendidos.
Su breve estudio demuestra que comprobar las fuentes de información sobre el medio ambiente y el clima es más importante que nunca. Sin embargo, para reconocer las respuestas falsas a menudo se requieren conocimientos especializados detallados en la materia correspondiente, precisamente porque a primera vista parecen verosímiles.
Fuente: www.ntv.de
