ChatGPT comprend-il correctement le changement climatique ?
Des chercheurs berlinois étudient la fiabilité avec laquelle ChatGPT fournit des informations scientifiquement fondées sur le changement climatique. Ils constatent que l'IA fournit la plupart du temps des réponses correctes, mais qu'il ne faut en aucun cas lui faire aveuglément confiance. Une vérification des sources est plus importante que jamais - mais elle est loin d'être simple.
ChatGPT et d'autres grands modèles linguistiques basés sur l'apprentissage automatique et de grands ensembles de données pénètrent dans presque tous les domaines de la société. Les entreprises ou les chercheurs qui ne font pas appel à eux sont de plus en plus considérés comme anachroniques. Mais les informations fournies par les intelligences artificielles sont-elles suffisamment fiables ? Des scientifiques de l'Université technique de Berlin l'ont testé en se basant sur le changement climatique. Pour ce faire, ils ont posé à ChatGPT des questions sur le sujet et ont analysé les réponses en termes de précision, de pertinence et d'éventuelles erreurs et contradictions.
Ses capacités impressionnantes ont fait de ChatGPT une source potentielle sur de nombreux sujets différents, écrit l'équipe berlinoise dans son travail paru dans "Ökologisches Wirtschaften". Toutefois, même les développeurs eux-mêmes ne pourraient pas expliquer comment une réponse donnée a été obtenue. Cela peut encore être acceptable pour des tâches créatives comme l'écriture d'un poème. Mais pour des sujets tels que les conséquences du changement climatique, qui nécessitent des informations précises et factuelles, c'est un problème.
C'est pourquoi il est important d'étudier la qualité des réponses données par ChatGPT dans de tels domaines, expliquent les chercheurs. Il s'agit notamment de séparer les informations erronées dans le débat public et les médias des connaissances scientifiquement fondées.
Hallucinations et suppositions dénuées de sens
Ce n'est déjà pas facile. La situation est encore compliquée par le fait que l'IA peut "halluciner". Cela signifie que ChatGPT émet des affirmations factuelles qui ne peuvent être étayées par aucune source. De plus, le modèle linguistique a tendance à "faire des suppositions inutiles au lieu de rejeter les questions sans réponse", selon l'équipe de TU.
Le grand danger est que les utilisateurs de ChatGPT prennent les réponses erronées ou fausses pour argent comptant, car elles sont plausibles et formulées de manière sémantiquement correcte. Des recherches antérieures ont montré que les gens accordaient plus de poids aux conseils de l'IA s'ils n'étaient pas familiers avec le sujet traité, s'ils avaient déjà utilisé ChatGPT auparavant et s'ils avaient reçu des conseils précis du modèle, écrivent les chercheurs.
L'équipe berlinoise s'intéresse particulièrement à cette thématique, car elle développe, avec le projet de recherche Green Consumption Assistant, un assistant assisté par IA qui aide les consommateurs à prendre des décisions d'achat plus durables sur Internet. Les recherches menées jusqu'à présent n'ont mis en lumière que les possibilités de ChatGPT, mais ne reflètent pas ses capacités à répondre aux questions sur le changement climatique, écrivent les chercheurs.
Pour clarifier ce point, ils ont posé 95 questions à ChatGPT. Ils ont évalué les réponses en termes de précision, de pertinence et d'absence de contradiction. L'équipe a vérifié la qualité des réponses à l'aide de sources d'information publiques et fiables sur le changement climatique, comme le dernier rapport du Groupe d'experts intergouvernemental sur l' évolution du climat (GIEC).
Des réponses de grande qualité pour la plupart
Les chercheurs ont tenu compte du fait que le modèle linguistique est en constante évolution. Ils ont notamment vérifié si une entrée (prompt) donnait des résultats différents à différents moments. La première série de questions a eu lieu en février dernier avec ChatGPT-3.5, tandis que la deuxième série de questions a été réalisée à la mi-mai de cette année avec la version suivante du modèle. Récemment, sa base de connaissances a été mise à jour et s'étend désormais jusqu'en avril 2023, alors qu'auparavant le modèle ne disposait d'informations que jusqu'en septembre 2021.
Les résultats pourraient donc être différents aujourd'hui. Pour les études suivantes, les chercheurs proposent de poser davantage de questions à des intervalles plus courts. Les chercheurs voient d'autres limites à leur travail dans le fait que le nombre d'experts chargés d'évaluer les réponses pourrait être insuffisant. De plus, les questions et leur formulation ne sont pas basées sur les données actuelles des utilisateurs. Les gens pourraient aujourd'hui poser d'autres questions à ChatGPT, formulées de manière différente, qui produiraient des résultats différents.
Le travail de recherche publié aujourd'hui a montré que la qualité des réponses du modèle est en principe élevée. En moyenne, elle a été évaluée à 8,25 points sur 10. "Nous avons observé que ChatGPT fournit des arguments équilibrés et nuancés et qu'il conclut de nombreuses réponses par un commentaire qui encourage l'examen critique afin d'éviter les réponses biaisées", explique Maike Gossen de l'Université technique de Berlin. Par exemple, dans sa réponse à la question "Comment la vie marine est-elle affectée par le changement climatique et comment peut-on réduire les impacts négatifs ?", ChatGPT n'a pas seulement mentionné la réduction des émissions de gaz à effet de serre - mais aussi ?
la réduction des impacts non climatiques des activités humaines, comme la surpêche et la pollution.
Un taux d'erreur pertinent
La précision de plus de la moitié des réponses a même été évaluée sur 10 points. Il ne faut toutefois pas s'attendre à ce que les résultats soient toujours aussi élevés. En effet, pour 6,25 % des réponses, la précision n'a pas dépassé 3 points, et pour 10 %, la pertinence n'a pas dépassé 3 points.
Parmi les questions auxquelles il a été répondu de manière imprécise, l'erreur la plus fréquente a été causée par des hallucinations de faits. Par exemple, la réponse de ChatGPT à la question "Quel pourcentage de déchets recyclables l'Allemagne recycle-t-elle réellement ?" était correcte dans les grandes lignes, mais pas dans les détails. Selon l'Agence fédérale de l'environnement, il était de 67,4 % en 2020, alors que ChatGPT a indiqué 63 %.
ChatGPT invente, mais semble crédible
Dans certains cas, ChatGPT a généré des informations fausses ou falsifiées, comme des références inventées ou des liens falsifiés, notamment vers de prétendus articles et contributions dans des publications scientifiques. D'autres erreurs sont apparues dans des cas où ChatGPT citait des sources ou des ouvrages scientifiques concrets et corrects, mais en tirait des conclusions erronées.
Les chercheurs ont également pu observer que des réponses inexactes étaient formulées de manière si plausible par ChatGPT qu'elles étaient perçues à tort comme correctes. "Étant donné que les générateurs de texte comme ChatGPT sont entraînés à donner des réponses qui semblent correctes pour les humains, le style de réponse assuré peut amener les gens à croire que la réponse est correcte", explique Maike Gossen.
De même, l'équipe a rencontré des informations erronées dans le discours social, ou des préjugés. Ainsi, certaines des réponses erronées de ChatGPT reflétaient des idées fausses sur les mesures efficaces contre le changement climatique. Il s'agit notamment de la surestimation des changements de comportement individuels, mais aussi de mesures individuelles à faible impact qui freinent les changements structurels et collectifs ayant un impact plus important. Parfois, les réponses semblaient également excessivement optimistes quant aux solutions technologiques comme moyen central d'atténuer le changement climatique.
Une source précieuse mais faillible
Les grands modèles linguistiques comme ChatGPT pourraient être une source d'information précieuse sur le changement climatique, résument les scientifiques. Mais ils risquent de diffuser et de promouvoir des informations erronées sur le changement climatique, car ils reflètent des faits déjà dépassés et des idées fausses.
Leur étude succincte montre qu'il est plus important que jamais de vérifier les sources en ce qui concerne les informations sur l'environnement et le climat. Or, reconnaître les réponses erronées nécessite souvent des connaissances détaillées dans le domaine concerné, précisément parce qu'elles semblent plausibles à première vue.
Source: www.ntv.de
