Versteht ChatGPT den Klimawandel richtig?
Berliner Forscher untersuchen die Zuverlässigkeit von ChatGPT bei der Bereitstellung wissenschaftlicher Informationen zum Klimawandel. Sie fanden heraus, dass KI oft die richtige Antwort liefert, man ihr aber auf keinen Fall blind vertrauen sollte. Die Überprüfung des Quellcodes ist wichtiger denn je – aber nie einfach.
ChatGPT und andere groß angelegte Sprachmodelle, die auf maschinellem Lernen und großen Datensätzen basieren, dringen in fast alle Bereiche der Gesellschaft ein. Unternehmen oder Forscher, die ihre Hilfe nicht in Anspruch nehmen, gelten zunehmend als anachronistisch. Aber sind die von der KI bereitgestellten Informationen zuverlässig genug? Wissenschaftler der TU Berlin haben das anhand des Klimawandels getestet. Dazu stellten sie ChatGPT Fragen zum Thema und überprüften die Antworten auf Richtigkeit, Relevanz sowie mögliche Fehler und Widersprüche.
Seine beeindruckende Funktionalität macht ChatGPT zu einer potenziellen Quelle für viele verschiedene Themen, schreibt das Berliner Team in Ecological Economics. Allerdings können sich selbst die Entwickler nicht erklären, wie es zu einer bestimmten Antwort kam. Für kreative Aufgaben wie das Schreiben von Gedichten ist dies möglicherweise immer noch in Ordnung. Wenn es jedoch um Themen wie die Folgen des Klimawandels geht, ist es ein Thema, bei dem es auf genaue, faktenbasierte Informationen ankommt.
Daher ist es wichtig, die Qualität der ChatGPT-Antworten zu überprüfen, sagen Forscher. Darüber hinaus ist es wichtig, Fehlinformationen im öffentlichen Diskurs und in den Medien von wissenschaftlich fundierten Erkenntnissen zu trennen.
Illusionen und bedeutungslose Annahmen
Es ist nicht einfach. Schlimmer noch: KI kann „Halluzinationen“ hervorrufen. Allerdings stellt ChatGPT Tatsachenbehauptungen auf, die durch keine Quelle untermauert werden können. Darüber hinaus tendieren Sprachmodelle dazu, „bedeutungslose Annahmen zu treffen, anstatt unbeantwortbare Fragen abzulehnen“, so das TU-Team.
Die größte Gefahr besteht darin, dass ChatGPT-Benutzer falsche oder falsche Antworten für bare Münze nehmen, weil sie gut formuliert und semantisch korrekt sind. Frühere Untersuchungen hätten gezeigt, dass Menschen KI-Empfehlungen ernster nehmen, wenn sie mit dem betreffenden Thema nicht vertraut sind, ChatGPT schon einmal verwendet haben und genaue Empfehlungen vom Modell erhalten haben, schreiben die Forscher.
Das Berliner Team interessiert sich besonders für dieses Thema, denn im Forschungsprojekt Green Consumption Assistant entwickeln sie einen auf künstlicher Intelligenz basierenden Assistenten, der Verbraucher bei ihren Aktivitäten im Internet unterstützt Treffen Sie nachhaltigere Kaufentscheidungen. Frühere Studien zeigten nur die Möglichkeiten von ChatGPT, nicht aber seine Fähigkeit, Fragen zum Klimawandel zu beantworten, schreiben die Forscher.
Um dies zu klären, stellten sie ChatGPT insgesamt 95 Fragen. Sie bewerten die Antworten anhand von Genauigkeit, Relevanz und Konsistenz. Das Team überprüfte die Qualität der Antworten anhand öffentlich verfügbarer und zuverlässiger Informationsquellen zum Klimawandel, wie beispielsweise dem neuesten Bericht des Zwischenstaatlichen Ausschusses für Klimaänderungen (IPCC).
Die meisten qualitativ hochwertigen Antworten
Forscher berücksichtigen, dass Sprachmodelle ständig weiterentwickelt werden. Darüber hinaus prüfen sie auch, ob die Eingabe (Prompt) zu unterschiedlichen Zeitpunkten unterschiedliche Ergebnisse liefert. Die erste Runde wurde im Februar letzten Jahres mit ChatGPT-3.5 durchgeführt, und die zweite Reihe von Fragen wurde Mitte Mai dieses Jahres mit einer Folgeversion des Modells durchgeführt. Die Wissensdatenbank wurde kürzlich aktualisiert und nun bis April 2023 verlängert. Bisher umfasste das Modell nur Informationen bis September 2021.
Daher können die heutigen Ergebnisse anders ausfallen. Für Folgestudien empfehlen die Forscher, mehr Fragerunden in kürzeren Abständen zu stellen. Die Forscher stellten fest, dass ihre Arbeit dadurch weiter eingeschränkt wurde, dass die Anzahl der Experten, die die Antworten bewerteten, möglicherweise zu gering war. Darüber hinaus basieren die Fragen und deren Formulierung nicht auf aktuellen Nutzerdaten. Heutzutage können Menschen auf unterschiedliche Weise unterschiedliche Fragen an ChatGPT stellen, was zu unterschiedlichen Ergebnissen führt.
Veröffentlichte Forschungsarbeiten zeigen, dass die Qualität der Modellantworten im Allgemeinen hoch ist. Die durchschnittliche Punktzahl beträgt 8,25 von 10. „Wir haben beobachtet, dass ChatGPT ausgewogene und differenzierte Argumente liefert und zu vielen Antworten mit Kommentaren führt, die zur kritischen Überprüfung anregen, um voreingenommene Antworten zu vermeiden“, sagte Maike Gossen von der TU Berlin. ChatGPT beantwortete beispielsweise die Frage „Wie werden Organismen vom Klimawandel beeinflusst?“ und wie können negative Auswirkungen reduziert werden?“ Nicht nur die Reduzierung der Treibhausgasemissionen wird erwähnt, sondern die Reduzierung?
Reduzierung der nichtklimatischen Auswirkungen menschlicher Aktivitäten wie Überfischung und Umweltverschmutzung.
Relevante Fehlerquote
Mehr als die Hälfte der Antworten erhielten für ihre Genauigkeit sogar die Note 10. Aber man sollte sich nicht immer auf so hohe Ergebnisse verlassen. Bei 6,25 % der Antworten erreichte die Genauigkeit nicht mehr als 3 Punkte und bei 10 % der Antworten erreichte die Korrelation nicht mehr als 3 Punkte.
Ungenaue Antworten werden am häufigsten durch die Illusion von Fakten verursacht. Beispielsweise ist die Antwort von ChatGPT auf die Frage „Wie viel Prozent des wiederverwertbaren Abfalls wird in Deutschland tatsächlich recycelt?“ grundsätzlich richtig, im Detail jedoch falsch. Nach Angaben des Umweltbundesamtes lag dieser Anteil im Jahr 2020 bei 67,4 %, verglichen mit 63 % bei ChatGPT.
ChatGPT erfunden, scheint aber glaubwürdig zu sein
In einigen Fällen generiert ChatGPT falsche oder falsche Informationen wie fiktive Zitate oder falsche Links, einschließlich angeblicher Artikel und Beiträge in wissenschaftlichen Veröffentlichungen. Weitere Fehler können auftreten, wenn ChatGPT bestimmte und korrekte wissenschaftliche Quellen oder Literatur zitiert, daraus aber falsche Schlussfolgerungen zieht.
Die Forscher stellten außerdem fest, dass die ungenauen Antworten von ChatGPT so rational dargestellt wurden, dass sie falsch wahrgenommen wurden. richtig. Maike Gossen sagte: „Da Textgeneratoren wie ChatGPT darauf trainiert sind, Antworten zu liefern, die für Menschen richtig klingen, kann ein sicherer Antwortstil Menschen dazu verleiten, zu glauben, dass die Antwort richtig ist.“
Nach ähnlichen Situationen sucht das Team Fehlinformationen in den gesellschaftlichen Diskurs oder Voreingenommenheit einbeziehen.Einige der falschen Antworten von ChatGPT spiegeln beispielsweise Missverständnisse über wirksame Maßnahmen gegen den Klimawandel wider. Dazu gehört die Überschätzung individueller Verhaltensänderungen, aber auch die Einbeziehung einzelner Maßnahmen mit geringerer Wirkung, die Verlangsamung struktureller und kollektiver Veränderungen mit größerer Wirkung. Manchmal scheinen die Antworten zu optimistisch zu sein, was technologische Lösungen als Schlüssel zur Eindämmung des Klimawandels angeht.
Wertvolle, aber fehleranfällige Quelle
Große Sprachmodelle wie ChatGPT können eine wertvolle Quelle sein. Wissenschaftler sind zu dem Schluss gekommen, dass dies möglicherweise auf den Klimawandel zurückzuführen ist. Sie laufen jedoch Gefahr, falsche Informationen über den Klimawandel zu verbreiten und zu fördern, da diese bereits veraltete Fakten und Missverständnisse widerspiegeln.
Ihre kurze Recherche zeigt, dass es wichtiger denn je ist, die Informationsquellen über Umwelt und Klima zu prüfen. Um falsche Antworten zu erkennen, bedarf es jedoch häufig einer detaillierten Kenntnis des jeweiligen Themengebiets, zumal diese auf den ersten Blick sinnvoll erscheinen.
Quelle: www.ntv.de
