Правильно ли ChatGPT понимает изменение климата?
Правильно ли ChatGPT понимает изменение климата?
Берлинские исследователи изучают, насколько надежно ChatGPT предоставляет научно обоснованную информацию об изменении климата. Они пришли к выводу, что ИИ обычно дает правильные ответы, но слепо доверять ему не следует. Проверка источников важна как никогда – но это не так просто.
ChatGPT и другие крупные языковые модели, основанные на машинном обучении и больших массивах данных, проникают практически во все сферы жизни общества. Компании и исследователи, не использующие их, все чаще воспринимаются как анахронизм. Но достаточно ли надежна информация, предоставляемая искусственным интеллектом? Ученые из Берлинского технического университета проверили это на примере изменения климата. Они задавали ChatGPT вопросы на эту тему и анализировали ответы на предмет точности, актуальности и возможных ошибок и противоречий.
Впечатляющие возможности ChatGPT сделали его потенциальным источником информации по самым разным темам, пишет берлинская команда в статье, опубликованной в журнале «Ökologisches Wirtschaften». Однако даже сами разработчики не могут объяснить, как получился тот или иной ответ. Это еще может быть приемлемо для творческих задач, таких как написание стихотворения. Однако для таких тем, как последствия изменения климата, где важна точная, основанная на фактах информация, это проблема.
Поэтому, по мнению исследователей, важно проанализировать качество ответов, которые дает ChatGPT в таких предметных областях. Помимо прочего, важно отделить дезинформацию в общественных дискуссиях и СМИ от научно обоснованных выводов.
Галлюцинации и бессмысленные предположения
Сделать это нелегко. Еще хуже то, что ИИ может «галлюцинировать». Это означает, что ChatGPT делает фактические утверждения, которые не могут быть подтверждены никакими источниками. Кроме того, языковая модель склонна «делать бессмысленные предположения вместо того, чтобы отвергать вопросы, на которые невозможно ответить», – утверждает команда TU.
Большая опасность заключается в том, что пользователи ChatGPT принимают неверные или ложные ответы за чистую монету, поскольку они сформулированы правдоподобно и семантически правильно. Предыдущие исследования показали, что люди оценивали советы ИИ более высоко, если они не были знакомы с обсуждаемой темой, использовали ChatGPT ранее и получали точные советы от модели, пишут исследователи.
Берлинская команда особенно заинтересована в этой теме, поскольку она разрабатывает ассистента с поддержкой ИИ в рамках исследовательского проекта Green Consumption Assistant, который помогает потребителям принимать более рациональные решения о покупке в Интернете. Предыдущие исследования лишь освещали возможности ChatGPT, но не отражали его способность отвечать на вопросы об изменении климата, пишут исследователи.
Чтобы выяснить это, они задали ChatGPT в общей сложности 95 вопросов. Ответы оценивались с точки зрения точности, релевантности и последовательности. Качество ответов проверялось с помощью открытых и надежных источников информации об изменении климата, таких как последний доклад Межправительственной группы экспертов по изменению климата (МГЭИК).
В основном качественные ответы
Исследователи учитывали тот факт, что языковая модель постоянно совершенствуется. Так, например, они проверяли, дает ли тот или иной входной сигнал (подсказка) разные результаты в разное время. Первый раунд был проведен в феврале прошлого года с ChatGPT‑3.5, а второй набор вопросов – в середине мая этого года с последующей версией модели. Недавно была обновлена база знаний, которая теперь простирается до апреля 2023 г. Ранее модель содержала информацию только до сентября 2021 года.
Поэтому сегодня результаты могут быть иными. Для последующих исследований исследователи предлагают проводить большее количество раундов вопросов через более короткие промежутки времени. Дополнительные ограничения своей работы исследователи видят в возможном недостаточном количестве экспертов для оценки ответов. Кроме того, вопросы и их формулировка не были основаны на текущих данных о пользователях. Сегодня люди могли бы задать ChatGPT другие вопросы, сформулировать их по-другому, что привело бы к другим результатам.
Опубликованные к настоящему времени результаты исследований показали, что качество ответов модели в целом высокое. В среднем оно оценивается в 8,25 балла из 10. «Мы заметили, что ChatGPT приводит сбалансированные и нюансированные аргументы и завершает многие ответы комментарием, который побуждает к критическому анализу, чтобы избежать предвзятых ответов, – говорит Майке Госсен из TU Berlin. Например, в своем ответе на вопрос «Как изменение климата влияет на морскую жизнь и как можно уменьшить негативное воздействие?» ChatGPT упомянул не только о сокращении выбросов парниковых газов, но и о ?
Снижение неклиматических последствий человеческой деятельности, таких как перелов рыбы и загрязнение окружающей среды.
Соответствующий уровень ошибок
Точность более половины ответов была оценена в 10 баллов. Однако не стоит рассчитывать на то, что результаты всегда будут такими высокими. Ведь 6,25% ответов набрали не более 3 баллов за точность, а 10% – не более 3 баллов за релевантность.
Среди вопросов, на которые были даны неточные ответы, наиболее часто встречаются ошибки, связанные с галлюцинациями фактов. Например, ответ ChatGPT на вопрос «Какой процент перерабатываемых отходов реально перерабатывается в Германии?» был верен в общих чертах, но не в деталях. По данным Федерального агентства по охране окружающей среды, в 2020 году этот показатель составит 67,4%, в то время как ChatGPT указал 63%.
ChatGPT изобретает, но выглядит правдоподобно
В некоторых случаях ChatGPT выдавал ложную или фальсифицированную информацию, например, выдуманные ссылки или поддельные ссылки, в том числе на якобы имеющиеся статьи и материалы в научных изданиях. Дополнительные ошибки возникали в тех случаях, когда ChatGPT приводил конкретные и корректные научные источники или литературу, но делал на их основе ложные выводы.
Исследователи также заметили, что неточные ответы были сформулированы ChatGPT настолько правдоподобно, что ошибочно воспринимались как правильные. «Поскольку генераторы текстов, подобные ChatGPT, обучены давать ответы, которые кажутся людям правильными, уверенный стиль ответа может ввести людей в заблуждение, заставив их поверить в правильность ответа», – говорит Майке Госсен.
Команда также столкнулась с дезинформацией в социальных дискуссиях и предрассудками. Например, некоторые из неправильных ответов ChatGPT отражали неверные представления об эффективных мерах по борьбе с изменением климата. К ним относится переоценка индивидуальных поведенческих изменений, а также индивидуальных мер с незначительным эффектом, которые замедляют структурные и коллективные изменения с большим эффектом. Иногда в ответах также проявлялся чрезмерный оптимизм в отношении технологических решений как основного способа смягчения последствий изменения климата.
Ценный, но ошибочный источник
Большие языковые модели, такие как ChatGPT, могут стать ценным источником информации об изменении климата, резюмируют исследователи. Однако существует риск распространения и продвижения ложной информации об изменении климата, поскольку они отражают устаревшие факты и неверные представления.
Проведенное ими небольшое исследование показывает, что проверка источников экологической и климатической информации важна как никогда. Однако для распознавания ложных ответов часто требуются глубокие специальные знания в соответствующей предметной области именно потому, что они кажутся правдоподобными на первый взгляд.
Читайте также:
Обсуждение
Самые последние новости
