ChatGPT осваивает вопросы медицинского экзамена в США
ChatGPT осваивает вопросы медицинского экзамена в США
Текстовый робот ChatGPT отлично справился бы с экзаменом для будущих врачей в США. Программа искусственного интеллекта смогла несколько раз набрать установленный минимальный балл в трех теоретических частях лицензионного медицинского экзамена США (USMLE) при определенных условиях. Об этом сообщили американские эксперты в научном журнале «PLOS Digital Health». Однако команда в лице Виктора Ценга из калифорнийского стартапа AnsibleHealth упустила некоторые вопросы.
USMLE – это стандартный экзамен, состоящий из трех частей, который студенты-медики должны сдать, чтобы получить разрешение на медицинскую практику в США. Он оценивает знания из большинства медицинских дисциплин – от биохимии до диагностического обоснования и биоэтики.
Однако авторы исследования должны были учитывать тот факт, что программное обеспечение ИИ OpenAI может принимать только текстовый ввод при тестировании с ChatGPT. После удаления вопросов, основанных на изображениях, авторы протестировали программу на 350 общедоступных вопросах, которые были частью экзамена USMLE прошлым летом.
Необходима однозначность
После удаления неоднозначных ответов ChatGPT набрал от 52,4 до 75 процентов по каждому из трех разделов экзамена USMLE. Результаты варьировались в зависимости от части экзамена и типа задания – например, перекрестные тесты или открытые вопросы. Порог для сдачи экзамена составляет около 60 процентов и немного меняется в зависимости от года. Если включить в результат неубедительные ответы, то ChatGPT набрал от 36,1 до 61,5 процентов возможных баллов.
По словам авторов, ChatGPT превзошла PubMedGPT, аналогичную модель, обученную исключительно на биомедицинской литературе.
Команда пришла к выводу, что ChatGPT имеет потенциал для улучшения медицинского образования и, в свою очередь, клинической практики. «Получение минимального балла за этот печально известный сложный экспертный экзамен, причем полностью без помощи человека, является замечательной вехой в развитии клинического ИИ», – пишут авторы.
Ранее текстовый робот ChatGPT успешно справлялся с другими университетскими предметами, даже если не получал высших баллов на экзаменах. Например, по словам профессоров Университета Миннесоты, инструмент чатбота ИИ сдал экзамены по праву в четырех курсах, а в Уортонской школе бизнеса при Университете Пенсильвании – еще в одном курсе.
В технологической отрасли после публичного запуска ChatGPT калифорнийским стартапом OpenAI в ноябре 2022 года ряд игроков включились в настоящую гонку за благосклонность пользователей. OpenAI поддерживается Microsoft миллиардами евро. Взамен Microsoft разрешается интегрировать технологию в свою поисковую систему Bing и другие продукты. Крупным противником OpenAI и Microsoft является Google. Во вторник гигант поисковых систем запустил своего собственного чат-бота Bard. Но в гонке участвуют и более мелкие игроки, такие как You.com, созданный немецким исследователем ИИ Ричардом Сохером. Сохер родом из Дрездена, но уже много лет живет и работает в США.
Читайте также:
- Google делает поисковик на базе технологии ChatGPT
- Amazon анонсировал конкурента ChatGPT
- ChatGPT получает платную версию с моделью подписки
Читайте также:
Обсуждение
Самые последние новости
