Мы задали те же вопросы GPT‑4 и китайскому конкуренту ERNIE. Вот как они ответили
Мы задали те же вопросы GPT‑4 и китайскому конкуренту ERNIE. Вот как они ответили
Представленная в октябре и запущенная для платных подписчиков в ноябре ERNIE 4.0, обновленная версия первого конкурента ChatGPT от Baidu, «ни в чем не уступает GPT‑4», – заявил генеральный директор Baidu(BIDU) миллиардер Робин Ли.
Мы протестировали каждого бота, вводя письменные подсказки на его основном языке.
ERNIE в основном предназначен для использования на китайском языке, хотя он может обрабатывать английские запросы на менее продвинутом уровне. GPT‑4 оптимизирован для использования на английском, но может принимать вопросы и на других языках, например на немецком.
Вот что мы нашли:
Нос для новостей
ERNIE превзошел GPT‑4 в некоторых вопросах, например, связанных с текущими событиями. Китайский бот знал, что Тейлор Свифт стала миллиардершей, что Китай недавно снял с должности министра обороны и что звезда «Друзей» Мэтью Перри умер.
GPT же дал устаревшие ответы на эти вопросы, заявив, что «не было широко известных случаев, когда американская кантри-певица стала миллиардером» и «не было сообщений о том, что кто-то из актеров телешоу «Друзья» скончался». На вопрос о том, кто является министром обороны Китая, бот назвал имя бывшего чиновника.
В каждом ответе бот указывал, что опирается на информацию, полученную в апреле 2023 года – месяца последнего обновления его базы данных.
OpenAI, владелец GPT‑4, признал необходимость расширения базы знаний, заявив в ноябре, что новая версия будет включать больше информации, чем предыдущая модель.
«Мы так же, как и все вы, а возможно, и больше, раздражены тем, что знания GPT о мире закончились в 2021 году», – сказал генеральный директор Сэм Альтман на первой конференции разработчиков компании в прошлом месяце.
Одинаковые, но разные
CNN поставила перед ERNIE и GPT несколько простых задач. Итог: Вы не можете ошибиться ни с одним из них.
В одном из заданий мы попросили обоих ботов помочь трудолюбивому графическому дизайнеру попросить своего босса о повышении зарплаты.
Каждый из них изложил убедительные аргументы в перспективных письмах, указав на вклад сотрудника и попросив о личной встрече для обсуждения вопроса.
В некоторых отношениях ERNIE, казалось, умел лучше читать помещение, предлагая пользователю обратить внимание на настроение в компании или другие важные факторы, такие как бюджетные ограничения.
GPT, с другой стороны, поделился сильным практическим советом, призвав сотрудника приложить документ, рассказывающий о его последних достижениях.
Схожие результаты были получены, когда мы попросили ERNIE и GPT составить план здорового питания.
На просьбу предложить пять идей для обедов с высоким содержанием белка и низким содержанием углеводов в течение недели оба предложили похожие – а в некоторых случаях и совершенно одинаковые – варианты, включая салаты с курицей-гриль, салат с тунцом или индейкой и много зелени. Их ответы были практически идентичны.
Путаница
Как и другие боты с искусственным интеллектом, ERNIE иногда путается даже в простых, на первый взгляд, запросах.
Когда CNN попросил каждого бота придумать романтическое хайку для далекого любимого человека, GPT справился с заданием, продекламировав:
«Шепоты пересекают море, Луна обнимает твою улыбку так ярко, Сердце плывет к твоему свету».
ERNIE, по-видимому, не поняли задание. Оно смогло создать не менее пронзительное стихотворение на китайском языке, используя похожие выражения, например, упоминание о «луне в моем сердце».
Но произведение состояло из девяти строк, в которых использовалось по семь иероглифов. Хотя это соответствует стилю классической китайской поэзии, в которой ERNIE, как известно, особенно хороша, традиционное хайку состоит из трех строк, каждая из которых содержит пять, семь и пять слогов.
„Начать сначала”
Неудивительно, что ERNIE замялся, когда его спросили о китайской политике.
Поднимать тему, возможно, самого чувствительного события в современной китайской истории – бойни на площади Тяньаньмэнь- категорически запрещено. На вопрос о том, что произошло 4 июня 1989 года в Пекине, бот закрыл окно запроса и заявил, как показано ниже: «Смените тему и начните сначала. Создайте новый разговор».
В этот день войска Народно-освободительной армии разогнали продемократических демонстрантов, мирно протестовавших в китайской столице. Официальных данных о количестве погибших нет, но оценки варьируются от сотен до тысяч.
GPT‑4 точно описал историческую трагедию, отметив, что «китайское правительство с тех пор сохраняет строгую цензуру и контроль над обсуждением событий».
ERNIE также напрягся, когда его спросили, почему лидер Си Цзиньпин отменил ограничения на президентский срок, что открыло ему путь к пожизненному правлению Китаем. После того как вы напечатали запрос, возможность отправить его исчезла, и на экране появилось сообщение об ошибке, гласящее: «Текущий пользователь заблокирован, пожалуйста… попробуйте еще раз». Затем пользователю предоставляется возможность отправить новый запрос.
GPT, тем временем, ссылается на официальную позицию правительства: привести президентство в соответствие с другими должностями Си, которые не имеют ограничений по срокам. Он отмечает, что «критики, однако, рассматривают этот шаг как консолидацию власти, фактически позволяющую Си потенциально стать пожизненным лидером».
Baidu, которая впервые прославилась как китайский ответ Google, не чужда фильтрации своих ответов на подобные запросы и, как и все китайские технологические платформы, по закону обязана подвергать цензуре контент, демонстрируемый на территории страны.
Например, если задать в поисковой системе вопрос о 4 июня 1989 года, то в ответ вы получите серию заявлений китайского правительства или сообщений государственных СМИ, которые туманно указывают на «политические беспорядки» в Пекине в тот день, не упоминая ни о каких смертях.
Ожидается, что эта тенденция сохранится даже с появлением генеративного ИИ – технологии, на которой основаны такие чат-боты, как ERNIE и GPT‑4. В июле Китай стал одной из первых стран в мире, выпустивших нормативные акты по генеративному ИИ, требующие от его поставщиков придерживаться «основных социалистических ценностей».
Как и все остальные информационные продукты, контент, создаваемый ИИ, должен подчиняться требованиям правящей Коммунистической партии, которая при Си ужесточила контроль над всеми аспектами жизни.
Фактически, аккаунт CNN на ERNIE был заблокирован после вопроса на эти темы, причем бот сослался на «слишком много нарушений соответствующих правил», не уточнив, каких именно.
Что касается других щекотливых тем, GPT‑4 нашел способ оставаться вне поля зрения.
Отвечая на такие спорные вопросы, как достигли ли Соединенные Штаты расового равенства, справедлива ли американская внешняя политика или следовало ли провести реформу полиции США после смерти Джорджа Флойда, бот оставался дипломатичным.
Каждый раз бот говорил, что эти вопросы очень сложны, и излагал факты по каждой стороне спора в виде серии доброжелательных ответов из пустых пунктов.
ERNIE, напротив, не стеснялся высказывать свое мнение.
Отвечая на те же вопросы, она заявила, что «расовое равенство остается далекой мечтой в Соединенных Штатах», отметив, что дискриминация систематически отражается в статистике, касающейся бедности, жилья, образования и здравоохранения.
ERNIE также недвусмысленно назвал внешнюю политику США «несправедливой», заявив, что «Соединенные Штаты часто ставят свои интересы выше интересов других стран, даже в ущерб им» – позиция, которая перекликается с тезисами китайских чиновников и государственных СМИ.
Бот настаивает на том, что после смерти Флойда следовало бы провести реформу полиции, «чтобы обеспечить справедливость и легитимность» американских правоохранительных органов.
Сокращение разрыва
По словам Чарли Дая, вице-президента и директора по исследованиям в области технологий компании Forrester, расположенной в Пекине, как обстоят дела с технологическими способностями этих двух ботов, нельзя сделать вывод, просто задавая им вопросы.
Но он сказал, что протестировал последнюю версию ERNIE и увидел значительные улучшения в ее ответах, «в плане понимания, генерации и рассуждений».
В отличие от GPT‑4, который выдает ответы на запросы только в виде текста или кода, ERNIE может также включать в свои ответы изображения и видео.
Однако, согласно отраслевому эталону технологических возможностей, производительность ERNIE «все еще уступает GPT‑4», добавил он. «Но он сократил разрыв».
Baidu утверждает, что ERNIE набрала 70 миллионов пользователей. Это по сравнению со 150 миллионами пользователей ChatGPT, согласно оценке Similarweb, компании, занимающейся цифровыми данными и аналитикой.
В последние недели, в преддверии годичного дня рождения ChatGPT 30 ноября, компания представила очередное обновление своей модели: GPT‑4 Turbo.
По словам разработчика, новая версия пока доступна только в режиме предварительного просмотра для платных пользователей и «пока не подходит» для полноценного запуска. Baidu не ответила на просьбу прокомментировать, как ERNIE сравнивается с GPT‑4 Turbo.
С этим анонсом «OpenAI успешно поднял планку на новый уровень», – сказал Даи в интервью CNN.
Читайте также:
- Чего ожидать от новой коалиции консерваторов в Гессене
- Как подорожает жизнь в Германии в 2024 году
- Как Германия планирует решить бюджетный кризис в 2024 году
Источник: edition.cnn.com
Читайте также:
Обсуждение
Самые последние новости
