Сотни изображений сексуального насилия над детьми обнаружены в наборе данных, используемом для обучения инструментов искусственного интеллекта, генерирующих изображения
Сотни изображений сексуального насилия над детьми обнаружены в наборе данных, используемом для обучения инструментов искусственного интеллекта, генерирующих изображения
Присутствие этих изображений в обучающих данных может облегчить моделям ИИ создание новых реалистичных изображений контента, содержащего насилие над детьми, или «глубоко подделанных» изображений детей, подвергающихся эксплуатации.
Результаты исследования также вызывают ряд новых опасений, связанных с непрозрачным характером обучающих данных, которые служат основой для нового поколения мощных генеративных инструментов ИИ.
Массивный набор данных, который исследовали ученые из Стэнфорда, известный как LAION 5B, содержит миллиарды изображений, взятых из Интернета, в том числе из социальных сетей и сайтов развлечений для взрослых.
По словам исследователей из Стэнфорда, из более чем пяти миллиардов изображений в наборе данных они выявили по меньшей мере 1008 случаев сексуального насилия над детьми.
LAION, немецкая некоммерческая организация, стоящая за набором данных, заявила в заявлении на своем сайте, что она придерживается «политики нулевой терпимости к незаконному контенту».
Организация заявила, что получила копию отчета из Стэнфорда и в настоящее время занимается оценкой его выводов. Она также отметила, что наборы данных проходят через «интенсивные инструменты фильтрации», чтобы обеспечить их безопасность и соответствие законодательству.
«Излишняя осторожность заставила нас отключить LAION 5B», – добавила организация, заявив, что она сотрудничает с британским фондом Internet Watch Foundation, «чтобы найти и удалить ссылки, которые могут по-прежнему указывать на подозрительный, потенциально незаконный контент в публичной сети».
LAION заявила, что планирует завершить полный обзор безопасности LAION 5B ко второй половине января и планирует повторно опубликовать набор данных в это время.
Стэнфордская команда, тем временем, заявила, что в настоящее время идет процесс удаления идентифицированных изображений после того, как исследователи сообщили URL-адреса изображений в Национальный центр по делам пропавших и эксплуатируемых детей и Канадский центр защиты детей.
В своем отчете исследователи заявили, что, хотя разработчики LAION 5B пытались фильтровать определенный откровенный контент, ранняя версия популярной модели генерации изображений Stable Diffusion в конечном итоге была обучена «широкому спектру контента, как откровенного, так и иного».
Представитель Stability AI, лондонского стартапа, стоящего за Stable Diffusion, сообщил CNN в своем заявлении, что эта ранняя версия, Stable Diffusion 1.5, была выпущена отдельной компанией, а не Stability AI.
А исследователи из Стэнфорда отмечают, что Stable Diffusion 2.0 в основном отфильтровывала результаты, которые считались небезопасными, и в результате в обучающем наборе практически не было откровенных материалов.
«Этот отчет посвящен набору данных LAION-5b в целом», – сказал представитель Stability AI в заявлении CNN. «Модели Stability AI были обучены на отфильтрованном подмножестве этого набора данных. Кроме того, впоследствии мы провели тонкую настройку этих моделей для смягчения остаточного поведения».
Пресс-секретарь добавил, что Stability AI использует только те версии Stable Diffusion, которые включают фильтры, удаляющие небезопасный контент из моделей.
«Удаляя этот контент до того, как он попадет в модель, мы можем предотвратить создание моделью небезопасного контента», – сказал представитель компании, добавив, что компания запрещает использовать свои продукты для незаконной деятельности.
Однако исследователи из Стэнфорда отмечают в своем отчете, что Stable Diffusion 1.5, которая все еще используется в некоторых уголках интернета, остается «самой популярной моделью для создания откровенных изображений».
В рамках своих рекомендаций исследователи заявили, что модели, основанные на Stable Diffusion 1.5, должны быть «устаревшими и прекратить распространение там, где это возможно».
В более широком смысле, в Стэнфордском отчете говорится, что массивные веб-базы данных являются весьма проблематичными по ряду причин, даже с учетом попыток фильтрации безопасности, из-за возможного включения в них не только материалов о сексуальном насилии над детьми, но и из-за других проблем с конфиденциальностью и авторскими правами, возникающих при их использовании.
В отчете рекомендуется ограничить использование таких наборов данных «только в исследовательских целях» и использовать для публично распространяемых моделей только «более тщательно проработанные и хорошо обеспеченные данными наборы».
Читайте также:
- Неудача для Дюрра и Ко в Куршевеле
- Автомобиль матери и детей загорелся на автостраде
- Непрекращающийся дождь и шторм в Северном Рейне-Вестфалии: Дерево падает на поезд
Источник: edition.cnn.com
Читайте также:
Обсуждение
Самые последние новости
