OpenAI
ИИ-чатOpenAIChatGPTCSAMбезопасность детейNCMEC

OpenAI даст организациям бесплатный классификатор CSAM и введет в ChatGPT блокировку на 24 часа

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
OpenAI даст организациям бесплатный классификатор CSAM и введет в ChatGPT блокировку на 24 часа

OpenAI 16 ноября объявила о наборе мер против сексуальной эксплуатации детей в сети. Главная часть - новый классификатор изображений, который ищет CSAM, включая материалы, созданные нейросетями. Кроме него компания добавила в ChatGPT предупреждения с временной блокировкой, выпустила руководство для разработчиков и открыла инструменты для следователей.

Классификатор: что он делает и кому доступен

Модель ищет визуальные признаки насилия и умеет находить изображения, которых раньше никто не видел. На выходе она дает оценку, по которой модератор решает, какие снимки смотреть первыми. По словам OpenAI, это первый широко доступный классификатор CSAM с отдельным сигналом о том, что материал мог быть сгенерирован ИИ.

Обучали и проверяли модель вместе с NCMEC, американским центром по делам пропавших и эксплуатируемых детей, при котором работает CyberTipline. Доступ дают через API бесплатно, но только проверенным организациям. Распространять инструмент помогают Tech Coalition и ROOST. Отдельно OpenAI поддерживает Safer от Thorn и недавно вступила в программу Lantern от Tech Coalition: через нее компании обмениваются сигналами о эксплуатации детей между платформами.

Цифры из тестов

OpenAI сравнила новую модель со своими действующими средствами защиты на изображениях, загруженных пользователями. Результат: классификатор помечает на 48% меньше картинок и находит примерно столько же запрещенных. Помеченные им изображения вдвое чаще оказываются материалами насилия. Для команд модерации это прямая экономия: меньше ложных срабатываний, которые человек должен смотреть глазами.

Две компании из раннего доступа дали свои цифры. В fal модераторы подтвердили 72% высокоуверенных срабатываний как новый CSAM. В invideo AI каждый четвертый помеченный случай закончился баном. Вторая цифра выглядит скромнее, но без данных о том, какие пороги выбирала компания, сравнивать эти два результата нельзя.

Оговорка: все числа получены самой OpenAI и ее партнерами, причем сравнение шло с ее же прежним инструментом, а не со сторонними системами вроде Safer. Независимой проверки этих чисел в источниках нет.

ChatGPT: предупреждение, помощь и блокировка

Сам запрос на CSAM ChatGPT блокировал и раньше. Теперь при попытке получить или создать контент, сексуализирующий детей, пользователь увидит предупреждение со ссылкой на специализированную помощь для тех, кто хочет остановиться. Кроме того, аккаунт приостанавливают на 24 часа в качестве предупреждения. При повторных нарушениях его могут удалить навсегда.

Текст сообщений OpenAI готовила с Protect Children, Lucy Faithfull Foundation и Джоэлом Сканланом из Университета Тасмании. Сканлан независимо оценивал пробный запуск сдерживающих сообщений. Результатов этой оценки в материалах компании нет, поэтому судить об эффективности мер пока рано.

Разработчикам и следователям

Руководство для тех, кто строит продукты на инструментах OpenAI, описывает, как предотвращать и выявлять CSAM и как помогать пользователям сообщать о нем. По данным компании, в ранних тестах оно помогло ряду разработчиков подключить защитные средства и зарегистрироваться для отчетов в NCMEC.

Для правоохранителей, занимающихся защитой детей, OpenAI подготовила плагины, инструменты расследования и анализа больших массивов данных. Доступом управляют администраторы программ. К этому добавлены обучение и полевое руководство по работе с ИИ.

Контекст

Пакет выходит на фоне давления. Против OpenAI поданы иски, где технологию обвиняют во вреде пользователям, в том числе детям, а Common Sense Media назвала ее продукты "неприемлемым риском" для подростков. Рядом стоит история с Grok, которого использовали для создания сексуализированных изображений без согласия, в том числе детей. За последний год OpenAI уже публиковала Child Safety Blueprint, обновила правила контента, перенастроила модели и выпустила версию ChatGPT для подростков.

По моему мнению, интереснее всего бесплатный API. OpenAI пишет, что доступ рассчитан в том числе на команды разного размера, и сигнал об ИИ-происхождении снимка может быть полезен небольшим платформам с генерацией изображений. Слабое место - ограничение "проверенными организациями": от того, как OpenAI будет их отбирать, зависит, дойдет ли инструмент до мелких игроков.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости