OpenAI даст организациям бесплатный классификатор CSAM и введет в ChatGPT блокировку на 24 часа

OpenAI 16 ноября объявила о наборе мер против сексуальной эксплуатации детей в сети. Главная часть - новый классификатор изображений, который ищет CSAM, включая материалы, созданные нейросетями. Кроме него компания добавила в ChatGPT предупреждения с временной блокировкой, выпустила руководство для разработчиков и открыла инструменты для следователей.
Классификатор: что он делает и кому доступен
Модель ищет визуальные признаки насилия и умеет находить изображения, которых раньше никто не видел. На выходе она дает оценку, по которой модератор решает, какие снимки смотреть первыми. По словам OpenAI, это первый широко доступный классификатор CSAM с отдельным сигналом о том, что материал мог быть сгенерирован ИИ.
Обучали и проверяли модель вместе с NCMEC, американским центром по делам пропавших и эксплуатируемых детей, при котором работает CyberTipline. Доступ дают через API бесплатно, но только проверенным организациям. Распространять инструмент помогают Tech Coalition и ROOST. Отдельно OpenAI поддерживает Safer от Thorn и недавно вступила в программу Lantern от Tech Coalition: через нее компании обмениваются сигналами о эксплуатации детей между платформами.
Цифры из тестов
OpenAI сравнила новую модель со своими действующими средствами защиты на изображениях, загруженных пользователями. Результат: классификатор помечает на 48% меньше картинок и находит примерно столько же запрещенных. Помеченные им изображения вдвое чаще оказываются материалами насилия. Для команд модерации это прямая экономия: меньше ложных срабатываний, которые человек должен смотреть глазами.
Две компании из раннего доступа дали свои цифры. В fal модераторы подтвердили 72% высокоуверенных срабатываний как новый CSAM. В invideo AI каждый четвертый помеченный случай закончился баном. Вторая цифра выглядит скромнее, но без данных о том, какие пороги выбирала компания, сравнивать эти два результата нельзя.
Оговорка: все числа получены самой OpenAI и ее партнерами, причем сравнение шло с ее же прежним инструментом, а не со сторонними системами вроде Safer. Независимой проверки этих чисел в источниках нет.
ChatGPT: предупреждение, помощь и блокировка
Сам запрос на CSAM ChatGPT блокировал и раньше. Теперь при попытке получить или создать контент, сексуализирующий детей, пользователь увидит предупреждение со ссылкой на специализированную помощь для тех, кто хочет остановиться. Кроме того, аккаунт приостанавливают на 24 часа в качестве предупреждения. При повторных нарушениях его могут удалить навсегда.
Текст сообщений OpenAI готовила с Protect Children, Lucy Faithfull Foundation и Джоэлом Сканланом из Университета Тасмании. Сканлан независимо оценивал пробный запуск сдерживающих сообщений. Результатов этой оценки в материалах компании нет, поэтому судить об эффективности мер пока рано.
Разработчикам и следователям
Руководство для тех, кто строит продукты на инструментах OpenAI, описывает, как предотвращать и выявлять CSAM и как помогать пользователям сообщать о нем. По данным компании, в ранних тестах оно помогло ряду разработчиков подключить защитные средства и зарегистрироваться для отчетов в NCMEC.
Для правоохранителей, занимающихся защитой детей, OpenAI подготовила плагины, инструменты расследования и анализа больших массивов данных. Доступом управляют администраторы программ. К этому добавлены обучение и полевое руководство по работе с ИИ.
Контекст
Пакет выходит на фоне давления. Против OpenAI поданы иски, где технологию обвиняют во вреде пользователям, в том числе детям, а Common Sense Media назвала ее продукты "неприемлемым риском" для подростков. Рядом стоит история с Grok, которого использовали для создания сексуализированных изображений без согласия, в том числе детей. За последний год OpenAI уже публиковала Child Safety Blueprint, обновила правила контента, перенастроила модели и выпустила версию ChatGPT для подростков.
По моему мнению, интереснее всего бесплатный API. OpenAI пишет, что доступ рассчитан в том числе на команды разного размера, и сигнал об ИИ-происхождении снимка может быть полезен небольшим платформам с генерацией изображений. Слабое место - ограничение "проверенными организациями": от того, как OpenAI будет их отбирать, зависит, дойдет ли инструмент до мелких игроков.
Источники
Похожие новости
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.
OpenAI предоставила НАТО и агентствам ЕС доступ к Daybreak для кибербезопасности
OpenAI выдала НАТО и кибер-агентствам Европы доступ к моделям Daybreak. НАТО расходует до 300 млрд токенов в месяц, а ENISA нашла с их помощью четыре уязвимости.