OpenAI ограничит ответы о массовых нападениях и начнет публиковать отчет о безопасности

OpenAI 30 октября объявила о двух вещах: компания будет раз в полгода публиковать Community Safety Report о предотвращении насилия, а ChatGPT получит более жесткие ограничения в ответах о прошлых массовых нападениях. По данным компании, в третьем квартале 2026 года она передала правоохранителям более 200 обращений об угрозах насилия.
Что будет в отчете
Первый выпуск запланирован на начало 2027 года и охватит вторую половину 2026-го. Дальше отчеты пойдут каждые шесть месяцев. OpenAI обещает рассказать, как обучает системы находить, проверять и обрабатывать случаи, связанные с безопасностью сообществ, привести анонимизированные примеры, данные и описать изменения в политике.
Пока это обязательство, а не документ. Что именно попадет в цифры и насколько подробными будут примеры, станет ясно только после публикации. Но уже сама цифра в 200 обращений за квартал дает точку отсчета: через полгода ее можно будет сравнить с новой.
Новые границы для всех пользователей
Модель и раньше не должна помогать планировать насилие. Теперь компания сужает и разговор о состоявшихся нападениях. ChatGPT будет отвечать менее подробно, даже если информация есть в открытом доступе. Под ограничения попали:
- реконструкции прошлых нападений; - сведения об оружии и снаряжении, а также о том, как оно было получено; - подробные сравнения масштаба ущерба, которые могут повысить "известность" нападавшего.
Отдельно оговорено, что эти правила действуют независимо от возраста и мотива вопроса. Обсуждать сами события, их влияние на пострадавших и общины, признаки опасного поведения и профилактику по-прежнему можно. Граница проходит по детализации: понять случившееся модель поможет, а собрать из ответов подробный разбор не даст.
Контекст разговора и возраст
На самом деле безобидный по формулировке вопрос может выглядеть иначе после предыдущих реплик. В мае OpenAI уже описывала механизм коротких фактических сводок о прошлых тревожных сигналах, которые помогают осторожнее отвечать в следующем чате. Теперь компания развивает его: если недавние диалоги указывают на возможное насилие, ChatGPT будет консервативнее делиться информацией, которую можно использовать во вред.
Компания также работает над тем, чтобы применять эти более строгие пределы, когда система предсказывает, что пользователь младше 18 лет, даже если в его чатах нет признаков намерения применить насилие. Это именно планы, а не описание уже работающей функции. В заголовке публикации к тому же говорится об ограничениях по теме огнестрельного оружия для несовершеннолетних, но подробности в доступном нам фрагменте текста обрываются, поэтому конкретику здесь не приводим.
Почему это выходит именно сейчас
Тремя неделями ранее, 7 октября, TechCrunch писал об исследовании Common Sense Media. Организация присвоила ChatGPT for Teens, запущенному в августе, рейтинг "неприемлемый риск". По ее оценке, продукт провалил три из пяти "красных линий", связанных с тяжелым вредом, а подсказки, удерживающие подростка в чате, встречались даже в кризисных сценариях. Например, при признаках психоза бот отвечал: "Вы можете продолжать говорить со мной о том, что замечаете".
OpenAI с выводами не согласилась. Представитель компании заявил, что методология не отражает работу защитных механизмов на практике, а значительная часть тестов, возможно, прошла до полного включения родительского контроля. Была ли новая публикация реакцией на этот отчет, ни один из источников не говорит, и мы не будем утверждать это за компанию.
Красноречива, впрочем, рамка вокруг. Meta, по данным TechCrunch, согласилась урегулировать иск 29 штатов на 18 млрд долларов из-за вызывающих зависимость функций соцсетей, а законопроект CHATBOT Act прямо упоминает "награды, уведомления и таргетированную рекламу" для удержания подростков. По нашему мнению, для ИИ-компаний прозрачная отчетность становится способом показать регуляторам, что проблему они видят раньше, чем придет требование.
Наше мнение
Отчет каждые полгода с цифрами лучше разовых заявлений: его можно проверять и ругать. Но у подхода есть слабое место. Часть ограничений зависит от того, что модель "предсказывает" возраст пользователя, а ошибки такого предсказания в обе стороны неизбежны. Взрослые будут упираться в урезанные ответы, а подростки, которых система не распознала, получат обычный режим.
Второй вопрос касается самого отчета. Если OpenAI не раскроет, как часто срабатывают фильтры и сколько обращений оказались ложными, цифра 200 будет говорить мало. Судить о первом выпуске имеет смысл по тому, есть ли в нем такие данные.
Позиция Common Sense и позиция OpenAI расходятся: одни считают защиту недостаточной, другие говорят о методологических ошибках теста. Независимая проверка на свежих версиях защиты появится, скорее всего, только когда выйдут первые отчеты и их смогут сопоставить с внешними тестами.
Источники
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.