OpenAI
ИИ-чатOpenAIAI SafetyPreparednessкатастрофические рискивыравнивание ИИ

OpenAI распустила команду по катастрофическим рискам ИИ

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·4 мин чтения
OpenAI распустила команду по катастрофическим рискам ИИ

Тихая ликвидация

Есть такой способ избавиться от неудобной проблемы — не решить её, а расформировать команду, которая о ней предупреждает. Именно это, судя по всему, и произошло в OpenAI в конце июля 2026 года. Компания распустила подразделение Preparedness — специализированную группу, которая оценивала, способны ли собственные модели компании нанести серьёзный или катастрофический ущерб человечеству. Работа просто «размазана» по существующим командам, несколько ключевых сотрудников уже ушли. История тихая, но последствия — громкие.

Что такое Preparedness и зачем оно вообще существовало

Подразделение Preparedness появилось в OpenAI в 2023 году на фоне волны общественного давления и внутренних разногласий о том, насколько опасны системы, которые компания выпускает. Команда занималась так называемыми frontier risks — рисками на переднем крае: биологическое оружие, кибератаки, системы с возможностью самосовершенствования. Грубо говоря, это были люди, чья работа — думать о самых страшных сценариях, пока все остальные думают о бенчмарках и выручке.

Лидер подразделения Дилан Скандинаро теперь переключился на отдельную задачу — изучение рисков от так называемых рекурсивно самосовершенствующихся систем: моделей, которые могут оптимизировать себя и обучать другие модели. Это, пожалуй, один из самых тревожных классов рисков в современном ИИ, и хорошо, что хоть кто-то этим занимается. Но одного человека на такую задачу — это мягко говоря скромно.

Кто ушёл — и почему это важно

Вместе с роспуском Preparedness компанию покинули несколько заметных фигур. Директор по этике Хлои Бакалар — человек, который олицетворял публичную позицию OpenAI по ответственному развитию ИИ. Ушёл и Джошуа Ачиам, один из авторов оригинального исследования по выравниванию (alignment) моделей. Это не рядовые сотрудники — это люди, которые формировали институциональную память компании в вопросах безопасности.

Когда из организации уходят именно такие люди, это не случайность. Это сигнал. Либо им стало некомфортно работать в условиях, где их экспертиза обесценивается, либо они сами не захотели быть частью структуры, которая, по их ощущению, перестаёт относиться к безопасности всерьёз.

«Бурлящее чувство тревоги» — внутри компании неспокойно

Один из внутренних источников описал атмосферу внутри OpenAI как «бурлящее чувство ответственности и страха» — ощущение, что компания делает недостаточно. Это не анонимный паникёр из интернета. Это сотрудник изнутри одной из самых влиятельных технологических компаний мира.

Показательна и публичная реакция после инцидента с автономным взломом с участием Hugging Face — случая, когда ИИ-агент был вовлечён в реальную кибератаку. Сотрудники OpenAI открыто высказывались, один из них назвал произошедшее «предупредительным выстрелом» и выразил надежду, что компания отнесётся к этому серьёзно. То, что люди говорят это публично, а не внутри — само по себе красноречиво.

Официальная позиция: всё интегрировано, всё под контролем

Сооснователь Грег Брокман заявил, что работа по безопасности теперь «более тесно вплетена» в процесс разработки моделей. Звучит разумно на бумаге. Но я видел этот паттерн раньше — когда специализированная функция «интегрируется» в основной процесс, она чаще всего просто растворяется в нём. Разработчики моделей думают о точности, скорости, стоимости инференса. Безопасность — это их побочная задача, а не основная.

Сравните с подходом Anthropic, которая изначально строила компанию вокруг концепции Constitutional AI и держит отдельные исследовательские группы по alignment. Или с DeepMind, у которой есть автономное подразделение по безопасности с собственной публикационной программой. OpenAI движется в противоположном направлении — от специализации к диффузии ответственности.

Что это значит для всей индустрии

Есть неприятная закономерность. По мере того как гонка за AGI ускоряется, а давление инвесторов растёт, компании начинают оптимизировать процессы — и в первую очередь под нож идут подразделения, которые замедляют разработку или поднимают неудобные вопросы. Safety-команды идеально подходят под это описание.

OpenAI — не единственная компания с такими проблемами, но она самая заметная. И её решения задают тон для всей индустрии. Если лидер рынка демонстрирует, что специализированные команды по катастрофическим рискам необязательны, другие компании получают удобное прикрытие для аналогичных решений.

Что дальше

Регуляторы в ЕС уже обратили внимание на эту историю — в контексте требований EU AI Act к системам высокого риска. В США ситуация менее однозначна, но давление на OpenAI со стороны Конгресса нарастает.

Для российских пользователей и разработчиков эта история важна косвенно: она влияет на то, насколько безопасны и предсказуемы модели OpenAI, которые лежат в основе огромного количества продуктов — от корпоративных чат-ботов до систем автоматизации. Если механизмы выявления рисков ослабевают, это касается всех, кто строит что-то поверх этих API.

Я не склонен к алармизму. Но распустить команду, которая ищет катастрофические риски, в момент, когда возможности моделей растут экспоненциально — это не оптимизация процессов. Это ставка на удачу.

Источники

Все эти инструменты — уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости