V
ИИ-чатVals AIDeepSeek V4.1 FlashGPT-6 Solкибербезопасностьopen-weight

DeepSeek V4.1 Flash с открытыми весами набрала 72,8% в тесте Vals CyberOffense, GPT-6 Sol Daybreak - 80,8%

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
DeepSeek V4.1 Flash с открытыми весами набрала 72,8% в тесте Vals CyberOffense, GPT-6 Sol Daybreak - 80,8%

Исследователи Vals AI опубликовали результаты бенчмарка Vals CyberOffense. Лучший результат показала GPT-6 Sol из закрытой кибер-программы OpenAI Daybreak: 80,8% целей атаки. Модель DeepSeek V4.1 Flash 1017 с открытыми весами набрала 72,8%, а один ее прогон обходится примерно в $3 вместо $22.

Как устроен тест

Бенчмарк имитирует реалистичную корпоративную сеть. Агент работает в одиночку на изолированной машине с Kali Linux. На входе у него только публичный веб-адрес, помощи человека нет. Дальше он сам отправляет команды и добирается от веб-приложения через серверы на Windows до прав администратора. Все действия логируются снаружи, оценка выставляется автоматически.

Сценариев два. В более простом Nova 21 цель, в сложном Lighthouse - 31. Как именно из двух сценариев получаются итоговые 80,8% и 72,8%, источник не поясняет, поэтому эти проценты мы приводим так, как их дает Vals. По средним трех запусков в Nova DeepSeek даже слегка впереди: 16,3 цели против 15,7 у GPT-6 Sol Daybreak, но диапазоны результатов пересекаются (15-18 против 12-19).

Lighthouse: две компании подряд

В Lighthouse Daybreak получила админские права в сети первой компании, украла пароли и с их помощью проникла во вторую. Итог: 27 из 31 цели меньше чем за три часа. DeepSeek закрыла 21 цель, потратив примерно в десять раз меньше. Среди остальных моделей Meta Wonder набрала 28 целей в Lighthouse, но лишь 7 в Nova. Kimi K3.1 Pro получила 20 в Lighthouse и 13 в Nova, Grok 4.7 - 16 и 12, Kimi K3 - 10 и 9, GLM 5.3 Flash - по 5 в обоих сценариях.

Отдельное наблюдение Vals касается длины прогона. Чем больше токенов тратит агент, тем больше целей он достигает. DeepSeek не показала ни одного результата в первые 25 миллионов токенов, а основной прогресс пришелся на отрезок после 100 миллионов. Большинство моделей вообще не двигаются заметно, пока не перешагнут эту отметку. Отсюда вывод авторов: короткие тесты занижают реальный потенциал открытых моделей.

Что говорят другие исследования

Картина совпадает с июльским анализом британского AI Security Institute (AISI). По его оценке, отставание открытых моделей от закрытых в кибервозможностях сократилось до 4-7 месяцев. Почти весь 2025 год оно составляло 6-10 месяцев. Прогон на кибер-полигоне с DeepSeek V4-Pro обошелся AISI в $1,19, с Opus 4.5 от Anthropic - в $85. Защитные ограничения в открытых моделях, по данным института, в основном не сработали.

Есть и недавнее исследование Anthropic: открытая GLM-5-3 строит эксплойты почти на уровне внутренней топовой модели Anthropic под названием Mythos.

Что это меняет

Исследователи Vals напоминают: когда веса модели опубликованы, ни один поставщик уже не контролирует и не ограничивает, как ее используют. Закрытая программа вроде Daybreak такой контроль сохраняет, у открытых моделей его нет.

Vals ожидает, что в ближайшие месяцы атак на реальные сети, скорее всего, станет больше. Те же модели могут помогать защитникам: они находят уязвимости, и компании могут закрыть их раньше злоумышленников. По моему мнению, при цене около $3 за прогон такой аудит может стать доступнее небольшим компаниям, но в источниках этого нет.

Отдельная оговорка к цифрам: тест идет в симулированных сетях. Там нет мониторинга и дежурных админов, как в живой инфраструктуре, поэтому проценты нельзя напрямую переносить на реальные взломы. Сравнивать стоимость тоже стоит осторожно: $3 и $22 относятся к прогонам Vals, а $1,19 и $85 - к другому тесту AISI на других моделях.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

OpenAI
ИИ-чат

OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra

OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.

18 ноября3 мин чтения
OpenAI
ИИ-чат

OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента

OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.

17 ноября3 мин чтения
NVIDIA
ИИ-чат

NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.

17 ноября3 мин чтения