Немецкий ИИ-консорциум выпустил Soofi S: открытая 30B модель бьёт все бенчмарки

Европа даёт ответ

Пока весь мир следит за гонкой OpenAI, Anthropic и Google, в Мюнхене тихо, но очень уверенно произошло кое-что интересное. Немецкий консорциум под координацией KI Bundesverband — это федеральная ассоциация ИИ-индустрии Германии — выкатил открытую языковую модель Soofi S 30B-A3B. И нет, это не очередной fine-tune поверх Llama. Это полноценная предобученная модель с нуля, и по целому ряду показателей она реально обходит то, что считалось лучшим в классе открытых моделей.

Архитектура: умная экономия ресурсов

Главная фишка Soofi S — это гибридная архитектура Mamba-2 + Transformer, позаимствованная без изменений у Nvidia Nemotron 3 Nano. Звучит как компромисс, но на деле это хирургически точное решение конкретной проблемы.

Модель содержит 31,6 миллиарда параметров, но при генерации каждого токена активирует лишь около 3,2 миллиарда — то есть примерно 10%. По вычислительной стоимости это ближе к небольшой 3B-модели, а не к монструозному 30B. Это классическая Mixture-of-Experts схема, но с важным дополнением: из 52 слоёв модели KV-кэш (тот самый, что копит в памяти историю токенов) поддерживают лишь 6 слоёв. Остальные используют механизм Mamba, который обрабатывает контекст принципиально иначе — через рекуррентное состояние, а не через матрицу внимания.

Что это даёт на практике? При длине контекста 40 000 токенов и 32 параллельных запросах Soofi S генерирует примерно в восемь раз больше токенов в секунду на один GPU, чем плотные модели в диапазоне 14–24 млрд параметров. Пока Qwen3 32B и Apertus 70B при росте контекста теряют пропускную способность по экспоненте, Soofi S держит почти плоский график от 4 000 до 256 000 токенов. Схожее поведение показывает только Alibaba Qwen3.5 35B-A3B — тоже гибрид. Это принципиально важно для продакшн-сценариев, где нужно обрабатывать длинные документы потоком.

Немецкий язык как первый класс

А теперь то, что делает эту модель действительно особенной с точки зрения стратегии. Консорциум намеренно перекосил тренировочный микс в сторону немецкого языка — и это не косметическая мера.

Общий объём тренировочных данных — около 27 триллионов токенов, разбитых на три фазы. В первой фазе (~20 трлн токенов) немецкий составляет 7,2% от всего микса. Это уже в полтора раза больше, чем все не-английские языки вместе взятые в рецепте Nvidia Nemotron (~5%). Во второй фазе (~6 трлн токенов из высококачественных источников) доля немецкого вырастает до 15,3%. Третья фаза — расширение контекстного окна на сверхдлинных документах до одного миллиона токенов.

Источники данных тоже впечатляют своей серьёзностью: немецкий веб-текст из HPLT, корпус German Commons, немецкие части FinePDFs и FineWiki, плюс коммерчески лицензированный корпус Genios — 193 миллиона немецких газетных и журнальных статей. Это не скраппинг с Common Crawl, это реальная работа с качественным контентом.

Бенчмарки: реальное превосходство или маркетинг?

По заявлению консорциума, Soofi S превосходит OLMo 3 32B и Apertus 70B на бенчмарках для немецкого, английского и задач программирования — среди полностью открытых моделей. Это важная оговорка: «полностью открытые» означает, что веса, данные и код тренировки доступны публично. В этой категории конкуренция действительно жёстче, чем кажется.

Я бы не торопился называть это революцией в масштабе GPT-4, но для сегмента открытых европейских моделей — это серьёзная заявка. До сих пор немецкоязычный ИИ жил на объедках с американского стола: либо дообученные модели с посредственным немецким, либо проприетарные решения с вопросами к суверенитету данных.

Инфраструктура: суверенный ИИ на практике

Модель обучалась целиком на AI Cloud инфраструктуре Deutsche Telekom в Мюнхене. Это не просто географический факт — это политический сигнал. Европейский ИИ-суверенитет перестаёт быть декларацией и становится конкретным железом, конкретными весами модели и конкретными бенчмарками.

Для немецкого бизнеса, особенно в финансовом и медицинском секторах, где GDPR — это не абстракция, а ежедневная реальность, наличие мощной открытой модели, обученной на европейской инфраструктуре — это реальная ценность. Никакого transatlantic data transfer, никаких юридических серых зон.

Что это значит для российской аудитории

Модель полностью открытая — веса доступны для скачивания и локального деплоя. Никаких геоблокировок, VPN не нужен. Запустить можно на собственном железе или на любом облаке. Для разработчиков, которым нужна мощная многоязычная базовая модель с эффективной архитектурой для длинных контекстов — это интересный вариант для экспериментов.

При этом русский язык в тренировочном миксе специально не выделен, но общий объём данных в 27 трлн токенов предполагает наличие русскоязычного контента в общем веб-слое. Насколько хорошо модель работает с русским — вопрос для практических тестов.

Итог

Soofi S — это не попытка сделать «немецкий ChatGPT» для хайпа. Это методичная инженерная работа: взять проверенную архитектуру (Nemotron 3 Nano), грамотно собрать данные с акцентом на нужный язык, обучить на суверенной инфраструктуре и честно опубликовать результаты. Именно такой подход и строит реальный технологический суверенитет — не через запреты, а через компетентность.