Немецкий ИИ-консорциум выпустил Soofi S: открытая 30B модель бьет все бенчмарки

Европа дает ответ

Пока весь мир следит за гонкой OpenAI, Anthropic и Google, в Мюнхене тихо, но очень уверенно произошло кое-что интересное. Немецкий консорциум под координацией KI Bundesverband - это федеральная ассоциация ИИ-индустрии Германии - выкатил открытую языковую модель Soofi S 30B-A3B. И нет, это не очередной fine-tune поверх Llama. Это полноценная предобученная модель с нуля, и по целому ряду показателей она реально обходит то, что считалось лучшим в классе открытых моделей.

Архитектура: умная экономия ресурсов

Главная фишка Soofi S - это гибридная архитектура Mamba-2 + Transformer, позаимствованная без изменений у Nvidia Nemotron 3 Nano. Звучит как компромисс, но на деле это хирургически точное решение конкретной проблемы.

Модель содержит 31,6 миллиарда параметров, но при генерации каждого токена активирует лишь около 3,2 миллиарда - то есть примерно 10%. По вычислительной стоимости это ближе к небольшой 3B-модели, а не к монструозному 30B. Это классическая Mixture-of-Experts схема, но с важным дополнением: из 52 слоев модели KV-кэш (тот самый, что копит в памяти историю токенов) поддерживают лишь 6 слоев. Остальные используют механизм Mamba, который обрабатывает контекст принципиально иначе - через рекуррентное состояние, а не через матрицу внимания.

Что это дает на практике? При длине контекста 40 000 токенов и 32 параллельных запросах Soofi S генерирует примерно в восемь раз больше токенов в секунду на один GPU, чем плотные модели в диапазоне 14-24 млрд параметров. Пока Qwen3 32B и Apertus 70B при росте контекста теряют пропускную способность по экспоненте, Soofi S держит почти плоский график от 4 000 до 256 000 токенов. Схожее поведение показывает только Alibaba Qwen3.5 35B-A3B - тоже гибрид. Это принципиально важно для продакшн-сценариев, где нужно обрабатывать длинные документы потоком.

Немецкий язык как первый класс

А теперь то, что делает эту модель действительно особенной с точки зрения стратегии. Консорциум намеренно перекосил тренировочный микс в сторону немецкого языка - и это не косметическая мера.

Общий объем тренировочных данных - около 27 триллионов токенов, разбитых на три фазы. В первой фазе (~20 трлн токенов) немецкий составляет 7,2% от всего микса. Это уже в полтора раза больше, чем все не-английские языки вместе взятые в рецепте Nvidia Nemotron (~5%). Во второй фазе (~6 трлн токенов из высококачественных источников) доля немецкого вырастает до 15,3%. Третья фаза - расширение контекстного окна на сверхдлинных документах до одного миллиона токенов.

Источники данных тоже впечатляют своей серьезностью: немецкий веб-текст из HPLT, корпус German Commons, немецкие части FinePDFs и FineWiki, плюс коммерчески лицензированный корпус Genios - 193 миллиона немецких газетных и журнальных статей. Это не скраппинг с Common Crawl, это реальная работа с качественным контентом.

Бенчмарки: реальное превосходство или маркетинг?

По заявлению консорциума, Soofi S превосходит OLMo 3 32B и Apertus 70B на бенчмарках для немецкого, английского и задач программирования - среди полностью открытых моделей. Это важная оговорка: "полностью открытые" означает, что веса, данные и код тренировки доступны публично. В этой категории конкуренция действительно жестче, чем кажется.

Я бы не торопился называть это революцией в масштабе GPT-4, но для сегмента открытых европейских моделей - это серьезная заявка. До сих пор немецкоязычный ИИ жил на объедках с американского стола: либо дообученные модели с посредственным немецким, либо проприетарные решения с вопросами к суверенитету данных.

Инфраструктура: суверенный ИИ на практике

Модель обучалась целиком на AI Cloud инфраструктуре Deutsche Telekom в Мюнхене. Это не просто географический факт - это политический сигнал. Европейский ИИ-суверенитет перестает быть декларацией и становится конкретным железом, конкретными весами модели и конкретными бенчмарками.

Для немецкого бизнеса, особенно в финансовом и медицинском секторах, где GDPR - это не абстракция, а ежедневная реальность, наличие мощной открытой модели, обученной на европейской инфраструктуре - это реальная ценность. Никакого transatlantic data transfer, никаких юридических серых зон.

Что это значит для российской аудитории

Модель полностью открытая - веса доступны для скачивания и локального деплоя. Никаких геоблокировок, VPN не нужен. Запустить можно на собственном железе или на любом облаке. Для разработчиков, которым нужна мощная многоязычная базовая модель с эффективной архитектурой для длинных контекстов - это интересный вариант для экспериментов.

При этом русский язык в тренировочном миксе специально не выделен, но общий объем данных в 27 трлн токенов предполагает наличие русскоязычного контента в общем веб-слое. Насколько хорошо модель работает с русским - вопрос для практических тестов.

Итог

Soofi S - это не попытка сделать "немецкий ChatGPT" для хайпа. Это методичная инженерная работа: взять проверенную архитектуру (Nemotron 3 Nano), грамотно собрать данные с акцентом на нужный язык, обучить на суверенной инфраструктуре и честно опубликовать результаты. Именно такой подход и строит реальный технологический суверенитет - не через запреты, а через компетентность.