Aleph Alpha выпустила Kolibri-1: 78B MoE с немецким языком и 1M токенов

Колибри из Гейдельберга

Aleph Alpha выбрала 3 октября 2026 года неслучайно - это День германского единства. Символизм очевиден, но за красивой датой стоит реальный технический релиз: компания выложила на Hugging Face веса Kolibri-1 под лицензией Apache 2.0. Модель обучена с нуля в Германии и Финляндии, и немецкая компания делает на это особый акцент - данные, обучение, веса и деплой остаются под европейским контролем.

По сути это первая по-настоящему открытая MoE-модель с серьезным немецким языком. Европейские команды, которым нужен немецкий в production, до сих пор либо работали с GPT-4o, либо мирились с посредственным качеством локальных решений.

Что внутри

Архитектура - Mixture-of-Experts с 78.1 миллиардами параметров, из которых на каждый токен активируется 3.46 миллиарда (около 4.4%). В каждом слое 384 эксперта плюс один общий; роутер на основе sigmoid-механизма выбирает шесть из них. Итого 50 трансформерных слоев, словарь из 128 000 токенов с собственным токенизатором UniBPE, который умеет обращаться с немецкими составными словами.

Внимание устроено так: 40 из 50 слоев смотрят на скользящее окно в 512 токенов, каждый пятый слой - полное внимание по всему контексту. Это позволяет держать вычислительную стоимость под контролем при длинных запросах.

Нативный контекст - 262 144 токена. Aleph Alpha обучала модель поэтапно: сначала на последовательностях 16 384 токена, затем 65 536, затем адаптация до 262K. Отметка в 1 048 576 токенов - это проверенный предел, который включается флагом `--max-model-len 1048576` при деплое через vLLM. Сам Aleph Alpha рекомендует для задач с жесткими требованиями к задержке оставаться на 262K.

Веса в формате FP8, файл весит около 78 ГБ. Минимальная конфигурация для запуска - две видеокарты A100 по 80 ГБ или одна H200/B200/B300.

Производительность по бенчмаркам

Согласно данным Aleph Alpha (это их собственные тесты, независимой верификации нет), Kolibri-1 набирает 96.9 на AIME 2025, 84.3 на GPQA Diamond и 85.9 на LiveCodeBench v6. Для сравнения: Qwen3-235B-A22B на AIME 2025 дает около 85, Nemotron Super 120B-A12B - 90.4.

На SWE-Bench Verified модель набирает 66.4. На инструментальных задачах BFCL v4 Kolibri-1 показывает 61.4 по общей метрике. Общий английский скор по внутренней шкале Aleph Alpha - 75.5, немецкий - 70.8.

Aleph Alpha позиционирует Kolibri-1 как оптимум на кривой "качество / стоимость обслуживания": компания утверждает, что модель способна конкурировать с моделями, у которых в четыре раза больше активных параметров, на задачах математики, кода, заземления, агентных и длинноконтекстных задачах. Это их собственная оценка.

Галлюцинации и воздержание от ответа

Aleph Alpha встроила в обучение процедуру под названием Merlin-Arthur - по сути состязательный протокол, который учит модель отказываться от ответа, если в контексте нет достаточных оснований. На наборе AA-Omniscience Kolibri-1 корректно воздержалась от ответа в 44% случаев, тогда как предыдущая версия Kolibri Origin - только в 14.8%. Это прогресс относительно предшественника.

Немецкий язык как основная ставка

На немецкий пришлось 21.3% предобучающих токенов - это серьезный объем для двуязычной модели. Для сравнения: большинство западных открытых моделей вроде Llama или Mistral дают немецкий как побочный продукт многоязычного обучения с долей в районе 2-5%. Токенизатор специально разработан под немецкие составные слова - это практически важная деталь, потому что стандартные BPE-токенизаторы дробят длинные немецкие слова неэффективно, увеличивая длину последовательности.

Aleph Alpha также провела секторальные оценки для госуправления, автопрома, полупроводников, промышленных технологий и аэрокососа - без использования клиентских данных.

Как запустить

Деплой через собственный пакет Aleph Alpha поверх vLLM:

pip install "aleph-alpha-inference>=1.0" vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 \ --reasoning-parser kolibri1 \ --tool-call-parser kolibri1 \ --enable-auto-tool-choice

Доступен контейнер `ghcr.io/aleph-alpha/aleph-alpha-inference`. Модель поддерживает четыре уровня рассуждения: none, low, medium, high - и вызов инструментов. Рекомендованные параметры сэмплирования: temperature=1.0, top_p=0.97, top_k=128.

Что это значит для российских пользователей

Модель доступна на Hugging Face, скачать веса можно без ограничений. Для запуска нужна серьезная железная инфраструктура - минимум два A100 80GB. Облачного API с публичными ценами Aleph Alpha не объявила; корпоративные деплои идут через их продажи. Так что для большинства это пока академический интерес или эксперимент на собственном кластере.

Почему это важно для рынка

Kolibri-1 - первая открытая MoE с реальной немецкоязычной специализацией и европейским происхождением. Для госсектора Германии, Австрии, Швейцарии это весомый вариант при требовании суверенного деплоя: 21.3% немецких токенов в предобучении, европейская инфраструктура, Apache 2.0. Для всех остальных это полезный ориентир: MoE с соотношением 22:1 между полными и активными параметрами дает приемлемое качество при разумной стоимости обслуживания.

Сравнивать Kolibri-1 с Qwen3-235B или DeepSeek-R2 по абсолютным бенчмаркам бессмысленно - у них разные задачи. Правильный вопрос: если нужен немецкий язык, on-premise деплой и разумная стоимость инференса, что поставить? Kolibri-1 - один из немногих открытых вариантов, где немецкий язык заложен в архитектуру с самого начала, а не добавлен поверх.