Google DeepMind выпустила Gemma 4 12B: мультимодальность без энкодеров

Архитектура, которая ломает привычную логику
Когда инженеры Google DeepMind говорят "encoder-free", это звучит как маркетинговый слоган. Но за этой фразой скрывается по-настоящему нетривиальное инженерное решение - и я объясню, почему это важно не только для исследователей, но и для тех, кто прямо сейчас строит продукты на локальных моделях.
Традиционные мультимодальные LLM работают по схеме "энкодер → коннектор → языковая модель". Изображение сначала обрабатывает визуальный трансформер (в средних моделях Gemma 4 он весит 550M параметров), аудио - отдельный аудиоэнкодер (300M параметров в E2B/E4B). Все это добавляет латентность: языковая модель вынуждена ждать, пока энкодеры закончат свою работу. Gemma 4 12B убирает оба энкодера полностью.
Как это работает на практике
Для обработки изображений Google заменила 27-слойный визуальный трансформер крошечным модулем на 35M параметров. Сырые патчи размером 48×48 пикселей проецируются прямо в скрытое пространство LLM через одно матричное умножение. Пространственные координаты добавляются через факторизованный lookup по осям X и Y - без слоев attention, без дополнительных весов.
Аудио обработали еще радикальнее: сырой сигнал 16 кГц нарезается на кадры по 40 мс (640 значений каждый) и линейно проецируется в то же пространство, что и текстовые токены. Никаких conformer-слоев, никакого отдельного ASR-пайплайна. Модель умеет транскрибировать речь, различать голоса разных спикеров (диаризация) и работать с видео - все из единой архитектуры.
Практический эффект: LLM начинает обрабатывать мультимодальный ввод немедленно, не ожидая внешних энкодеров. Это снижает латентность и упрощает файн-тюнинг - адаптеры вроде LoRA теперь обновляют сразу все модальности за один проход, без необходимости работать вокруг "замороженных" энкодеров.
Производительность и место в экосистеме
Gemma 4 12B закрывает пробел между edge-моделью E4B и 26B MoE-вариантом. Google заявляет, что по бенчмаркам 12B-модель приближается к 26B при вдвое меньшем объеме памяти. Полные результаты бенчмарков на момент анонса не опубликованы, но сам факт сравнения с 26B MoE - заявка серьезная.
Для запуска достаточно 16 ГБ VRAM или унифицированной памяти - то есть модель работает на потребительских GPU-ноутбуках и Apple Silicon Mac. Это первая среднеразмерная модель Gemma с нативным аудио. Лицензия - Apache 2.0, веса доступны на Hugging Face и Kaggle (instruct-вариант: `google/gemma-4-12b-it`).
Вместе с моделью выходит отдельный Multi-Token Prediction (MTP) drafter - специальный компонент для снижения латентности при локальном инференсе. Поддерживаемый стек: llama.cpp, MLX, vLLM, Ollama, SGLang, Unsloth, LM Studio, Hugging Face Transformers.
Что это значит для разработчиков и стартапов
Сообщество на r/LocalLLaMA уже активно обсуждает квантизованные сборки и сравнивает с Qwen. Один из пользователей описал опыт: "я использовал ее для написания Python-приложения с серверной и клиентской частью - поражен тем, насколько хорошо она справляется". Другие отмечают, что энкодер-free архитектура позволяет передавать изображения и аудио без дополнительных файлов, а обучение с учетом этих модальностей с нуля делает модель точнее в мультимодальных задачах.
Для стартапов это меняет конкретный вопрос: нужно ли отправлять каждый визуальный или аудио-запрос на внешний API? Автоматизация документов, анализ звонков поддержки, полевая диагностика по фото, медицинский intake - это реальные бизнес-процессы, где данные клиентов чувствительны, а латентность критична. Единый стек для текста, изображений и аудио убирает необходимость поддерживать три разных пайплайна.
Модели Gemma 4 в совокупности преодолели отметку 150 миллионов загрузок - сообщество уже строит на них все от носимых роботизированных протезов до корпоративных систем безопасности.
Работает ли в России
Модель распространяется через Hugging Face и Kaggle - оба сервиса доступны в РФ, хотя периодически требуют VPN для стабильной работы. Запуск через Ollama или llama.cpp локально не требует никаких внешних подключений после скачивания весов. Google AI Edge Gallery и облачные сервисы Google могут потребовать VPN и зарубежную карту.
Сравнение с конкурентами
Qwen 2.5 и Mistral Small 3.1 - ближайшие конкуренты по размеру, но ни один из них не предлагает нативной аудиообработки без внешних энкодеров в одной архитектуре. LLaVA-подобные модели используют классическую схему с отдельным визуальным энкодером. Gemma 4 12B в этом смысле ближе к тому, что пытается сделать Llama 4 с нативной мультимодальностью, но Google вышла с конкретным продуктом, работающим на потребительском железе уже сейчас.
Инженерное решение элегантное: меньше параметров на периферии, больше "интеллекта" внутри самого трансформера. Посмотрим, как сообщество адаптирует эту архитектуру для файн-тюнинга на специализированных доменах - здесь потенциал действительно большой.
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.