Z
ИИ-чатZyphraZHAРазреженное вниманиеQwen3.6Длинный контекст

Zyphra представила ZHA: древовидное разреженное внимание для готовых LLM

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·4 мин чтения
Zyphra представила ZHA: древовидное разреженное внимание для готовых LLM

Zyphra выпустила метод Zyphra Hierarchical Attention (ZHA) и технический отчет к нему (arXiv 2610.42112). Метод встраивается в уже обученную замороженную модель: на Qwen3.6-35B-A3B хватило около 4 млрд токенов дистилляции и 81 920 обучаемых параметров, это примерно 0,00024% от размера модели. На тестах до 256K контекста результаты остались рядом с плотным вниманием. Все цифры ниже Zyphra получила сама, независимой проверки пока нет.

Какую проблему решает ZHA

Разреженное внимание обычно устроено так: небольшой индексатор оценивает все прошлые токены и выбирает, какие из них читать. Само внимание получается дешевым, а вот индексатор по-прежнему просматривает весь контекст, и его стоимость растет вместе с ним. Отчет ссылается на работы, по которым около 1M токенов индексация съедает 60-90% времени слоя. Так устроен, например, DeepSeek Sparse Attention.

ZHA делает разреженным сам поиск. KV-кэш остается целиком, дерево лишь решает, какие ключи из него прочитает каждый запрос.

Как устроено дерево

Ключи режутся на подряд идущие блоки, каждый блок сжимается в один суммарный ключ. Суммарные ключи группируются и сжимаются снова, уровень за уровнем. При блоке в 4 токена шесть уровней дают узел верхнего уровня на 4096 токенов. Сводки строятся из 16 обучаемых опорных запросов: каждый дает оценку логарифма массы внимания для блока, а максимум по ним показывает, сколько внимания блок получил бы от любого будущего запроса.

При декодировании запрос оценивает узлы верхнего уровня и берет минимальный набор, который покрывает долю p = 0,95 оцененной массы внимания. Затем раскрываются только дочерние узлы выбранных, и так до реальных записей KV. Бюджет получается адаптивным: поиск одного факта трогает мало веток, запрос с россыпью фактов раскрывает больше. Первый токен всегда сохраняется как точка стока внимания.

Цифры на Qwen3.6-35B-A3B

Zyphra проверила два варианта дерева: глубокое (блок 4, 6 уровней) и широкое (блок 256, один уровень). Для сравнения обучила индексатор MiniMax Sparse Attention (MSA) на 40 млрд токенов, то есть с десятикратным бюджетом.

- AIME 2026: плотное внимание 93,1; глубокое дерево 91,2; широкое 90,8; MSA 91,7. - SWE-bench Verified: 67,4 / 67,4 / 68,4 / 63,6. - Terminal-Bench 2.1: 49,9 / 46,7 / 53,3 / 46,1. - GPQA Diamond: 84,8 / 85,0 / 85,0 / 83,1. - RULER-13 на 256K: 96,0 / 93,3 / 96,2 / 77,1 у MSA. - LongBench v2: 58,0 / 63,4 / 62,4 / 49,3.

Больше всего MSA проигрывает на извлечении из длинного контекста. На LongBench v2 глубокое дерево и MSA читают почти одинаковую долю ключей (около 1,1% и 1%), но дерево набирает на 14,1 пункта больше и обходит даже плотное внимание. Это стоит держать в голове при чтении таблицы: превосходство над плотным вниманием на одном бенчмарке может быть шумом выбора задач.

Еще один результат: на 28 вариантах геометрии дерева точность RULER держалась стабильно, пока модель читала 10-30% ключей. При одинаковом сжатии более глубокие деревья удерживали качество при большей разреженности. Простая модель с четырьмя параметрами предсказывает точность RULER по геометрии дерева со среднеквадратичной ошибкой 1,44 пункта.

Где метод слабее

У работы есть заметные оговорки. На модели Nemotron-3.5-Lightning-30B-A3B, которая использует NoPE (без позиционных эмбеддингов), глубокое дерево теряет на RULER-13 25,3 пункта относительно плотного внимания. Значит, перенос на любую архитектуру не гарантирован.

Ускорение Zyphra оценила моделью roofline для H100 в BF16, а не замерами. Оптимизированные ядра не опубликованы, так что реальную скорость на железе пока никто не измерил. Команда также проверила вариант с маршрутизатором в FP4, но подробностей в доступной части отчета мало.

Что это значит

Главная ценность здесь в цене переделки. Большинство разреженных схем требуют переобучения или хотя бы десятков миллиардов токенов, а тут 4 млрд токенов на замороженной модели и ничтожная добавка параметров. Если результаты подтвердятся на чужих моделях и появятся быстрые ядра, длинный контекст в районе 1M токенов станет дешевле именно там, где сегодня узкое место сидит в индексаторе. Пока это отчет с самостоятельно полученными цифрами на одной основной модели, и проверять его будет сообщество.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

OpenAI
ИИ-чат

OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra

OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.

18 ноября3 мин чтения
OpenAI
ИИ-чат

OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента

OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.

17 ноября3 мин чтения
NVIDIA
ИИ-чат

NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.

17 ноября3 мин чтения