Together AI открывает OSCAR: сжатие KV-кэша до 2 бит без потери точности

Проблема, о которой не принято говорить вслух

Есть вещи в мире LLM-инфраструктуры, которые выглядят скучно на слайдах, но именно они определяют, сколько стоит запрос к вашей любимой нейросети. KV-кэш - один из таких тихих монстров. При длинных контекстах в 100K токенов и десятках параллельных запросов он буквально пожирает GPU-память, оставляя инженерам неприятный выбор: либо урезать батч-сайз, либо платить за дополнительные карточки. Together AI решила эту задачу радикально - сжать кэш до 2 бит на значение. Звучит как ересь? Именно так это и воспринималось до выхода OSCAR.

Почему INT2 раньше не работал

Квантование KV-кэша до 4 бит (INT4) - уже устоявшаяся практика. Llama.cpp, vLLM, TensorRT-LLM - все умеют. Но 2 бита - это всего четыре уровня представления числа. Четыре. Для сравнения: INT8 дает 256 уровней, INT4 - 16. При таком ограничении любой выброс (outlier) в активациях буквально убивает качество: квантизатор тратит весь свой диапазон на редкие пиковые значения, а нормальные значения сжимаются в кашу из одного-двух уровней.

Стандартный обходной путь - применять преобразование Адамара (Hadamard transform) перед квантованием, чтобы размазать выбросы по всем каналам равномерно. Это работает при INT4. При INT2 обнаруживается фундаментальная проблема: Hadamard-преобразование не знает, какие направления важны для механизма внимания. Оно равномерно распределяет ошибку квантования - но "равномерно" не значит "в нужные места".

Что придумали в Together AI

Команда OSCAR сделала концептуально элегантный ход: они спросили не "как лучше сжать KV-активации?", а "какая ошибка квантования реально влияет на результат внимания?"

Для ключей (keys) критична не ошибка восстановления самого вектора K, а ошибка в логитах внимания QKᵀ. Математически это означает, что матрица весов ошибки - это ковариация запросов Q, а не ковариация ключей K. Направления, где запросы имеют большую энергию, усиливают ошибки квантования. OSCAR оценивает эмпирическую ковариацию запросов на калибровочном наборе, делает ее собственное разложение и использует собственные векторы как базис для поворота ключей.

Для значений (values) логика аналогична, но с другим объектом: важна ошибка в выходе внимания SV, где S - матрица скоров. Соответственно, OSCAR строит ковариацию значений, взвешенную скорами внимания, и использует ее собственные векторы для поворота values.

Итоговое преобразование для каждого из двух типов - это три последовательных операции: сначала выравнивание по направлениям важности (UQ или US), затем Hadamard для уравнивания канальной важности, затем перестановка с обращением битов (Pbr) для того, чтобы каждая квантовая группа получила равномерное представление иерархии важности. Авторы доказывают теоремой, что такой выбор поворотов оптимален в рамках их постановки задачи.

Что это дает на практике

В отличие от многих академических работ, которые показывают красивые цифры на перплексии, но разваливаются в реальном деплое, OSCAR изначально проектировался под совместимость с paged KV-cache системами - такими как vLLM. Это не мелочь: именно несовместимость с промышленными системами управления памятью убивала предыдущие попытки INT2-квантования.

2-битный кэш означает четырехкратное сжатие по сравнению с FP8 и двукратное по сравнению с INT4. На практике это напрямую транслируется в возможность обслуживать вдвое больше параллельных запросов на том же железе или работать с вдвое более длинными контекстами при той же памяти.

Для понимания масштаба: при батче из 32 запросов с контекстом 100K токенов на модели с 70B параметров KV-кэш в FP16 занимает десятки гигабайт. Переход на INT2 с сохранением качества - это разница между "нам нужно восемь H100" и "нам хватит четырех".

Открытый код - это серьезно

Toggle AI не просто публикует статью на arXiv - они открывают код. Это важный сигнал: компания достаточно уверена в практической применимости метода, чтобы отдать его сообществу. Исторически, когда инфраструктурные компании открывают такие вещи, это либо означает, что у них есть что-то еще лучше внутри, либо что они делают ставку на экосистемный эффект.

Для разработчиков, работающих с vLLM или аналогичными системами, это потенциально очень быстрое улучшение экономики инференса. Интеграция потребует калибровочного прогона на представительном наборе данных для вычисления ковариационных матриц - это офлайн-операция, которая делается один раз на модель.

Что это значит для рынка

Конкуренты не дремлют: Microsoft Research недавно публиковала работы по квантованию KV-кэша, Google использует собственные техники в TPU-стеке. Но конкретно INT2 с доказательствами оптимальности и открытым кодом - это позиционирование, которое сложно игнорировать.

Для российской аудитории: Together AI - американская компания, их API недоступен напрямую без VPN и нероссийской карты. Но открытый код OSCAR можно использовать на собственном железе без каких-либо ограничений - это MIT-лицензия или аналогичная открытая.

Лично я думаю, что OSCAR - это один из тех методов, который через год будет тихо работать в половине production-деплоев крупных LLM, и мало кто будет помнить, что когда-то 2-битный KV-кэш считался нереалистичным. Математика элегантная, мотивация понятная, реализация практичная. Редкое сочетание для академической работы.