Stanford выложил Memorilla: 16 токенов памяти вместо всей коллекции документов

Исследователи из группы SNAP Стэнфордского университета опубликовали Memorilla - модуль памяти, который превращает целую коллекцию документов в 16 векторов и передает их замороженной языковой модели. На тесте FactKG Qwen3-8B с Memorilla набрала 84,33%, а с полным набором документов в контексте - 80,43%. При этом документных токенов понадобилось в 108 раз меньше. Код, рецепты обучения и чекпоинты лежат в открытом доступе под лицензией Apache 2.0. Авторы - команда Юре Лесковеца и коллеги из Торонто, Пенсильвании и MIT.
Как это устроено
Модель-декодер (Qwen3-8B) и энкодер (Qwen3-Embedding-4B) не дообучаются. Обучается только сам модуль памяти: 194 123 776 параметров. Работает он в три шага.
Сначала энкодер один раз превращает каждый документ в эмбеддинг. Новые документы не заставляют пересчитывать старые. Затем 16 обучаемых слотов через два слоя cross-attention с 8 головами смотрят на вопрос и на все хранилище сразу. Наконец слоты проецируются в пространство входных эмбеддингов декодера и ставятся перед вопросом.
Размер выхода не зависит от объема коллекции: всегда 16 токенов. От классического RAG подход отличается тем, что не подтягивает куски, похожие на запрос, а учится выбирать из всего хранилища то, что нужно для конкретного вопроса. RAG, как напоминают авторы, может пропустить слабые косвенные признаки.
Обучение идет в три этапа: около 1,98 млн примеров пересказа и реконструкции из Википедии, затем около 1,34 млн примеров из десяти датасетов вопросов-ответов и суммаризации, и в конце дообучение на всех восьми бенчмарках. Полный цикл занимает около 19 часов на четырех H100.
Цифры по бенчмаркам
Все базовые методы запускались на той же замороженной Qwen3-8B. Результаты приводят сами авторы, независимой проверки пока нет.
- Средний балл по восьми тестам: 49,68. У xRAG 41,92, у LLMLingua-2 40,75, у Mem0 38,02. Лучший результат на пяти из восьми тестов. - PersonaMem-v2: 44,60% против 27,92% у полного контекста и 30,90% у xRAG. - TriviaQA: 57,00 EM, MemoRAG чуть позади с 56,60. - LaMP-4 и LaMP-7: 18,15 и 48,37 ROUGE-L, оба результата лучшие. - NarrativeQA: 16 токенов вместо 67 385, то есть сжатие в 4212 раз.
На трех тестах Memorilla проигрывает. На PubMedQA у нее 59,00% против 69,00% у LLMLingua-2: абстракты там занимают всего 324 токена, сжимать почти нечего. MemoRAG впереди на PersonalizationV4 (67,88% против 66,65%) и NarrativeQA по ROUGE-L (20,51 против 19,31), хотя использует в 690 и 50 раз больше документных токенов соответственно.
Отдельно проверили роль памяти для агента: 8 токенов подняли средний успех агента на Qwen3-4B в TextWorld с 18,6% до 24,2%.
Скорость
На одной H100 при 512 документах (около 128 тысяч токенов) Memorilla отвечает за 0,74 с. Полный контекст по мере роста истории замедляется с 0,75 до 19,9 с, то есть в 27 раз. Сам модуль памяти тратит около 2 мс.
Есть и необязательный кеш с заранее посчитанными ключами и значениями cross-attention. На одной B200 с ним вопрос по миллиону документов обрабатывается за 8,1 мс, по 4 млн - за 33 мс, а с torch.compile случай на миллион опускается до 5,0 мс. Цена - память: кеш для 4 млн документов занимает 80 GiB.
Что с этим делать
Запустить можно на Linux с CUDA и Python 3.11. Для быстрого старта нужна одна карта на 80 ГБ (рецепты гонялись на H100 80GB), квантованных версий нет. Установка через uv, загрузка через MemoryVLLM.from_pretrained, при первом запуске скачается около 25 ГБ моделей.
Относиться к результатам стоит с оглядкой. Финальный этап обучения идет на тех же восьми бенчмарках, на которых затем меряют качество, а цифры самоотчетные. Заметно и то, что выигрыш там, где документов много и они разрозненные, а на коротких текстах вроде PubMedQA простое сжатие промптов выигрывает. Кроме того, модуль привязан к конкретной паре энкодер-декодер: для другой модели его придется обучать заново, а это около 19 часов на четырех H100.
Тем не менее идея выглядит рабочей для персонализации и долгой памяти ассистентов. Фиксированные 16 токенов делают стоимость ответа предсказуемой, а добавление документа не требует перекодировать архив.
Источники
Похожие новости
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.
OpenAI предоставила НАТО и агентствам ЕС доступ к Daybreak для кибербезопасности
OpenAI выдала НАТО и кибер-агентствам Европы доступ к моделям Daybreak. НАТО расходует до 300 млрд токенов в месяц, а ENISA нашла с их помощью четыре уязвимости.