S
ИИ-чатMemorillaStanfordQwen3память LLMopen-source

Stanford выложил Memorilla: 16 токенов памяти вместо всей коллекции документов

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·4 мин чтения
Stanford выложил Memorilla: 16 токенов памяти вместо всей коллекции документов

Исследователи из группы SNAP Стэнфордского университета опубликовали Memorilla - модуль памяти, который превращает целую коллекцию документов в 16 векторов и передает их замороженной языковой модели. На тесте FactKG Qwen3-8B с Memorilla набрала 84,33%, а с полным набором документов в контексте - 80,43%. При этом документных токенов понадобилось в 108 раз меньше. Код, рецепты обучения и чекпоинты лежат в открытом доступе под лицензией Apache 2.0. Авторы - команда Юре Лесковеца и коллеги из Торонто, Пенсильвании и MIT.

Как это устроено

Модель-декодер (Qwen3-8B) и энкодер (Qwen3-Embedding-4B) не дообучаются. Обучается только сам модуль памяти: 194 123 776 параметров. Работает он в три шага.

Сначала энкодер один раз превращает каждый документ в эмбеддинг. Новые документы не заставляют пересчитывать старые. Затем 16 обучаемых слотов через два слоя cross-attention с 8 головами смотрят на вопрос и на все хранилище сразу. Наконец слоты проецируются в пространство входных эмбеддингов декодера и ставятся перед вопросом.

Размер выхода не зависит от объема коллекции: всегда 16 токенов. От классического RAG подход отличается тем, что не подтягивает куски, похожие на запрос, а учится выбирать из всего хранилища то, что нужно для конкретного вопроса. RAG, как напоминают авторы, может пропустить слабые косвенные признаки.

Обучение идет в три этапа: около 1,98 млн примеров пересказа и реконструкции из Википедии, затем около 1,34 млн примеров из десяти датасетов вопросов-ответов и суммаризации, и в конце дообучение на всех восьми бенчмарках. Полный цикл занимает около 19 часов на четырех H100.

Цифры по бенчмаркам

Все базовые методы запускались на той же замороженной Qwen3-8B. Результаты приводят сами авторы, независимой проверки пока нет.

- Средний балл по восьми тестам: 49,68. У xRAG 41,92, у LLMLingua-2 40,75, у Mem0 38,02. Лучший результат на пяти из восьми тестов. - PersonaMem-v2: 44,60% против 27,92% у полного контекста и 30,90% у xRAG. - TriviaQA: 57,00 EM, MemoRAG чуть позади с 56,60. - LaMP-4 и LaMP-7: 18,15 и 48,37 ROUGE-L, оба результата лучшие. - NarrativeQA: 16 токенов вместо 67 385, то есть сжатие в 4212 раз.

На трех тестах Memorilla проигрывает. На PubMedQA у нее 59,00% против 69,00% у LLMLingua-2: абстракты там занимают всего 324 токена, сжимать почти нечего. MemoRAG впереди на PersonalizationV4 (67,88% против 66,65%) и NarrativeQA по ROUGE-L (20,51 против 19,31), хотя использует в 690 и 50 раз больше документных токенов соответственно.

Отдельно проверили роль памяти для агента: 8 токенов подняли средний успех агента на Qwen3-4B в TextWorld с 18,6% до 24,2%.

Скорость

На одной H100 при 512 документах (около 128 тысяч токенов) Memorilla отвечает за 0,74 с. Полный контекст по мере роста истории замедляется с 0,75 до 19,9 с, то есть в 27 раз. Сам модуль памяти тратит около 2 мс.

Есть и необязательный кеш с заранее посчитанными ключами и значениями cross-attention. На одной B200 с ним вопрос по миллиону документов обрабатывается за 8,1 мс, по 4 млн - за 33 мс, а с torch.compile случай на миллион опускается до 5,0 мс. Цена - память: кеш для 4 млн документов занимает 80 GiB.

Что с этим делать

Запустить можно на Linux с CUDA и Python 3.11. Для быстрого старта нужна одна карта на 80 ГБ (рецепты гонялись на H100 80GB), квантованных версий нет. Установка через uv, загрузка через MemoryVLLM.from_pretrained, при первом запуске скачается около 25 ГБ моделей.

Относиться к результатам стоит с оглядкой. Финальный этап обучения идет на тех же восьми бенчмарках, на которых затем меряют качество, а цифры самоотчетные. Заметно и то, что выигрыш там, где документов много и они разрозненные, а на коротких текстах вроде PubMedQA простое сжатие промптов выигрывает. Кроме того, модуль привязан к конкретной паре энкодер-декодер: для другой модели его придется обучать заново, а это около 19 часов на четырех H100.

Тем не менее идея выглядит рабочей для персонализации и долгой памяти ассистентов. Фиксированные 16 токенов делают стоимость ответа предсказуемой, а добавление документа не требует перекодировать архив.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости