Baidu Unlimited OCR: десятки страниц за один проход без роста памяти

Конец эпохи "страница за страницей"

Есть проблемы в ИИ, которые все знают, но как-то принято считать неизбежными. Одна из них - то, что OCR-системы захлебываются на длинных документах. Открываешь PDF на 50 страниц, и модель либо падает по памяти, либо молча нарезает его на куски и обрабатывает в цикле - страницу за страницей, теряя контекст на каждом шве. Baidu, судя по всему, решила, что так жить нельзя.

В конце июня 2026 года компания опубликовала открытую модель Unlimited OCR - и это не маркетинговое название ради красного словца. Модель действительно обрабатывает десятки страниц документа за один прямой проход, не прибегая к внешним планировщикам и циклам. При этом потребление памяти остается постоянным вне зависимости от длины документа.

Почему предыдущие системы упирались в потолок

Чтобы понять масштаб достижения, нужно разобраться, почему вообще существовал этот барьер. Современные end-to-end OCR-модели используют языковую модель в качестве декодера. При генерации каждый новый токен добавляется в KV-кэш - буфер, где хранятся ключи и значения всех предыдущих токенов. Чем длиннее документ, тем больше кэш, тем медленнее генерация, тем выше расход VRAM.

Практическое следствие: ни одна из существующих OCR-систем не обрабатывала более ~10 страниц за один инференс. Все обходили проблему через for-loop: распарсил страницу - сбросил кэш - перешел к следующей. Семантическая связность между страницами при этом рвется, а сама конструкция - это инженерный костыль, а не полноценное решение.

Человек, переписывающий книгу вручную

Baidu подошла к задаче через неожиданную аналогию. Когда человек переписывает книгу от руки, он не держит в голове все, что написал раньше. Взгляд скользит по оригиналу, в рабочей памяти - последние несколько слов, и именно следующий символ требует внимания. Все остальное - "мягко забывается".

Именно этот принцип лег в основу Reference Sliding Window Attention (R-SWA) - ключевого нововведения Unlimited OCR. Механизм делит информацию на два типа: reference-токены (визуальные токены документа и промпт) и выходные токены. К reference-токенам модель обращается всегда и в полном объеме - это "оригинал книги перед глазами". Из выходных токенов хранятся только последние 128 - это "несколько только что написанных слов".

Все, что старше этого окна, выталкивается из очереди. KV-кэш превращается в структуру фиксированного размера: `m + n`, где `m` - длина reference-части, `n` - ширина окна (128). Размер не растет ни при 10 страницах, ни при 200. Именно поэтому латентность каждого шага генерации остается плоской - у DeepSeek OCR она ползет вверх с каждым токеном, у Unlimited OCR - нет.

Отдельно важная деталь: визуальные токены намеренно исключены из механизма обновления состояний. В обычном скользящем окне визуальные признаки со временем "размываются". R-SWA кодирует их один раз и оставляет неизменными - что критично для качества распознавания на поздних страницах документа.

Архитектура: 3 миллиарда параметров, 500 миллионов в деле

Unlimited OCR строится поверх открытого DeepSeek OCR - не с нуля, а методом continue-training. Авторы сохранили DeepEncoder и MoE-декодер: 3 млрд параметров суммарно, из которых при инференсе активны лишь ~500 млн. Это и есть главный секрет эффективности.

DeepEncoder сжимает страницу размером 1024×1024 пикселей до 256 визуальных токенов через каскад SAM-ViT (оконное внимание) и CLIP-ViT (глобальное внимание) с 16-кратной компрессией на выходе. Поддерживаются два режима: Base - для многостраничных документов при фиксированном разрешении, Gundam - для одной страницы с динамическим разрешением.

Дообучение шло 4000 шагов на 8×16 GPU Nvidia A800. Датасет - около 2 млн образцов документов, разбитых в пропорции 9:1 между одностраничными и многостраничными. Многостраничные примеры создавались синтетически: одностраничные документы склеивались в последовательности от 2 до 50 страниц. DeepEncoder при обучении был заморожен - тренировался только декодер.

Цифры, которые говорят сами за себя

На бенчмарке OmniDocBench v1.5 Unlimited OCR набирает 93.23 балла - это +6.22 пункта к базовому DeepSeek OCR (87.01) и +4.06 к DeepSeek OCR 2 (89.17). На более свежей версии OmniDocBench v1.6 результат еще выше - 93.92, лучший показатель в сравнительной таблице исследования.

По скорости: в режиме Base модель выдает 5580 токенов в секунду против 4951 TPS у DeepSeek OCR - прирост 12.7%. При увеличении длины вывода разрыв только растет: при ограничении в 6000 токенов DeepSeek OCR отстает уже на 35%.

Модель доступна на Hugging Face под лицензией MIT, поддерживается в vLLM с готовым Docker-образом. Для запуска нужен GPU с поддержкой CUDA и параметр `trust_remote_code=True` при загрузке через Transformers.

Что это значит для рынка

Для разработчиков document-processing пайплайнов это меняет архитектурные решения фундаментально. Больше не нужно городить внешние оркестраторы, следить за сшивкой контекста между страницами и мириться с деградацией качества на длинных документах. Один вызов модели - полный документ.

Для бизнеса: юридические фирмы, страховые компании, архивы - все, кто работает с многостраничными PDF, получают инструмент, который раньше просто не существовал в open-source сегменте. Закрытые решения типа GPT-4o Vision обрабатывают документы, но с куда большими затратами на API и без гарантий конфиденциальности.

Любопытна и история происхождения. Технический отчет Unlimited OCR упоминает DeepSeek OCR 40 раз - нетипично много для конкурентного сравнения. Авторы явно продолжают линию DeepSeek OCR, а не противопоставляют себя ей. Один решает проблему входа (сжатие визуальных токенов), другой - выхода (управление KV-кэшем при декодировании). Два звена одной цепи.

Я бы назвал Unlimited OCR одним из самых элегантных технических решений первой половины 2026 года: не переизобретение архитектуры с нуля, а точечная хирургия в узком месте - с результатом, который меняет то, что вообще возможно сделать с документами.

*Информация о модели подтверждена несколькими независимыми публикациями.*