Transformers от Hugging Face добавил начальную поддержку загрузки GGUF-моделей

Два мира начали сближаться
Hugging Face добавила в Transformers поддержку загрузки моделей в формате GGUF - квантованных весов из экосистемы llama.cpp. Это первоначальная реализация с существенными ограничениями, но сам факт появления такой возможности закрывает разрыв, который существовал несколько лет.
Раньше схема выглядела так: хочешь работать с квантованными моделями - иди в llama.cpp, llama-cpp-python или Ollama. Хочешь гибкий Python-пайплайн с трансформерами - используй Transformers, но тогда забудь про GGUF. Теперь эти пути начали пересекаться - хотя пока не для всех платформ и архитектур.
Что такое GGUF и почему это важно
GGUF - формат хранения весов, который llama.cpp использует для квантизации моделей. Квантизация позволяет уменьшить модель в памяти за счет снижения точности весов с float32 или float16 до 4-битных или 8-битных значений. Например, Qwen3.5-4B в формате BF16 занимает 8,42 ГБ, а в Q4_K_M - 2,74 ГБ. Варианты вроде Q5_K_M дают промежуточный результат: 3,14 ГБ при чуть большей точности.
GGUF-модели сегодня - де-факто стандарт для локального запуска LLM. На Hugging Face Hub лежат десятки тысяч GGUF-файлов. Издатели вроде Unsloth, LM Studio Community и bartowski регулярно выкладывают готовые квантованные версии под разное железо. GGUF победил как формат для edge-инференса во многом благодаря кроссплатформенности llama.cpp и простоте установки.
Как это работает на практике
Чтобы загрузить GGUF-модель, нужно передать параметр `gguf_file` в `from_pretrained` с указанием Hub-идентификатора модели и имени файла. Никакой дополнительной конфигурации не требуется.
Но есть условия. Для эффективного запуска с сохранением весов в упакованном виде нужны: Mac на Apple Silicon, совместимая версия PyTorch (обычно одна из двух последних), актуальная версия Transformers из ветки main и совместимая версия библиотеки kernels. Когда веса остаются упакованными на Metal, Transformers автоматически подгружает ggml/Metal-ядра и использует ggml-org/ggml-attn как реализацию внимания. Если нужное ядро недоступно, модель переключается на sdpa с предупреждением.
На других устройствах или при неподдерживаемых типах квантования веса при загрузке деквантизуются - то есть предполагаемая экономия памяти в таких случаях не гарантируется. Единственная поддерживаемая архитектура на данный момент - Qwen3.5.
Что это значит для разных категорий пользователей
Для исследователей и ML-инженеров, работающих на Apple Silicon с моделями Qwen3.5, это упрощает эксперименты. Раньше сравнение полноточной модели с ее квантованной версией требовало либо двух разных фреймворков, либо дополнительной обертки.
Для энтузиастов с потребительским железом на Windows или Linux - пока мало что меняется. Те, кто уже работает с Ollama или LM Studio, скорее всего, останутся там. Если вам нужен Python-доступ с возможностью кастомизации на Apple Silicon и вы работаете с Qwen3.5, Transformers теперь дает такую возможность без смены инструментария.
Контекст: конкуренция форматов и экосистем
ExLlamaV2 и его формат EXL2 тоже решают задачу квантования, часто с лучшим соотношением скорость/качество на GPU. GPTQ-квантование существует уже несколько лет и поддерживается в Transformers через AutoGPTQ. Но GGUF выиграл массовую аудиторию именно благодаря llama.cpp: кроссплатформенность, CPU-инференс, простота установки.
Hugging Face здесь делает прагматичный ход. Вместо того чтобы продвигать собственный формат или игнорировать сложившуюся экосистему, они добавляют совместимость. Сравните с тем, как Microsoft интегрировала ONNX в свои инструменты или как PyTorch поглотил Caffe2 - крупные игроки давно поняли, что совместимость важнее чистоты архитектуры.
Работает ли это в России
Transformers - открытая Python-библиотека, она устанавливается через pip без геоограничений. Hugging Face Hub, откуда скачиваются модели, периодически испытывает проблемы с доступом из РФ без VPN - это зависит от провайдера и конкретного момента. Если Hub недоступен, GGUF-файлы можно скачать заранее или использовать зеркала. Сам инференс после загрузки весов работает полностью локально.
Что дальше
Поддержка GGUF в Transformers пока сфокусирована на Apple Silicon и архитектуре Qwen3.5 - это явно первый шаг, а не финальная реализация. llama.cpp в плане оптимизаций ушел далеко вперед: там есть поддержка AVX2, разных GPU-бэкендов, многолетняя работа над скоростью на конкретном железе.
Детали реализации и актуальный список поддерживаемых архитектур стоит смотреть в документации к конкретной версии библиотеки. Но направление выбрано понятное: сделать так, чтобы пользователям не приходилось выбирать между удобством Python-экосистемы Transformers и форматом, который уже стал стандартом для локального инференса.
Источники
Похожие новости
Vercel Labs выпустила UI SDK: 50+ поведений интерфейса для ИИ-агентов
Vercel Labs открыла бета-версию UI SDK под Apache-2.0: набор из 50+ поведений интерфейса, из которых агенты собирают доступные компоненты для React, Vue, Svelte, Solid и Web Components.
llama.cpp и ggml вышли в версии 1.0.0 и перешли на семантическое версионирование
Команда ggml-org выпустила llama.cpp и ggml v1.0.0. Теперь поломки API и ABI будут отмечать повышением мажорной версии, а сборки появятся в Homebrew, Winget, conda-forge и других каналах.
Amplitude оценивает срок выпуска доработок с агентом Wave в 1-2 дня, раньше уходил месяц
Amplitude рассказала, что ее агент Wave на моделях OpenAI сокращает путь от идеи до релиза с примерно месяца до 1-2 дней. В тесте на своей главной странице число сообщений через карточки-подсказки через день выросло на 160% относительно контрольной группы.