Ollama 0.34: локальные модели в режиме Codex ChatGPT Desktop

Релиз вышел тихо - без громких анонсов, просто пушем в GitHub. Но по факту это одно из самых заметных обновлений Ollama за последний год. Версия 0.34.0 добавляет интеграцию с ChatGPT Desktop: в режиме Codex можно использовать локальные модели - Llama 3.1, Mistral, Gemma 2 - вместо облачных. Обычный чат и голосовой режим продолжают работать через штатное подключение ChatGPT.
Что именно изменилось
Раньше связка "Ollama + ChatGPT Desktop" требовала танцев с бубном: настраивать прокси, прописывать кастомные эндпоинты, молиться, чтобы ничего не сломалось после очередного обновления приложения. Теперь интеграция настраивается через штатный интерфейс приложения Ollama на macOS - заходишь в настройки, нажимаешь несколько кнопок, и локальные модели становятся доступны в Codex mode.
Для разработчика, который привык к интерфейсу ChatGPT и работает с кодом через Codex, это означает нулевой порог входа в локальные модели.
Почему это важно для тех, кто работает с закрытыми данными
Главная практическая ценность - конфиденциальность. Корпоративные пользователи давно жалуются на одну и ту же проблему: удобный интерфейс ChatGPT Desktop есть, но отправлять туда внутренние документы, код с проприетарной логикой или клиентские данные нельзя по политике безопасности. В режиме Codex с локальной моделью запросы к модели не покидают машину - Ollama поднимает локальный OpenAI-совместимый сервер, и Codex mode подключается к нему.
Оговорка: обычный чат и голосовой режим по-прежнему используют серверы OpenAI, так что полностью отвязаться от облака не получится. Но для сценариев с кодом и чувствительными данными именно в Codex - это уже рабочий вариант.
Для российских пользователей контекст понятный: ChatGPT Desktop с аккаунтом OpenAI требует VPN и зарубежную карту. Локальный бэкенд в Codex mode снижает зависимость от облачной инфраструктуры OpenAI в этом конкретном сценарии.
Apple Silicon получает апгрейд производительности
Вторая крупная новость релиза - улучшенная работа структурированного вывода на чипах Apple Silicon. Structured output - это когда модель возвращает не просто текст, а строго типизированный JSON по заданной схеме. Критически важная функция для любого production-пайплайна, где ответ модели нужно парсить программно.
На M1/M2/M3/M4 раньше структурированный вывод работал заметно медленнее, чем на x86 с GPU. Судя по changelog, в 0.34.0 это исправлено - конкретных цифр прироста команда не публикует, но сам факт отдельного упоминания в release notes говорит о том, что улучшение ощутимое.
Для сравнения: llama.cpp, на котором базируется Ollama, давно умеет эффективно использовать Metal-ускорение на Apple Silicon для генерации токенов. Но structured output требует дополнительной логики грамматических ограничений, и вот здесь у Metal-бэкенда исторически были проблемы. Похоже, их наконец решили.
OpenAI-совместимые инструменты и компактные ответы
В 0.34.0 появилась поддержка двух вещей из OpenAI API, которых раньше не хватало: tool search в клиентских инструментах и response compaction. Первое - это когда модель при вызове инструментов умеет искать по их описаниям, а не перебирать все подряд. Актуально для агентов с большим набором доступных функций.
Response compaction - механизм сжатия истории диалога для длинных контекстов. Вместо того чтобы держать в памяти весь чат целиком, система компактирует старые сообщения. В 0.34.0 также починили баг, из-за которого изображения некорректно обрабатывались через такие компактированные ответы - это важно для мультимодальных моделей типа LLaVA или Llama 3.2 Vision.
Что это значит для конкурентов Ollama
LM Studio давно предлагает похожий функционал - локальный OpenAI-совместимый сервер с GUI. Но у Ollama другая аудитория: разработчики, которые предпочитают CLI и скрипты. Интеграция с ChatGPT Desktop - это попытка дотянуться до более широкой аудитории, той, что не хочет возиться с терминалом вообще.
Jan.ai и GPT4All тоже есть в этой нише, но ни один из них не имеет такой же глубины интеграции с экосистемой macOS и такого же размера сообщества - 182 тысячи звезд на GitHub говорят сами за себя. Для сравнения, LM Studio закрытый и звезды не считает, Jan набрал около 25 тысяч.
Как попробовать
Обновление доступно через стандартный механизм: `ollama update` или скачать напрямую с GitHub. Настройка интеграции с ChatGPT Desktop пока только для macOS - Windows и Linux в этом релизе не упоминаются, что логично, учитывая акцент на Apple Silicon. Для работы нужен ChatGPT Desktop с активным аккаунтом.
Модели качать отдельно: `ollama pull llama3.1` или любую другую из реестра. После установки они появятся в списке доступных моделей в Codex mode - именно там, а не во всем интерфейсе ChatGPT Desktop.
Для тех, кто работает с чувствительными данными и давно искал способ оставить привычный интерфейс, не отправляя код в облако - момент попробовать настал.
Источники
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.