Ollama
ИИ-чатOllamaChatGPT Desktopлокальные моделиApple Siliconopen source

Ollama 0.34: локальные модели в режиме Codex ChatGPT Desktop

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·4 мин чтения
Ollama 0.34: локальные модели в режиме Codex ChatGPT Desktop

Релиз вышел тихо - без громких анонсов, просто пушем в GitHub. Но по факту это одно из самых заметных обновлений Ollama за последний год. Версия 0.34.0 добавляет интеграцию с ChatGPT Desktop: в режиме Codex можно использовать локальные модели - Llama 3.1, Mistral, Gemma 2 - вместо облачных. Обычный чат и голосовой режим продолжают работать через штатное подключение ChatGPT.

Что именно изменилось

Раньше связка "Ollama + ChatGPT Desktop" требовала танцев с бубном: настраивать прокси, прописывать кастомные эндпоинты, молиться, чтобы ничего не сломалось после очередного обновления приложения. Теперь интеграция настраивается через штатный интерфейс приложения Ollama на macOS - заходишь в настройки, нажимаешь несколько кнопок, и локальные модели становятся доступны в Codex mode.

Для разработчика, который привык к интерфейсу ChatGPT и работает с кодом через Codex, это означает нулевой порог входа в локальные модели.

Почему это важно для тех, кто работает с закрытыми данными

Главная практическая ценность - конфиденциальность. Корпоративные пользователи давно жалуются на одну и ту же проблему: удобный интерфейс ChatGPT Desktop есть, но отправлять туда внутренние документы, код с проприетарной логикой или клиентские данные нельзя по политике безопасности. В режиме Codex с локальной моделью запросы к модели не покидают машину - Ollama поднимает локальный OpenAI-совместимый сервер, и Codex mode подключается к нему.

Оговорка: обычный чат и голосовой режим по-прежнему используют серверы OpenAI, так что полностью отвязаться от облака не получится. Но для сценариев с кодом и чувствительными данными именно в Codex - это уже рабочий вариант.

Для российских пользователей контекст понятный: ChatGPT Desktop с аккаунтом OpenAI требует VPN и зарубежную карту. Локальный бэкенд в Codex mode снижает зависимость от облачной инфраструктуры OpenAI в этом конкретном сценарии.

Apple Silicon получает апгрейд производительности

Вторая крупная новость релиза - улучшенная работа структурированного вывода на чипах Apple Silicon. Structured output - это когда модель возвращает не просто текст, а строго типизированный JSON по заданной схеме. Критически важная функция для любого production-пайплайна, где ответ модели нужно парсить программно.

На M1/M2/M3/M4 раньше структурированный вывод работал заметно медленнее, чем на x86 с GPU. Судя по changelog, в 0.34.0 это исправлено - конкретных цифр прироста команда не публикует, но сам факт отдельного упоминания в release notes говорит о том, что улучшение ощутимое.

Для сравнения: llama.cpp, на котором базируется Ollama, давно умеет эффективно использовать Metal-ускорение на Apple Silicon для генерации токенов. Но structured output требует дополнительной логики грамматических ограничений, и вот здесь у Metal-бэкенда исторически были проблемы. Похоже, их наконец решили.

OpenAI-совместимые инструменты и компактные ответы

В 0.34.0 появилась поддержка двух вещей из OpenAI API, которых раньше не хватало: tool search в клиентских инструментах и response compaction. Первое - это когда модель при вызове инструментов умеет искать по их описаниям, а не перебирать все подряд. Актуально для агентов с большим набором доступных функций.

Response compaction - механизм сжатия истории диалога для длинных контекстов. Вместо того чтобы держать в памяти весь чат целиком, система компактирует старые сообщения. В 0.34.0 также починили баг, из-за которого изображения некорректно обрабатывались через такие компактированные ответы - это важно для мультимодальных моделей типа LLaVA или Llama 3.2 Vision.

Что это значит для конкурентов Ollama

LM Studio давно предлагает похожий функционал - локальный OpenAI-совместимый сервер с GUI. Но у Ollama другая аудитория: разработчики, которые предпочитают CLI и скрипты. Интеграция с ChatGPT Desktop - это попытка дотянуться до более широкой аудитории, той, что не хочет возиться с терминалом вообще.

Jan.ai и GPT4All тоже есть в этой нише, но ни один из них не имеет такой же глубины интеграции с экосистемой macOS и такого же размера сообщества - 182 тысячи звезд на GitHub говорят сами за себя. Для сравнения, LM Studio закрытый и звезды не считает, Jan набрал около 25 тысяч.

Как попробовать

Обновление доступно через стандартный механизм: `ollama update` или скачать напрямую с GitHub. Настройка интеграции с ChatGPT Desktop пока только для macOS - Windows и Linux в этом релизе не упоминаются, что логично, учитывая акцент на Apple Silicon. Для работы нужен ChatGPT Desktop с активным аккаунтом.

Модели качать отдельно: `ollama pull llama3.1` или любую другую из реестра. После установки они появятся в списке доступных моделей в Codex mode - именно там, а не во всем интерфейсе ChatGPT Desktop.

Для тех, кто работает с чувствительными данными и давно искал способ оставить привычный интерфейс, не отправляя код в облако - момент попробовать настал.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

OpenAI
ИИ-чат

OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra

OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.

18 ноября3 мин чтения
OpenAI
ИИ-чат

OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента

OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.

17 ноября3 мин чтения
NVIDIA
ИИ-чат

NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.

17 ноября3 мин чтения