Anthropic
ИИ-чатAnthropicClaudeMessage ThreadsMessages APIClaude Code

Anthropic запустила Message Threads: ответ Claude на длинном контексте быстрее на 35%

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
Anthropic запустила Message Threads: ответ Claude на длинном контексте быстрее на 35%

Anthropic запустила в публичной бете Message Threads для Messages API. Раньше каждый запрос к Claude нес всю историю диалога целиком, теперь агент отправляет ее один раз, а дальше передает только новые сообщения и идентификатор последнего ответа модели. По данным компании, на запросах от 500 тысяч до миллиона токенов время до первого токена сокращается примерно на 35%.

Как это устроено

Кодинг-агент за одну сессию делает сотни запросов, и каждый тянет за собой все прежние сообщения и результаты вызова инструментов. Когда история вырастает до сотен тысяч токенов, одна только отправка заметно задерживает начало ответа. Треды убирают повторную передачу: состояние диалога лежит на стороне Anthropic.

Выгоднее всего это агентам для работы с компьютером: скриншоты остаются в треде и не загружаются заново на каждом шаге. Тот же эффект ждет сценарии с большим количеством документов и изображений.

В Claude Code функцию уже включили по умолчанию для большинства пользователей. Разработчикам API ее нужно включать самим через параметр "thread" в запросе. Бета работает на всех моделях Claude, на платформе Anthropic и через AWS, Microsoft Foundry и Google Cloud.

Что не меняется

Деньги функция не экономит. Claude по-прежнему читает всю историю на каждом ходе, поэтому расход токенов, цены и лимиты остаются прежними. Против дорогих длинных сессий Anthropic в сентябре действовала другим способом: снизила цены на кеш на 75%. Треды закрывают другую проблему, задержку.

Ограничения, о которых лучше знать заранее

Тред хранится в памяти в зашифрованном виде и на диск не пишется. Через пять минут после последнего запроса он истекает, поэтому полную копию диалога разработчику нужно держать у себя. Если копии нет, после паузы историю придется собирать заново. Кроме того, по информации TNW, треды не подходят для режимов с нулевым хранением данных (zero data retention) и для конфигураций HIPAA. Для медицинских и строго регулируемых проектов это может закрыть вопрос сразу.

Что показал независимый тест

Цифра в 35% - собственное измерение Anthropic, медианное значение для больших запросов. ZDNET проверил функцию на своих логах Claude Code: около 980 ходов до появления тредов. На контексте от 500 тысяч токенов Claude начинал отвечать примерно через 3 секунды. За четыре часа работы автор делал 100-225 обращений к модели. Оценка выходит в 2-4 минуты экономии за сессию. Расчет автор поручил самому Claude, это прикидка, а не замер уже после включения функции.

Арифметика сходится: 35% от трех секунд - чуть больше секунды на запрос, умножаем на сотню-другую запросов и получаем те самые минуты. Для одиночного разработчика это немного. Для автономных агентов, которые работают часами и гоняют по сети скриншоты и PDF, выигрыш копится, а в продуктах, где пользователь ждет ответа на каждый шаг, секунда задержки заметна.

Наш взгляд

Message Threads - шаг от полностью безгражданного API к API с состоянием на стороне провайдера. Платой за скорость становятся короткий срок жизни треда и ограничения по приватности. Для агентов с плотным темпом запросов пять минут хватает, а вот для сценариев, где пауза между шагами длиннее, функция пользы почти не даст. Пока нет независимых замеров на реальных API-нагрузках, 35% стоит воспринимать как верхнюю границу для самых тяжелых запросов, а не как среднюю скорость всех сессий.

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

OpenAI
ИИ-чат

OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra

OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.

18 ноября3 мин чтения
OpenAI
ИИ-чат

OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента

OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.

17 ноября3 мин чтения
NVIDIA
ИИ-чат

NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300

В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.

17 ноября3 мин чтения