Optima: бенчмарки ИИ наконец-то на ваших реальных данных

Главная проблема публичных бенчмарков
Есть одна вещь, которая раздражает меня в индустриальных бенчмарках вот уже несколько лет: MMLU, HumanEval, GPQA - все это прекрасные инструменты для сравнения моделей между собой в вакууме. Но когда приходит время реально выбирать модель для конкретной задачи - скажем, для обработки финансовых документов или генерации юридических текстов в определенном стиле - эти цифры почти ничего не говорят. Artificial Analysis, которую я давно уважаю за независимые оценки LLM, похоже, решила эту проблему в лоб.
Компания выпустила платформу Optima - инструмент для построения кастомных бенчмарков на основе ваших собственных данных, рабочих процессов или просто описания нужного сценария. Звучит как очевидная идея, но именно такие "очевидные" вещи почему-то появляются на рынке последними.
Три способа загрузить свои данные
Optima принимает входные данные тремя путями, и это продуманная архитектура. Первый вариант - загрузить готовые датасеты: либо свои файлы, либо публичные наборы с Hugging Face. Второй - импортировать трассы агентов из таких платформ, как Arize, Braintrust или Langfuse. Третий - просто описать сценарий текстом и предоставить примеры входов и выходов, после чего Optima сама предложит тестовые кейсы и критерии оценки.
Последний вариант особенно интересен для команд, у которых еще нет накопленной истории взаимодействий с моделью. По сути, платформа помогает структурировать то, что раньше существовало только в голове продукт-менеджера или тимлида.
Качество, стоимость, скорость - наконец вместе
Главная фишка Optima - это то, что стоимость задачи и время выполнения стали полноправными метриками наравне с качеством ответа. Казалось бы, банальность, но ни один публичный бенчмарк не делает это системно. А именно здесь скрывается самый болезненный инсайт для бизнеса.
Возьмем агентные приложения. Если модель дешевле на 30% по цене токена, но при этом совершает вдвое больше ошибок и требует повторных запусков - реальная стоимость завершенной задачи окажется выше. Это не теоретический сценарий, это ежедневная реальность команд, которые строят агентные пайплайны. Optima позволяет увидеть именно стоимость завершенной задачи, а не просто цену за миллион токенов.
По данным Artificial Analysis, ранние пользователи платформы строили бенчмарки для финансовых и бухгалтерских агентов - и некоторым удавалось найти модели, снижающие затраты в десять раз без существенной потери качества. Другие тестировали соответствие стилю юридических текстов или точность распознавания элементов в проприетарных датасетах изображений.
Два метода оценки
Platform предлагает два подхода к скорингу. Первый - рубрикальная оценка: модель проверяется по объективным критериям, каждый из которых стоит $0.125 за критерий. Второй - попарное сравнение (pairwise), тот же метод, который Artificial Analysis использует в своих публичных бенчмарках GDPval-AA и AA-Briefcase. Здесь пользователь сначала вручную оценивает выборку пар ответов, указывая предпочтительный, а Optima выводит полный рейтинг по всему датасету. Попарное сравнение обходится в $0.375 за сравнение.
Попарный подход мне нравится больше для субъективных задач - вроде оценки стиля или тональности. Рубрики хороши там, где критерии можно формализовать: точность фактов, соблюдение формата, полнота ответа.
Ценообразование без накруток
Отдельно хочу отметить модель монетизации. Artificial Analysis заявляет, что берет только реальную стоимость токенов используемых моделей - без наценки. Платформа резервирует баланс перед запуском на основе расчетной стоимости, а финальный счет выставляется по фактическому потреблению. Для компании, которая зарабатывает на доверии к своим независимым оценкам, такой подход логичен и симпатичен.
Контекст: что это значит для рынка
Optima появляется в интересный момент. Гонка бенчмарков между OpenAI, Anthropic, Google и китайскими лабораториями достигла абсурдного уровня - компании буквально оптимизируют модели под публичные тесты, что давно стало открытым секретом индустрии. На этом фоне инструменты для частной, задачно-специфичной оценки - это не просто удобство, а необходимость.
Конкуренты в этом пространстве есть: Scale AI с их HELM-подобными инструментами, внутренние eval-фреймворки от Weights & Biases, LangSmith от LangChain. Но Optima берет конкретную нишу - сравнение по экономике задачи, а не просто по качеству - и это отличает ее от большинства существующих решений.
Работает ли в России?
Для российской аудитории ситуация типичная: Artificial Analysis - американская компания, прямой оплаты российскими картами нет. Понадобится либо зарубежная карта, либо промежуточные сервисы. Технически доступ через VPN возможен, но стабильность работы зависит от конкретного провайдера. Если вы работаете с корпоративными аккаунтами через международные платежные системы - проблем быть не должно.
Главный вопрос
Одна оговорка, которую сами Artificial Analysis честно признают: качество кастомного бенчмарка зависит от того, насколько грамотно он спроектирован. Если ваши тестовые кейсы не отражают реальную бизнес-ценность или выборка слишком мала - результаты будут misleading. Инструмент не заменяет экспертизу в постановке задачи оценки.
Но это не критика Optima - это просто честное напоминание о том, что никакая платформа не избавит вас от необходимости думать. Зато она избавит от необходимости строить eval-инфраструктуру с нуля, что само по себе экономит недели работы. Для большинства команд это уже достаточная причина попробовать.
Источники
Похожие новости
OpenAI выпустила GPT-6.2 Astra и Sol: входные и выходные токены Astra в API на 20% дешевле, чем у GPT-6 Astra
OpenAI представила две модели: флагманскую GPT-6.2 Astra и экономичную GPT-6.2 Sol. Они доступны в ChatGPT Work, Codex и API и тратят меньше выходных токенов. В API Astra дешевле GPT-6 Astra: входные и выходные токены на 20% ниже, на кэшированные входные скидка 60%.
OpenAI показала агентов GPT-6 для клиник: Luna выполняет задачу за 8,5 цента
OpenAI предложила больницам и страховщикам GPT-6 Astra и Luna: агенты сами кликают по программам клиник и порталам страховых. Среди партнеров компании - CVS Health и Cigna Healthcare.
NVIDIA Vera Rubin NVL72 в MLPerf Endpoints: более 10x токенов на киловатт к GB300
В предварительных результатах MLPerf Endpoints v1.0 система Vera Rubin NVL72 выдала более чем в 10 раз больше токенов на киловатт, чем GB300 NVL72. Результаты еще не верифицированы MLCommons.