Optima: бенчмарки ИИ наконец-то на ваших реальных данных

Главная проблема публичных бенчмарков

Есть одна вещь, которая раздражает меня в индустриальных бенчмарках вот уже несколько лет: MMLU, HumanEval, GPQA — всё это прекрасные инструменты для сравнения моделей между собой в вакууме. Но когда приходит время реально выбирать модель для конкретной задачи — скажем, для обработки финансовых документов или генерации юридических текстов в определённом стиле — эти цифры почти ничего не говорят. Artificial Analysis, которую я давно уважаю за независимые оценки LLM, похоже, решила эту проблему в лоб.

Компания выпустила платформу Optima — инструмент для построения кастомных бенчмарков на основе ваших собственных данных, рабочих процессов или просто описания нужного сценария. Звучит как очевидная идея, но именно такие «очевидные» вещи почему-то появляются на рынке последними.

Три способа загрузить свои данные

Optima принимает входные данные тремя путями, и это продуманная архитектура. Первый вариант — загрузить готовые датасеты: либо свои файлы, либо публичные наборы с Hugging Face. Второй — импортировать трассы агентов из таких платформ, как Arize, Braintrust или Langfuse. Третий — просто описать сценарий текстом и предоставить примеры входов и выходов, после чего Optima сама предложит тестовые кейсы и критерии оценки.

Последний вариант особенно интересен для команд, у которых ещё нет накопленной истории взаимодействий с моделью. По сути, платформа помогает структурировать то, что раньше существовало только в голове продукт-менеджера или тимлида.

Качество, стоимость, скорость — наконец вместе

Главная фишка Optima — это то, что стоимость задачи и время выполнения стали полноправными метриками наравне с качеством ответа. Казалось бы, банальность, но ни один публичный бенчмарк не делает это системно. А именно здесь скрывается самый болезненный инсайт для бизнеса.

Возьмём агентные приложения. Если модель дешевле на 30% по цене токена, но при этом совершает вдвое больше ошибок и требует повторных запусков — реальная стоимость завершённой задачи окажется выше. Это не теоретический сценарий, это ежедневная реальность команд, которые строят агентные пайплайны. Optima позволяет увидеть именно стоимость завершённой задачи, а не просто цену за миллион токенов.

По данным Artificial Analysis, ранние пользователи платформы строили бенчмарки для финансовых и бухгалтерских агентов — и некоторым удавалось найти модели, снижающие затраты в десять раз без существенной потери качества. Другие тестировали соответствие стилю юридических текстов или точность распознавания элементов в проприетарных датасетах изображений.

Два метода оценки

Platform предлагает два подхода к скорингу. Первый — рубрикальная оценка: модель проверяется по объективным критериям, каждый из которых стоит $0.125 за критерий. Второй — попарное сравнение (pairwise), тот же метод, который Artificial Analysis использует в своих публичных бенчмарках GDPval-AA и AA-Briefcase. Здесь пользователь сначала вручную оценивает выборку пар ответов, указывая предпочтительный, а Optima выводит полный рейтинг по всему датасету. Попарное сравнение обходится в $0.375 за сравнение.

Честно говоря, попарный подход мне нравится больше для субъективных задач — вроде оценки стиля или тональности. Рубрики хороши там, где критерии можно формализовать: точность фактов, соблюдение формата, полнота ответа.

Ценообразование без накруток

Отдельно хочу отметить модель монетизации. Artificial Analysis заявляет, что берёт только реальную стоимость токенов используемых моделей — без наценки. Платформа резервирует баланс перед запуском на основе расчётной стоимости, а финальный счёт выставляется по фактическому потреблению. Для компании, которая зарабатывает на доверии к своим независимым оценкам, такой подход логичен и симпатичен.

Контекст: что это значит для рынка

Optima появляется в интересный момент. Гонка бенчмарков между OpenAI, Anthropic, Google и китайскими лабораториями достигла абсурдного уровня — компании буквально оптимизируют модели под публичные тесты, что давно стало открытым секретом индустрии. На этом фоне инструменты для частной, задачно-специфичной оценки — это не просто удобство, а необходимость.

Конкуренты в этом пространстве есть: Scale AI с их HELM-подобными инструментами, внутренние eval-фреймворки от Weights & Biases, LangSmith от LangChain. Но Optima берёт конкретную нишу — сравнение по экономике задачи, а не просто по качеству — и это отличает её от большинства существующих решений.

Работает ли в России?

Для российской аудитории ситуация типичная: Artificial Analysis — американская компания, прямой оплаты российскими картами нет. Понадобится либо зарубежная карта, либо промежуточные сервисы. Технически доступ через VPN возможен, но стабильность работы зависит от конкретного провайдера. Если вы работаете с корпоративными аккаунтами через международные платёжные системы — проблем быть не должно.

Главный вопрос

Одна оговорка, которую сами Artificial Analysis честно признают: качество кастомного бенчмарка зависит от того, насколько грамотно он спроектирован. Если ваши тестовые кейсы не отражают реальную бизнес-ценность или выборка слишком мала — результаты будут misleading. Инструмент не заменяет экспертизу в постановке задачи оценки.

Но это не критика Optima — это просто честное напоминание о том, что никакая платформа не избавит вас от необходимости думать. Зато она избавит от необходимости строить eval-инфраструктуру с нуля, что само по себе экономит недели работы. Для большинства команд это уже достаточная причина попробовать.