NVIDIA добавила в AICR компонент учета AI-нагрузок на базе k8s-aibom от Google

NVIDIA добавила в AI Cluster Runtime (AICR) квалифицированный компонент AI bill of materials, построенный на открытом проекте k8s-aibom от Google. Он наблюдает за AI-нагрузками в Kubernetes и выпускает записи в формате CycloneDX 1.6. AICR входит в платформу NVIDIA DSX AI Factory и сам распространяется с открытым кодом.
Какую дыру закрывают
AICR превращает проверенные конфигурации GPU-платформ в рецепты с зафиксированными версиями и воспроизводимые пакеты развертывания. Рецепт описывает один набор: железо, облако, ОС и назначение. В нем записаны компоненты, версии, значения, ограничения, порядок установки и ожидаемые проверки. У пакетов есть контрольные суммы, подпись включается опционально командой aicr bundle --attest.
Но рецепт описывает платформу, а не то, что поверх нее запускают прикладные команды. Они обновляют свои нагрузки независимо, поэтому пакет не отвечает на вопрос, какие артефакты крутятся на каждом узле. Отдельная проблема - изменяемые теги вроде :latest. Два узла могут исполнять разный код под одним тегом, а узел, который скачает образ через неделю, получит версию, которую не проверяла служба безопасности.
Что делает k8s-aibom
Инструмент наблюдает за поддерживаемыми AI-нагрузками и записывает результат в AIBOM. У каждой записи есть уровень уверенности и указатели на свидетельства. Он сам определяет категорию нагрузки и среду исполнения: для инференса на vLLM в записи окажутся модель и образ контейнера. Записи выпускают только те пространства имен, для которых включен opt-in на уровне namespace. Без него учета в пространстве имен не будет, даже если компонент выбран в рецепте.
Рецепты и флаги
Два готовых рецепта выбирают k8s-aibom по умолчанию: h100-gke-cos-inference и h100-gke-cos-inference-dynamo. Это значит лишь, что компонент входит в набор рецепта. Какие пространства имен попадут в учет, по-прежнему решает opt-in.
Остальные рецепты для GKE можно включить в учет при генерации флагом --runtime-inventory enabled. Если рецепт уже выбирает компонент, а он не нужен, помогает --runtime-inventory disabled. В источнике речь идет только о GKE-рецептах, про другие облака и локальные кластеры там ничего нет.
Что значит "квалифицирован"
NVIDIA отдельно оговаривает, что это не формальная печать. AICR связывает исходники, чарт, CRD и образ контроллера, закрепленный по digest, в один протестированный набор. Затем проверяет происхождение сборки по ожидаемой идентичности сборщика Google и разбирает итоговые RBAC и настройки безопасности. Наконец, прогоняет установку, обновление, проверку работоспособности и удаление на тех путях развертывания, которые тестировала.
Цена наблюдения
Проверка шла на AICR v1.2.0 с k8s-aibom 1.6.2. В установившемся режиме контроллер делает примерно 4 запроса к API-серверу в минуту, потребляет в среднем 2,2 millicores CPU и занимает 28-34 MiB памяти. По моему мнению, для кластера с GPU это немного, но решать, приемлема ли такая нагрузка на control plane, вам.
Кому это пригодится
Команды, которые запускают инференс через NVIDIA Dynamo, Kubeflow или Slurm и отвечают перед безопасниками или аудиторами, получают машиночитаемый список того, что реально работает, вместо ручной сверки манифестов. Как инструменты работают с Slurm вне Kubernetes, источник не уточняет: k8s-aibom по описанию следит именно за нагрузками в Kubernetes.
Код лежит в репозиториях NVIDIA AICR и k8s-aibom.
Источники
Похожие новости
Vercel Labs выпустила UI SDK: 50+ поведений интерфейса для ИИ-агентов
Vercel Labs открыла бета-версию UI SDK под Apache-2.0: набор из 50+ поведений интерфейса, из которых агенты собирают доступные компоненты для React, Vue, Svelte, Solid и Web Components.
llama.cpp и ggml вышли в версии 1.0.0 и перешли на семантическое версионирование
Команда ggml-org выпустила llama.cpp и ggml v1.0.0. Теперь поломки API и ABI будут отмечать повышением мажорной версии, а сборки появятся в Homebrew, Winget, conda-forge и других каналах.
Amplitude оценивает срок выпуска доработок с агентом Wave в 1-2 дня, раньше уходил месяц
Amplitude рассказала, что ее агент Wave на моделях OpenAI сокращает путь от идеи до релиза с примерно месяца до 1-2 дней. В тесте на своей главной странице число сообщений через карточки-подсказки через день выросло на 160% относительно контрольной группы.