NVIDIA
Генерация кодаNVIDIAAICRk8s-aibomKubernetesAIBOM

NVIDIA добавила в AICR компонент учета AI-нагрузок на базе k8s-aibom от Google

Сергей Сергеев, редактор gen-hub.ru
Сергей Сергеев
Редактор gen-hub.ru
·3 мин чтения
NVIDIA добавила в AICR компонент учета AI-нагрузок на базе k8s-aibom от Google

NVIDIA добавила в AI Cluster Runtime (AICR) квалифицированный компонент AI bill of materials, построенный на открытом проекте k8s-aibom от Google. Он наблюдает за AI-нагрузками в Kubernetes и выпускает записи в формате CycloneDX 1.6. AICR входит в платформу NVIDIA DSX AI Factory и сам распространяется с открытым кодом.

Какую дыру закрывают

AICR превращает проверенные конфигурации GPU-платформ в рецепты с зафиксированными версиями и воспроизводимые пакеты развертывания. Рецепт описывает один набор: железо, облако, ОС и назначение. В нем записаны компоненты, версии, значения, ограничения, порядок установки и ожидаемые проверки. У пакетов есть контрольные суммы, подпись включается опционально командой aicr bundle --attest.

Но рецепт описывает платформу, а не то, что поверх нее запускают прикладные команды. Они обновляют свои нагрузки независимо, поэтому пакет не отвечает на вопрос, какие артефакты крутятся на каждом узле. Отдельная проблема - изменяемые теги вроде :latest. Два узла могут исполнять разный код под одним тегом, а узел, который скачает образ через неделю, получит версию, которую не проверяла служба безопасности.

Что делает k8s-aibom

Инструмент наблюдает за поддерживаемыми AI-нагрузками и записывает результат в AIBOM. У каждой записи есть уровень уверенности и указатели на свидетельства. Он сам определяет категорию нагрузки и среду исполнения: для инференса на vLLM в записи окажутся модель и образ контейнера. Записи выпускают только те пространства имен, для которых включен opt-in на уровне namespace. Без него учета в пространстве имен не будет, даже если компонент выбран в рецепте.

Рецепты и флаги

Два готовых рецепта выбирают k8s-aibom по умолчанию: h100-gke-cos-inference и h100-gke-cos-inference-dynamo. Это значит лишь, что компонент входит в набор рецепта. Какие пространства имен попадут в учет, по-прежнему решает opt-in.

Остальные рецепты для GKE можно включить в учет при генерации флагом --runtime-inventory enabled. Если рецепт уже выбирает компонент, а он не нужен, помогает --runtime-inventory disabled. В источнике речь идет только о GKE-рецептах, про другие облака и локальные кластеры там ничего нет.

Что значит "квалифицирован"

NVIDIA отдельно оговаривает, что это не формальная печать. AICR связывает исходники, чарт, CRD и образ контроллера, закрепленный по digest, в один протестированный набор. Затем проверяет происхождение сборки по ожидаемой идентичности сборщика Google и разбирает итоговые RBAC и настройки безопасности. Наконец, прогоняет установку, обновление, проверку работоспособности и удаление на тех путях развертывания, которые тестировала.

Цена наблюдения

Проверка шла на AICR v1.2.0 с k8s-aibom 1.6.2. В установившемся режиме контроллер делает примерно 4 запроса к API-серверу в минуту, потребляет в среднем 2,2 millicores CPU и занимает 28-34 MiB памяти. По моему мнению, для кластера с GPU это немного, но решать, приемлема ли такая нагрузка на control plane, вам.

Кому это пригодится

Команды, которые запускают инференс через NVIDIA Dynamo, Kubeflow или Slurm и отвечают перед безопасниками или аудиторами, получают машиночитаемый список того, что реально работает, вместо ручной сверки манифестов. Как инструменты работают с Slurm вне Kubernetes, источник не уточняет: k8s-aibom по описанию следит именно за нагрузками в Kubernetes.

Код лежит в репозиториях NVIDIA AICR и k8s-aibom.

Источники

Все эти инструменты - уже на Genova-ai

Картинки, видео, музыка, голос и ИИ-чат в одном месте. Без VPN и зарубежных карт.

Картинки
Видео
Музыка
Голос
ИИ-чат
Попробовать бесплатно

Похожие новости

V
Генерация кода

Vercel Labs выпустила UI SDK: 50+ поведений интерфейса для ИИ-агентов

Vercel Labs открыла бета-версию UI SDK под Apache-2.0: набор из 50+ поведений интерфейса, из которых агенты собирают доступные компоненты для React, Vue, Svelte, Solid и Web Components.

14 ноября3 мин чтения
Hugging Face
Генерация кода

llama.cpp и ggml вышли в версии 1.0.0 и перешли на семантическое версионирование

Команда ggml-org выпустила llama.cpp и ggml v1.0.0. Теперь поломки API и ABI будут отмечать повышением мажорной версии, а сборки появятся в Homebrew, Winget, conda-forge и других каналах.

13 ноября3 мин чтения
A
Генерация кода

Amplitude оценивает срок выпуска доработок с агентом Wave в 1-2 дня, раньше уходил месяц

Amplitude рассказала, что ее агент Wave на моделях OpenAI сокращает путь от идеи до релиза с примерно месяца до 1-2 дней. В тесте на своей главной странице число сообщений через карточки-подсказки через день выросло на 160% относительно контрольной группы.

13 ноября3 мин чтения