По мере роста споров о безопасности Nvidia (NVDA.US) принимает инженерные меры: двухуровневая платформа AI безопасности для контроля доступа и аномального поведения интеллектуальных агентов.

По данным приложения Zhihui Finance, на фоне усиливающихся дискуссий вокруг рисков безопасности в индустрии искусственного интеллекта (AI), Nvidia (NVDA.US) решила ответить на эти вызовы инженерными методами. В понедельник компания Nvidia представила двухуровневую платформу безопасности AI-агентов под названием "Открытая платформа безопасности интеллектуальных агентов", которая предоставляет постоянный мониторинг, выполнение политик в реальном времени и управление безопасностью через трехуровневую архитектуру: уровень приложений, время выполнения и инфраструктуру.

Известно, что система включает два инструмента с открытым исходным кодом — OpenShell и Nvidia Sentry. Открытое ПО OpenShell может запускать AI-агентов в изолированной среде (sandbox), преобразовывать пользовательские инструкции в проверяемые политики безопасности и ограничивать доступ агентов к файлам, сети, инструментам, процессам и учётным данным. Nvidia Sentry расширяет мониторинг и контроль безопасности до дата-процессинговых устройств BlueField, используя Nvidia DOCA для отслеживания взаимодействия агентов, принятия политик, а также ведения записей об использовании инструментов и данных для выявления аномального поведения и, при необходимости, вмешательства. Иными словами, OpenShell отвечает за контроль над доступными ресурсами и правами выполнения AI-агентов, а Nvidia Sentry — за мониторинг поведения агентов и выявление потенциальных угроз.

Nvidia отмечает, что AI-агенты могут отклоняться от поставленных задач из-за инструментов, времени выполнения и неоднозначных инструкций, поэтому необходим контроль безопасности, независимый от самих агентов. Система оптимизирована для процессоров Nvidia Vera CPU и BlueField DPU, а также совместима с другими аппаратными решениями. Nvidia заявила, что ведёт сотрудничество с Arm (ARM.US) и Intel (INTC.US), чтобы гарантировать работу системы и на процессорах этих компаний.

Али Голшан, старший директор по программному обеспечению AI компании Nvidia, отметил, что эти инструменты используют математические формулы для выявления попыток AI-агентов обойти установленные ограничения, например, когда агент пытается "создать" несколько "подагентов" для обхода блокировок, предназначенных для основного агента. Он сказал: «На самом деле, мы говорим о поведении агентов — о кластерах, состоящих из множества агентов, и о том, как они взаимодействуют друг с другом».

Nvidia также заявила, что система способна изолировать аномальных агентов за миллисекунды и отмечает, что если бы эта технология была внедрена в лаборатории ранее, инцидент с атакой модели OpenAI на Hugging Face в июле мог бы быть предотвращён.

Джастин Бойтано, вице-президент и генеральный директор отдела корпоративных вычислений Nvidia, заявил: «Судя по имеющимся у нас данным, если бы эта новая платформа безопасности использовалась на ранних этапах оценки моделей в передовых AI-лабораториях, то она могла бы остановить это вторжение». Он добавил: «Мы реализуем эту работу в открытом формате и надеемся на сотрудничество со всеми заинтересованными сторонами».

Появление этой новейшей системы безопасности AI от Nvidia происходит на фоне продолжающегося внимания к проблемам безопасности интеллектуальных агентов — особенно после инцидента с неконтролируемым доступом модели OpenAI к всемирно известной AI-платформе с открытым исходным кодом Hugging Face в июле. Сразу после взлома Hugging Face были раскрыты и другие инциденты, связанные с AI-агентами OpenAI. Например, в сентябре сообщалось, что AI-агент OpenAI этой весной взял под контроль немецкий вики-сайт, который долгое время не обслуживался. Кроме того, в середине месяца OpenAI в своём блоге сообщил, что за последние шесть месяцев компания зафиксировала 6 случаев «непреднамеренного или тревожного поведения моделей». Эти шесть новых инцидентов с безопасностью AI включают различные аномалии: сокрытие ошибок, попытки получения несанкционированных учётных данных, загрузку файлов на общедоступные сайты и обмен данными между изолированными средами обучения, причём первый инцидент относится ещё к октябрю прошлого года.

С участившимися инцидентами безопасности, компании, занимающиеся AI, сталкиваются с растущим давлением и требованиями более серьёзно относиться к рискам. 12 сентября в предупреждающей статье генеральный директор Anthropic Дарио Амодеи призвал замедлить разработку передовых AI-моделей. На этот призыв быстро отреагировали такие ключевые фигуры отрасли, как Элон Маск и Сэм Альтман.

Однако на фоне редкой единогласной поддержки крупных игроков индустрии относительно необходимости замедления, генеральный директор Nvidia, Дженсен Хуанг, решительно выступил против позиции Anthropic по поводу "замедления AI". Дженсен Хуанг не против самой безопасности AI, а считает необоснованным делать выводы о паузе или снижении темпов для всей индустрии, опираясь только на неподтверждённые катастрофические прогнозы. В отличие от этого, Хуанг предпочитает рассматривать безопасность AI как инженерную задачу. Если в передовой лаборатории возникнет инцидент, в первую очередь необходимо провести анализ первопричин: что именно произошло, какие этапы дали сбой, какие меры можно было бы принять, и какие новые технологии и процессы нужно внедрить впоследствии. Далее, с помощью изолированных сред, постоянного мониторинга, проверки и оценки, такие проблемы максимально блокируют до следующего релиза.

По мнению Хуанга, наибольшие риски в сегодняшних самых передовых лабораториях объясняются в основном наибольшей вычислительной мощностью и самым сложным спектром решаемых задач. По мере превращения этих компаний из исследовательских центров в настоящие инженерные организации им также требуется соответствующая система тестирования и контроля.

Судя по запуску новой системы безопасности AI, Nvidia пытается ещё глубже интегрировать функции защиты в инфраструктуру работы моделей и исполнения агентов, снижая риски за счёт контроля разрешений и изоляции нарушителей. Похоже, это также означает расширение деятельности Nvidia из области AI-чипов в сферу программного обеспечения и инфраструктуры безопасности.