NVIDIA lanza plataforma para reforzar la seguridad de agentes de inteligencia artificial

NVIDIA presentó Open Agent Safety Platform, una plataforma abierta diseñada para reforzar la seguridad de los agentes de inteligencia artificial desde las etapas de prueba hasta su implementación en entornos empresariales y sistemas físicos.

La propuesta busca atender uno de los desafíos que acompañan el avance de los agentes autónomos: establecer límites verificables sobre las herramientas, datos y sistemas a los que pueden acceder mientras ejecutan tareas con poca intervención humana.

La plataforma está integrada principalmente por OpenShell y Sentry. OpenShell funciona como un entorno seguro de ejecución que permite definir políticas y límites sobre las acciones de un agente, además de registrar su actividad. Aunque está optimizado para procesadores NVIDIA Vera, la compañía señala que su naturaleza de código abierto permite extenderlo a otras plataformas.

Sentry añade una segunda capa de protección. Se trata de un sistema independiente que opera sobre unidades de procesamiento BlueField-4 y supervisa de manera continua la actividad del agente. Si detecta que intenta actuar fuera de los límites establecidos, puede aislarlo y detener su ejecución.

La arquitectura también incorpora controles sobre el acceso a datos, herramientas, interfaces de programación y servicios, con el objetivo de que las restricciones de seguridad no dependan únicamente del propio modelo de inteligencia artificial.

NVIDIA informó que más de 100 organizaciones trabajan con tecnologías relacionadas con esta plataforma. Entre las compañías y organismos mencionados se encuentran Anthropic, Microsoft, Cisco, Salesforce, SAP, Scale AI, JPMorganChase y otras empresas de infraestructura, software, servicios financieros y robótica.

Por qué importa

A medida que los agentes de IA adquieren capacidad para ejecutar código, consultar bases de datos, utilizar aplicaciones o interactuar con sistemas físicos, la seguridad deja de depender únicamente de lo que el modelo puede responder.

El planteamiento de NVIDIA introduce controles externos al agente para supervisar qué puede hacer y detenerlo cuando exceda sus permisos, una arquitectura que podría adquirir mayor relevancia conforme las empresas deleguen procesos más complejos a sistemas autónomos.

OpenShell y otros componentes de la plataforma ya están disponibles mediante los recursos para desarrolladores de NVIDIA.