Comparados con los sistemas de TI tradicionales, los sistemas de IA son mucho más difíciles de proteger, sea de errores cometidos por sus operadores, de interferencias maliciosas o simplemente de comportamientos inestables. Las razones de esto son, principalmente, dos. En primer lugar, la IA genera salidas que son probabilísticas, por lo que una misma instrucción puede dar respuestas diferentes si se la ejecuta dos veces En segundo lugar, los LLM actuales no siempre pueden distinguir entre comandos y datos. Aunque es sabido que los sistemas de IA tienen problemas de seguridad, y hemos hablado de ellos en más de una ocasión, los posibles beneficios económicos de adoptar estos sistemas son imposibles de ignorar. Por eso, muchas empresas han comenzado a dejar de lado los asistentes de IA “sencillos” y los están reemplazando con agentes de IA. Los agentes realizan tareas en forma autónoma y pueden acceder de manera directa a las mismas herramientas que un humano. Esto les permite, por ejemplo, desde hacer una consulta en una base de datos hasta cambiar los ajustes de un proceso de producción. En un nuevo estudio, nuestros expertos analizan cómo se definen claramente los riesgos resultantes y cómo se los minimiza para aplacar lo más posible los problemas potenciales. En su abordaje, adoptan y adaptan los principios de la seguridad desde el diseño y la ciberinmunidad.
Los principios básicos de la seguridad desde el diseño
Todos los principios de esta disciplina se pueden aplicar de forma universal al diseño de cualquier sistema informático, incluidos los agentes de IA. Lo que varía es el grado en el que cada principio se debe adaptar y reformular para los usos de la IA.
- La seguridad es un factor independiente e importante desde la etapa del diseño. Los objetivos y supuestos de seguridad se establecen en un primer momento y se respetan en todas las etapas del desarrollo. Para los agentes de IA, estos supuestos deben contemplar tres puntos clave: (i) el modelo de lenguaje no se considera fiable, (ii) los datos externos de cualquier tipo se consideran potencialmente maliciosos y (iii) ninguna acción irreversible puede realizarse de manera autónoma, sin aprobación humana.
- El sistema se diseña suponiendo que será objeto de ataque.
- Se minimizan tanto la base informática de confianza como la superficie de ataque. Los agentes reciben únicamente las herramientas que realmente necesitan; asimismo, se les otorgan permisos limitados y la menor cantidad de contexto posible. Las políticas de seguridad se aplican exclusivamente a través de componentes deterministas: el monitor de políticas, el entorno de ejecución del agente y los mecanismos de aislamiento (sandboxes).
- Se aplica el principio de mínimo privilegio. Cada agente tiene su propio juego de credenciales y privilegios de acceso (identidad), el cual tiene solo las libertades indispensables para que el agente realice su trabajo. Si un agente necesita temporalmente de privilegios elevados, los obtiene únicamente tras una aprobación externa y únicamente por el tiempo que dura la tarea para la que los requiere.
- Los componentes se mantienen aislados. En los sistemas basados en agentes, este es uno de los problemas de arquitectura más complejos y polifacéticos. El entorno de ejecución de los agentes debe funcionar en un entorno aislado (sandbox o máquina virtual) y los agentes deben estar lo más aislados posible los unos de los otros. También se mantiene una separación para el procesamiento de datos en contextos confiables y no confiables. Así, por ejemplo, un agente lee una solicitud de cambios en un código y escribe una versión preliminar del código modificado; otro agente revisa el trabajo del primero sin ver en ningún momento la solicitud, potencialmente maliciosa, que dio lugar a los cambios.
- La denegación predeterminada es la regla de oro. Las políticas de seguridad siguen este principio: si no está explícitamente permitido, está prohibido. Esto incluye las llamadas a herramientas, el tráfico de red y las interacciones entre los agentes.
- Se implementa la defensa en profundidad. Las distintas medidas deben funcionar al mismo tiempo y reforzarse entre sí. Las defensas probabilísticas —como las barreras de protección de la IA (una suerte de firewall para los modelos de lenguaje) o la alineación (el criterio del propio modelo sobre qué es aceptable y qué no)— no pueden ofrecer garantías formales de seguridad. Sin embargo, hacen que el sistema en su conjunto sea más seguro y son una fuente valiosa de telemetría.
- Se protege la cadena de suministro. Algunos agentes pueden instalar habilidades, bibliotecas y otros componentes de software por su cuenta. Estas capacidades deben estar sujetas a reglas estrictas. Si no se las bloquea por completo, se las debe limitar a una lista cerrada y preaprobada de versiones específicas de componentes específicos. Los sistemas basados en LLM que operan en la nube tienen un riesgo adicional: las actualizaciones de los modelos. Un día, una misma solicitud a una API puede ser atendida por un modelo de lenguaje diferente, con propiedades de seguridad diferentes.
Los obstáculos de la seguridad aplicada a la IA
Los principios generales de la seguridad desde el diseño están bien estudiados y son, en teoría, sencillos. Pero como los agentes son increíblemente flexibles, aplicar estos principios a los sistemas de IA es complicado. Por ejemplo, el personal de seguridad de una empresa podría creer que el agente instalado en la computadora de un programador se ejecuta en un sandbox y no puede modificar nada que exista fuera de ese entorno. Pero un atacante ―o incluso el propio agente― puede hallar decenas de maneras de eludir esta protección (teóricamente) robusta: podría, por ejemplo, ejecutar comandos a través de un servidor MCP local que no esté sujeto a las restricciones del sandbox, reconfigurar otro agente de IA instalado en el sistema, etc. Para complicar más el panorama, la variedad de vectores de ataque es enorme: abarca desde campos arbitrarios en la configuración del agente hasta cadenas de texto aparentemente inofensivas en archivos de habilidades.
Un problema grave, que los diseñadores suelen subestimar, es la fatiga del usuario. Un agente con mucha actividad puede solicitarle al usuario decenas de veces por minuto que confirme acciones potencialmente peligrosas. Al cabo de una hora, el usuario “entra en piloto automático” y hace clic en Aprobar sin fijarse en qué está autorizando. Por esto es importante cuidar tanto la redacción de las solicitudes como la frecuencia con la que aparecen. Nadie leerá una solicitud si es demasiado larga. Y una solicitud demasiado breve puede ocultar detalles clave que el usuario necesita para tomar una decisión correcta.
Las vulnerabilidades de los agentes y las herramientas relacionadas con ellos son un problema apremiante, que se agrava por la rapidez con la que evolucionan y se actualizan estas categorías de software. Ya se ha corregido más de una vulnerabilidad crítica en plataformas y aplicaciones que son de referencia en el sector, como LangGraph, MS Semantic Kernel y Claude Code. Los arquitectos siempre deben considerar sustituir un marco grande y multifuncional por un sistema compacto y simplificado que incluya únicamente las prestaciones que en verdad necesita un agente puntual.
Sumado a lo anterior, se deben implementar con cuidado las medidas de seguridad estándar y “de larga data” en las herramientas disponibles. Estas medidas reducen notablemente los daños si un agente sufre un ataque o se comporta de manera inesperada. Por poner un ejemplo, puede pensarse en una lista estricta de dominios permitidos a los que una herramienta de consulta web pueda acceder ante la solicitud de un agente. Por desgracia, los diseñadores rara vez consideran los problemas ocultos y el trabajo extra que implica mantener una lista de este tipo. Así, poco a poco, la lista queda desactualizada y deja huecos que los atacantes pueden aprovechar. El ejemplo más notable aquí es el ataque EchoLeak. Para acceder a sitios externos, Microsoft 365 Copilot tenía una lista de dominios permitidos que estaba bien implementada y resultaba bastante eficaz. No obstante, los atacantes lograron eludirla utilizando una función de una herramienta secundaria y el dominio de MS Teams.
Consejos prácticos para arquitectos y equipos de seguridad
Los arquitectos de sistemas de IA y quienes tienen a su cargo un equipo de ingeniería o de seguridad han de considerar la seguridad de los agentes desde la etapa de diseño. Deben basarse, principalmente, en mecanismos deterministas y verificables: aislar componentes, controlar interacciones y mantener al mínimo la base informática que se considera de confianza.
Entre las decisiones arquitectónicas clave se encuentran definir el nivel de autonomía aceptable para los agentes, limitar el acceso a datos confidenciales y a combinaciones peligrosas de capacidades, y utilizar entornos aislados, pasarelas de control de acceso y roles independientes para modelos diferentes. Las restricciones agregadas a posteriori pueden aplacar riesgos, pero no son reemplazo para una arquitectura segura.
A nivel organizacional y operativo, las empresas deben mantener un inventario de sus agentes, coordinar los esfuerzos de los equipos de seguridad y despliegue, proteger los entornos de contenedores, gestionar la cadena de suministro (AIBOM) e integrar una defensa multicapa.
Se debe prestar especial atención a la observabilidad. En el caso de los sistemas de IA, es preciso registrar las solicitudes, las respuestas y el razonamiento del LLM, así como datos de telemetría detallados de los hosts y los entornos de nube en los que opera el marco de ejecución de los agentes.
Lo más complejo a la hora de diseñar agentes es equilibrar la seguridad, el rendimiento y la utilidad. Para aprender a conseguir este equilibrio mediante el modelado de amenazas y la definición de objetivos de seguridad claros, puede leer la versión completa del estudio.
inteligencia artificial
Consejos