3 Consejos para desplegar la IA agéntica de forma segura
Esté donde esté en su viaje

Autor: Jair Santanna
Fecha: 18/09/2025

Letras inventadas de canciones famosas, artículos científicos que no existen: existen múltiples ejemplos de alucinaciones famosas de LLM. No son un error, sino una característica. Estos modelos están diseñados para generar textos fluidos y que suenen verosímiles, no para verificar la verdad.

Eso significa que pueden inventar detalles con toda confianza, malinterpretar el contexto o rellenar huecos con información inventada. Cuando las alucinaciones se producen en un "bucle agéntico", en el que la IA no sólo habla sino que actúa, las consecuencias se multiplican.

Una cita fabricada puede ser inofensiva en una conversación casual, pero en un sistema vivo con acceso a Internet, a datos de la empresa o a código ejecutable, esa misma fabricación puede desencadenar acciones costosas, peligrosas o incluso catastróficas. En este blog, nuestro especialista en seguridad de IA Jair Santanna comparte 3 consejos para evitar que esto ocurra.

Jair, nuestro principal especialista en ciberseguridad de la IA, desarrolla y dirige los servicios de ciberseguridad de la IA y las innovaciones impulsadas por la IA en Bureau Veritas en Europa. También es profesor adjunto en la Universidad de Twente y miembro del grupo asesor de EUROPOL EC3 sobre I+D, combinando una experiencia reconocida con un enfoque práctico e innovador.

Chatbots: la primera oleada de aplicaciones de la IA

¿Se acuerda de noviembre de 2022? El lanzamiento de ChatGPT convirtió la Inteligencia Artificial (IA) en la corriente principal de la noche a la mañana. En cuestión de semanas, millones de Personas utilizaban un asistente conversacional de IA en su vida cotidiana para redactar correos electrónicos, aportar ideas e incluso escribir poesía. Parecía un momento de ciencia ficción convertido de repente en una pestaña del navegador.

Desde entonces, la transformación ha sido muy intensa. Microsoft integró Copilot en muchas de sus herramientas, Google lanzó Gemini, Anthropic presentó Claude e innumerables empresas le siguieron con sus propios chatbots impulsados por IA. Lo que antes era un experimento se convirtió rápidamente en la interfaz por defecto para interactuar con la IA. Sólo para su reflexión: ¿Cuántas veces interactuó con un chatbot de IA en la última semana?

Aquí, a finales de 2025, los chatbots siguen siendo la forma más común de IA en uso. De hecho, cuando realizamos pruebas de penetración de IA o Red Teaming de IA en el último trimestre, la mayoría de las empresas nos pidieron que evaluáramos sus sistemas de chatbot de IA personalizados, a menudo conectados a herramientas o conjuntos de datos internos sensibles. Las tres funcionalidades más comunes que encontramos en los chatbots fueron:

1. Acceso a Internet: chatbots que navegan en tiempo real para obtener información actualizada.
2. Integración de datos: sistemas conectados a bases de datos empresariales, CRM, Google Suite y bases de conocimientos.
3. Ejecución de código: asistentes capaces de ejecutar scripts y producir programas funcionales.

De los LLM a los Chatbots, de los agentes de IA a la IA Agenética

Lo que empezó como "sólo predicción de texto" con Grandes modelos de lenguaje (LLM) se ha convertido en "asistentes digitales". Aquí es donde la terminología puede resultar confusa. Los LLM son "el cerebro" de la mayoría de las aplicaciones de IA generativa. Los Chatbots son las aplicaciones de IA que facilitan a los usuarios finales, de forma escrita y/o hablada, la comunicación con los LLM. Después, los Chatbots fueron adquiriendo cada vez más funcionalidades y últimamente, en algunos casos, podrían considerarse agentes de IA.

Los investigadores de la Universidad de Cornell definen los agentes de IA como "programas de software autónomos que realizan tareas específicas". En el mismo documento, definen la IA agenética como "sistemas de múltiples agentes de IA que colaboran para alcanzar objetivos complejos". Utilizan una analogía muy clara de dos sistemas que controlan la temperatura de un entorno, mostrada en la siguiente imagen.

Desde finales de 2025, los debates en torno a la IA agéntica suelen centrarse en herramientas diseñadas para la automatización e integración de flujos de trabajo de IA (por ejemplo, n8n, Dify) o en plataformas de automatización SaaS más amplias (por ejemplo, Zapier, Make, Microsoft Power Automate). Tanto las plataformas de automatización de flujos de trabajo específicas de IA como las generales permiten a los LLM desencadenar acciones del mundo real.

Lo más emocionante es que ahora todas las Empresas pueden imaginar agentes prácticos y de gran valor adaptados a sus operaciones diarias. Por ejemplo:

1. Las empresas pueden utilizar agentes de investigación que analicen las noticias del sector, resuman las estrategias de la competencia y entreguen informes pulidos que sigan plantillas internas.
2. Los equipos de ventas se benefician de agentes de acercamiento que califican a los clientes potenciales, redactan correos electrónicos personalizados y actualizan el CRM automáticamente.
3. Los departamentos de RR.HH. pueden utilizar agentes de incorporación que preparen paquetes de bienvenida personalizados, programen sesiones de formación y recopilen los documentos necesarios.
4. Las entidades financieras pueden desplegar agentes de cumplimiento que concilien las transacciones, señalen las anomalías y generen resúmenes listos para la auditoría.
5. Incluso los equipos de producto pueden poner en marcha agentes de retroalimentación de clientes que supervisen los canales sociales, agrupen información y recomienden mejoras prioritarias.

Las oportunidades son infinitas. La verdadera barrera ya NO es la TECNOLOGÍA, sino nuestra creatividad.

Los escollos de la IA

En el centro de los chatbots y de la IA agenética se encuentran los Grandes modelos de lenguaje (LLM). Son asombrosamente capaces, capaces de sintetizar texto, razonar sobre instrucciones e incluso generar código de trabajo. Pero permítanme ser claro: los LLM son poderosos, pero muy frágiles . Sus propias fortalezas ocultan profundos escollos, una autonomía sin límites, vulnerabilidades ocultas y riesgos en cascada a lo largo de las cadenas de suministro digitales. Los beneficios, descritos en las secciones anteriores, siguen siendo superiores a los riesgos si se tienen bien en cuenta y se abordan.

Consideremos cuatro funcionalidades comunes que hacen atractivos a los agentes de IA, y los riesgos que conllevan:

1. Acceso a Internet → riesgos de desinformación. Un chatbot orientado al cliente para una agencia de viajes podría extraer los requisitos de visado de un sitio web poco fiable. Si esos datos no están actualizados o son falsos, un viajero podría llegar a la frontera sin estar preparado, lo que provocaría trastornos personales y daños duraderos en la reputación de la agencia.
2. Integración de datos → exposición a la seguridad y la privacidad. Cuando un asistente de IA está conectado a sistemas empresariales sensibles, como la base de datos de pacientes de un hospital, lo que está en juego aumenta drásticamente. Un prompt mal diseñado o un insider malintencionado podrían engatusar al modelo para que expusiera datos sanitarios privados, desencadenando demandas y sanciones normativas.
3. Ejecución de código → consecuencias imprevistas. Los scripts generados por IA pueden parecer correctos pero ocultar fallos sutiles. Un equipo de marketing que confíe en este tipo de código podría enviar accidentalmente correos electrónicos sin respetar las solicitudes de cancelación de suscripción, enviando efectivamente spam a miles de usuarios y violando las normas de cumplimiento, lo que podría desencadenar multas de hasta 43.280 dólares por correo electrónico.
4. Decider por assets críticos u operaciones de negocio → violar las reglas de negocio o incluso las leyes. El infame incidente de Chevrolet ilustra este riesgo. El chatbot de un concesionario, sin límites de lógica de precios, "vendió" un Chevy Tahoe originalmente de entre 60.000 y 80.000 dólares por 1 dólar. Sin una integración estricta con los sistemas oficiales, la IA puede generar resultados que violen las normas empresariales, los contratos o incluso las leyes.

Estos enlaces a casos ponen de relieve la importancia crítica de implantar barreras de protección adecuadas, supervisión humana e integración de sistemas cuando se despliegan agentes de IA en entornos críticos para la empresa. Cada incidente representa no sólo un fallo técnico, sino una avería en la gestión de riesgos que podría haberse evitado con las salvaguardas adecuadas.

Nuestros 3 consejos y una lista de normas para que su aplicación de IA sea más segura

Independientemente de dónde se encuentre su empresa en el viaje de la IA, si tiene una aplicación con llamadas LLM (API), un Chatbot, un agente de IA o una aplicación de IA Agentic, estos son los tres consejos más importantes que damos a los clientes.

1. Barreras de protección. Debe implementar Barreras de protección antes y después de la llamada LLM. Esto le permite sanear las entradas antes de que lleguen al modelo, y filtrar las salidas antes de que lleguen al usuario o a otro sistema. Las Barreras de protección no son una mitigación, sino más bien una primera línea de defensa o higiene de base. Por lo general, un buen lugar para empezar es directamente con el proveedor de modelos/recursos de IA, por ejemplo, AWS bedrock tiene varias Barreras de protección que se pueden implementar fácilmente fuera de la caja, principalmente aplicables si está utilizando LLM o recursos proporcionados por ellos.
2. Respete el "triángulo de riesgo de la IA". Cualquier solución de IA nunca debe combinar estos aspectos al mismo tiempo: (1) entradas no fiables, (2) acceso a datos sensibles o (3) acceso a la red saliente. Se ha demostrado que combinar dos o más de estos aspectos al mismo tiempo es una receta para el desastre. Profundizamos en más detalles sobre este triángulo de riesgo de la IA en el seminario web Cómo desplegar la IA de forma segura.
3. Security testing. Debe realizar regularmente Pruebas de penetración y/o Red Teaming para los sistemas de IA. Preferiblemente por parte de proveedores externos que no estén predispuestos a la implantación de su sistema de IA. Asegúrese de que las pruebas se ajustan a los riesgos enumerados por el sector, como la base de conocimientos de tácticas, técnicas y casos prácticos de adversarios específica para sistemas de IA denominada MITRE ATLAS y los 10 principales riesgos de seguridad de GenAI de la comunidad OWASP.

Además de estos 3 consejos y otras recomendaciones, aconsejamos encarecidamente a los clientes que conozcan y cumplan los marcos y las normas. Los marcos y las normas son la base para construir sistemas de IA seguros, fiables y preparados para el futuro.

Proporcionan métodos estructurados para identificar y mitigar los riesgos, ofrecen a las empresas una forma de demostrar su responsabilidad ante los clientes, los reguladores y el público, y reducen los costes de cumplimiento a largo plazo a medida que entran en vigor normativas como la Ley de IA de la UE.

En resumen, prestar atención a los marcos hoy en día ayuda a las Empresas a evitar errores costosos, reforzar la confianza de las partes interesadas y adelantarse tanto a los atacantes como a los reguladores. He aquí una lista de algunos marcos, normas y reglamentos importantes relacionados con la IA.