Detrás del bombo publicitario: El impacto real de la IA en la seguridad de las aplicaciones web

A medida que las Empresas comienzan a integrar en sus aplicaciones código generado por IA y funciones impulsadas por IA, la forma de la superficie de ataque está empezando a cambiar de manera sutil pero importante, a menudo antes de que los equipos comprendan plenamente las implicaciones.

Para explorar cómo se está desarrollando esta transición en la práctica, hablamos con Patrick Double, ingeniero de seguridad de Bureau Veritas Cybersecurity. Patrick ha pasado toda su carrera trabajando con aplicaciones web, mucho antes de que la "ciberseguridad" existiera como disciplina propia. Su temprano interés por la criptografía y la codificación segura le llevó gradualmente al campo de la seguridad, donde ahora se centra en assessment de aplicaciones y en ayudar a las organizaciones a navegar por los riesgos que acompañan a los rápidos cambios en los patrones de desarrollo.

Patrick ha visto cómo muchas tecnologías nuevas entraban en el mundo del desarrollo web con promesas de velocidad y productividad. Con el tiempo, cada una ha revelado vulnerabilidades que no eran evidentes de inmediato. La IA, señala, está siguiendo una trayectoria similar: transformadora en muchos sentidos, pero no exenta de las lecciones que la historia ya ha enseñado a la industria.

¿Qué lleva a alguien a dedicarse a la seguridad de las aplicaciones web como disciplina?

El camino de Patrick hacia la ciberseguridad comenzó mucho antes de que el sector tomara forma. Estudió ingeniería informática, trabajando tanto en hardware como en software, pero fue una clase universitaria de criptografía la que despertó su interés por cómo los sistemas validan y protegen la información. "Era muy pesado en matemáticas y me fascinaba", recuerda. "No me cansaba de ello".

Al principio de su carrera, hizo un curso de codificación segura que le expuso a la creatividad que hay detrás de explotar y defender aplicaciones web. Esa experiencia cambió su rumbo. Las aplicaciones web ya formaban parte de su trabajo, por lo que adentrarse en su seguridad le pareció algo natural. A medida que el campo maduraba, se sintió cada vez más atraído por el reto de identificar vulnerabilidades y comprender cómo incluso las pequeñas decisiones de diseño pueden tener consecuencias significativas.

¿Cómo influye la experiencia en la seguridad de las aplicaciones web en su visión de la IA?

Al trabajar con múltiples oleadas de herramientas de desarrollo, Patrick observa patrones recurrentes en la forma en que los equipos adoptan las nuevas tecnologías. Los desarrolladores encuentran complejidad o ineficacia, crean nuevas abstracciones o marcos de trabajo y los adoptan rápidamente. Las consideraciones de seguridad suelen venir después, una vez que quedan claras las deficiencias del nuevo sistema.

"Las Personas ven una nueva cosa guay y corren con ella", explica. "Pero cuando salen marcos de software, no se suele pensar en la seguridad hasta después de que aparezcan los problemas".

Él aborda la IA con esa misma mentalidad cautelosa. Desde su punto de vista, representa otra poderosa herramienta que debe conocerse en profundidad antes de confiar en ella. Evita adoptar tecnologías totalmente nuevas de inmediato, prefiriendo esperar hasta que hayan surgido los primeros problemas. Ese instinto determina la forma en que evalúa la IA en la actualidad, no como algo intrínsecamente peligroso o intrínsecamente seguro, sino como algo que debe demostrar su valía a través del escrutinio.

¿Dónde aporta la IA un valor real y dónde aparecen sus limitaciones?

Patrick cree que la IA proporciona una ayuda significativa a la hora de generar los componentes básicos rutinarios de las aplicaciones. La mayoría de los productos requieren los mismos componentes fundamentales: bases de datos, gestión de identidades, envolturas de API. Dejar que la IA produzca estas piezas puede acelerar el desarrollo de forma significativa. Libera a los desarrolladores para que dediquen más tiempo a las características que hacen que su aplicación sea única.

Donde la IA se vuelve poco realista es al intentar sustituir por completo a los desarrolladores o al confiar en ella para producir una lógica compleja y novedosa. La IA se entrena en los patrones existentes, no en las innovaciones que diferencian un producto de otro. "La IA sólo puede escribir lo que ya se ha hecho", explica. "No puede pensar de forma independiente. No entiende los matices ni el contexto a menos que usted se los proporcione".

Advierte que suponer que la IA puede crear aplicaciones enteras de forma independiente introduce un riesgo significativo. Las partes más significativas del software -la lógica empresarial, los casos límite, las decisiones de diseño- siguen requiriendo la comprensión humana.

¿Cómo está cambiando la IA el panorama del security testing de las aplicaciones web?

Patrick considera que la IA es un aliado prometedor en las security testing, sobre todo porque las aplicaciones web modernas son muy grandes. Un solo sitio puede contener miles de páginas y docenas de funciones diferentes. No es factible que los probadores humanos exploren todas las vías con la misma profundidad, pero la IA puede analizar y categorizar rápidamente grandes superficies de aplicaciones.

Ya ha utilizado la IA para ayudar en los primeros análisis. "La IA no se aburre", señala. "Puede examinar un sitio web entero y decirme qué secciones parecen arriesgadas e incluso encontrar algunas vulnerabilidades".

Esto permite a los probadores humanos concentrarse en las vulnerabilidades matizadas que la IA no puede detectar: sutiles fallos de autorización, errores lógicos y técnicas creativas de exploit. Patrick no cree que la IA vaya a sustituir a los encargados de las pruebas de penetración, pero espera que se convierta en una parte cada vez más importante de su conjunto de herramientas.

¿Cómo están utilizando la IA los actores de amenazas y qué significa esto para los defensores?

Una de las observaciones más sorprendentes de Patrick es que los atacantes están adoptando la IA más rápidamente que muchos defensores. Algunos están creando sus propios modelos de lenguaje específicamente con fines maliciosos. Estos modelos se entrenan en conjuntos de datos de atacantes, carecen de barreras de protección éticas y están diseñados para sondear sitios web sin restricciones.

"Los atacantes están produciendo sus propios LLM", explica Patrick. "Les quitan las barreras de protección y los entrenan con datos de atacantes".

Estas herramientas permiten incluso a los atacantes poco cualificados operar a escala. La IA puede evaluar miles de objetivos a la vez e identificar las oportunidades más fáciles. Esto cambia fundamentalmente la velocidad a la que se encuentran las vulnerabilidades. Para los defensores, significa que el diseño seguro, la supervisión y la corrección oportuna son más importantes que nunca.

¿Están empezando a aparecer vulnerabilidades relacionadas con la IA en aplicaciones del mundo real?

Patrick afirma que no siempre es obvio si una vulnerabilidad ha sido creada por la IA o por un desarrollador, porque la lógica insegura suele tener un aspecto similar independientemente de la fuente. Sin embargo, ha observado un patrón: las aplicaciones que integran IA en sus funciones o flujos de trabajo tienden a tener más puntos débiles en las partes de la base de código impulsadas por IA que en las escritas de forma tradicional.

"Puede ser difícil saber si algo procede de la IA o no", dice, "pero sí veo una mayor probabilidad de encontrar vulnerabilidades cuando un producto aprovecha la IA para parte de su funcionalidad".

Explica que cuando una aplicación incluye un punto final o una función que llama a un servicio de IA, esa zona suele contener una lógica menos madura y una menor validación que el resto del sistema. Los desarrolladores pueden asumir que la salida producida por la IA es segura, o pueden diseñar la integración sin comprender plenamente las implicaciones para la seguridad de pasar datos controlados por el usuario a un modelo de IA. Estas áreas se convierten en puntos calientes para las pruebas.

"Espero encontrar más vulnerabilidades en esa parte que está llamando a la IA", dice, "que en el código que se ha escrito de la forma tradicional".

Para Patrick, esta tendencia refuerza la necesidad de un diseño y una revisión cuidadosos a la hora de integrar funciones de IA. Incluso si la IA es sólo un componente del flujo de trabajo, puede introducir un riesgo desproporcionado si no se maneja con el mismo rigor que el resto de la aplicación. Este desafío es distinto de los riesgos relacionados con las dependencias, que surgen cuando la IA selecciona bibliotecas externas; en esos casos, la preocupación no es la lógica que genera la IA, sino las fuentes en las que decide basarse.

¿Las sugerencias de código generadas por IA introducen nuevos riesgos de dependencia?

Las aplicaciones web ya dependen en gran medida de bibliotecas de terceros, y el código generado por la IA sigue ese patrón. Sin embargo, la IA puede seleccionar bibliotecas basándose en la prevalencia en sus datos de entrenamiento en lugar de en la seguridad, el historial de mantenimiento o la reputación. Esto reduce la evaluación deliberada que los desarrolladores realizan tradicionalmente al seleccionar las dependencias.

Patrick también ha observado que los atacantes pueden manipular los modelos de IA inundando Internet con contenidos que promocionan bibliotecas maliciosas. Si un número suficiente de entradas de blog, proyectos de muestra o repositorios hacen referencia a un paquete controlado por un atacante, un modelo de IA puede empezar a recomendarlo. "La IA pensará que esa es la biblioteca que debe utilizar", dice, "porque es lo que más ha visto".

Por ello, trata las sugerencias de la IA como pistas y no como decisiones, verificando cada recomendación manualmente.

¿Cambiará la IA los tipos de vulnerabilidades que se observan en las aplicaciones web?

Patrick cree que algunas vulnerabilidades pueden disminuir mientras que otras emergen. La inyección SQL, por ejemplo, puede volverse menos común porque la IA tiende a seguir patrones seguros que están bien documentados. Los desarrolladores a veces evitan estos patrones porque requieren más esfuerzo, pero la IA no comparte esa reticencia.

Sin embargo, espera ver más vulnerabilidades causadas por el mal uso o la mala interpretación de los componentes generados por la IA. Muchos puntos débiles no surgen de errores de codificación, sino de suposiciones erróneas sobre cómo debería funcionar la aplicación. A medida que los desarrolladores confían más en la IA, pueden perder la familiaridad con los marcos subyacentes, lo que aumenta la probabilidad de que surjan problemas sutiles de lógica y autorización.

¿Qué papel podría desempeñar la IA en las futuras canalizaciones de CI/CD?

Patrick considera que la IA puede desempeñar un papel útil en el diagnóstico de errores en los procesos de compilación. Hoy en día, los desarrolladores envían el código y pasan rápidamente a la siguiente tarea, sólo para verse obligados a retroceder cuando se rompe la canalización. La IA puede ayudar a determinar si un fallo se debe a un breve problema de red, a un error de configuración o a un pequeño descuido, y luego proponer una solución. Este tipo de asistencia puede reducir las interrupciones y mantener el desarrollo en marcha sin problemas.

Explica que los desarrolladores a menudo quieren permanecer "en la zona", y cualquier cosa que rompa ese flujo es frustrante. La IA podría absorber parte de ese ruido operativo. "Seguro que estaría bien que la IA fuera a echar un vistazo y dijera: 'Esto ha sido un problema de la red, voy a reiniciarlo', o 'El código está roto y aquí está el problema'", afirma.

Patrick advierte, sin embargo, que la IA no debe eludir la revisión humana. Las correcciones automatizadas aún deben ser aprobadas por el equipo, sobre todo cuando un cambio afecta a la lógica o la arquitectura de la aplicación. Para él, la IA es valiosa como ayuda para el diagnóstico, pero la responsabilidad sigue recayendo firmemente en los desarrolladores.

¿Cómo podría la IA remodelar el futuro del desarrollo de aplicaciones web?

Patrick prevé que la IA influirá en el desarrollo tanto de forma positiva como desafiante. Acelerará partes del Proceso, especialmente los componentes rutinarios, y puede agilizar la resolución de problemas. Al mismo tiempo, espera que aumente la presión para que los equipos utilicen la IA de forma más agresiva, potencialmente a expensas de un diseño seguro.

También prevé que los desarrolladores se alejen cada vez más de los sistemas subyacentes que alimentan sus aplicaciones. "Vamos a ver menos comprensión de cómo funcionan las aplicaciones", dice. "Y eso es peligroso cuando las cosas se rompen".

Los atacantes, mientras tanto, pueden aprender a identificar patrones que revelen qué modelo de IA generó ciertas partes de una aplicación, lo que les permitirá predecir sus puntos débiles. Esta dinámica exigirá que los defensores se mantengan vigilantes, reflexivos y comprometidos en todo el ciclo de vida del desarrollo.

Creación de aplicaciones seguras basadas en IA

La IA está remodelando el desarrollo web, pero no puede sustituir a unos sólidos principios de ingeniería. Para Patrick, la IA debe verse como un potente asistente y no como un sustituto del diseño seguro. Puede acelerar el trabajo mundano, apoyar las pruebas tempranas y diagnosticar problemas sencillos, pero no puede comprender el contexto, innovar más allá de lo que ha visto o garantizar una arquitectura segura por sí sola.

Bureau Veritas Cybersecurity ayuda a las empresas a navegar por este panorama en evolución evaluando los sistemas integrados con IA, probando las aplicaciones y reforzando las prácticas de desarrollo seguro. Con el equilibrio adecuado de supervisión humana y eficiencia impulsada por la IA, los equipos pueden crear aplicaciones que sean a la vez innovadoras y seguras.