El riesgo invisible de la IA corporativa

Un problema de arquitectura, no de calidad

Hay una idea profundamente equivocada sobre la ciberseguridad en inteligencia artificial corporativa. Cuando nos sentamos con comités de dirección, la mayoría asume que el peligro radica en darle autonomía a un agente y que este se equivoque tomando decisiones por su cuenta. Temen al robot enviando un correo inapropiado, aprobando un presupuesto erróneo o alucinando una respuesta legal a un cliente clave. Ven la IA como un empleado novato y entusiasta al que hay que supervisar de cerca.

Ese es un problema de calidad y control de flujo. Se resuelve con validaciones, mejores prompts, few-shot prompting y supervisión humana. El verdadero problema de seguridad es mucho más profundo y estructural: para un modelo de lenguaje, no existe diferencia técnica determinista entre los datos que procesa y las instrucciones que debe seguir. Todo entra por la misma ventana de contexto y se procesa bajo el mismo mecanismo de atención de la red neuronal. No hay una memoria separada para "el programa" y otra para "los datos", como ocurre en la arquitectura de Von Neumann tradicional.

Un modelo de IA lee un PDF externo, un correo de un proveedor o una página web con el mismo nivel de autoridad con el que lee las instrucciones del sistema que tú le programaste. La obediencia ciega es su mayor vulnerabilidad.

No estamos ante un problema de software con bugs; estamos ante un nuevo paradigma de computación donde el lenguaje natural es, al mismo tiempo, el código ejecutable y la superficie de ataque.

El mercado en cifras: La brecha de seguridad

Los datos del mercado son demoledores y muestran que la industria ya está sufriendo las consecuencias de esta arquitectura. Según el Stanford HAI 2025 AI Index Report [1], el 78% de las organizaciones utilizan IA en al menos una función de negocio, pero esta adopción masiva ha venido acompañada de un aumento del 56,4% en incidentes de seguridad específicos de IA reportados en el último año.

El coste medio de una brecha de datos relacionada con IA se sitúa en 4,7 millones de dólares en 2025 [2], alineado con el máximo histórico general de 4,88 millones reportado por IBM. La situación es aún más crítica en sectores regulados: en salud, el coste medio de una brecha alcanza los 9,77 millones de dólares, y en finanzas supera los 6 millones [3].

Lo más preocupante no es el volumen de ataques, sino la falta de preparación. Mientras que los ataques de phishing impulsados por IA contra instituciones financieras han aumentado un 1.265% desde 2022 [4], el 90% de las organizaciones admiten no tener la madurez necesaria para defenderse de ataques impulsados por IA, y apenas un 28% diseña sus proyectos de IA con la seguridad en mente desde el inicio [5].

Shadow AI: El enemigo en casa

Antes de preocuparnos por sofisticados ataques externos, debemos mirar dentro de la organización. El Shadow AI (el uso de herramientas de IA no aprobadas por parte de los empleados) es actualmente la superficie de ataque de más rápido crecimiento en la seguridad empresarial.

Según la encuesta Workforce AI Survey 2026 de Salesforce [6], el 67% de los empleados utiliza herramientas de IA en el trabajo, pero solo el 18% de las empresas cuenta con políticas formales de seguridad para gestionarlo. El análisis de Productiv revela que la empresa media utiliza 14 herramientas de IA distintas, de las cuales el departamento de IT solo conoce entre 4 y 5 [7].

El riesgo es tangible: el 43% de los empleados admite haber pegado datos confidenciales en herramientas de IA [8]. Cyberhaven descubrió que el 11% de los datos que los empleados introducen en ChatGPT son confidenciales o propiedad intelectual de la empresa [9]. Cada vez que un empleado envía PII (Información de Identificación Personal) a una herramienta pública sin un Acuerdo de Procesamiento de Datos (DPA), la empresa se expone a violaciones del RGPD.

La anatomía del riesgo agéntico

Para entender la vulnerabilidad, debemos diferenciar los tipos de sistemas. Un agente de IA recibe un objetivo de negocio de alto nivel ("Analiza a estos proveedores y vuelca los resultados en el ERP"). Para lograrlo, descompone el objetivo en micro-tareas, lanza búsquedas, invoca APIs y ajusta su estrategia dinámicamente en un bucle continuo de pensamiento, acción y observación (el patrón ReAct).

La interfaz de herramientas (tool calling) es la clave del riesgo: le otorga al agente la capacidad de actuar sobre sistemas reales. Si le das acceso a tu CRM o a tu sistema de correo, le estás dando las llaves de la empresa. Si un atacante logra secuestrar el razonamiento del modelo, automáticamente secuestra esas llaves.

Como señala el marco Agentic Trust Framework de la Cloud Security Alliance [10], la confianza tradicional asume usuarios humanos con comportamiento predecible. La realidad agéntica implica toma de decisiones autónoma y no determinista. Por tanto, el principio Zero Trust debe aplicarse a los agentes: ningún agente debe ser confiado por defecto.

Riesgos por solución: Chatbots y RAG

La superficie de ataque varía drásticamente según la arquitectura implementada:

1. Chatbots reactivos

El riesgo principal es la exfiltración accidental de datos. En 2023, ingenieros de Samsung filtraron código fuente propietario y datos de instalaciones a ChatGPT intentando optimizar su trabajo. Más recientemente, en 2025, una farmacéutica descubrió que sus empleados habían subido datos de ensayos clínicos a múltiples herramientas de IA, exponiéndose a sanciones masivas de la FDA y la EMA.

2. Sistemas RAG (Retrieval-Augmented Generation)

IDC proyecta que más del 60% de los despliegues de IA en industrias reguladas dependerán de arquitecturas RAG para finales de 2026 [11]. Su mayor vulnerabilidad es el envenenamiento de datos (Data Poisoning). Si un atacante modifica un documento en una wiki interna o un SharePoint indexado, el sistema RAG recuperará esa información envenenada y la presentará como verdad corporativa.

La investigación CorruptRAG (2025) demostró que un solo documento envenenado puede ser suficiente para comprometer un sistema RAG y alterar sus respuestas con tasas de éxito superiores al 90% [12]. No es casualidad que OWASP haya añadido la categoría LLM08 (Debilidades de Vectores y Embeddings) a su Top 10 de 2025 [13].

Herramientas de productividad y Copilot

Las herramientas integradas como Microsoft 365 Copilot heredan todos los permisos del usuario. Si el usuario tiene acceso a nóminas, Copilot también lo tiene. Esta integración profunda ha abierto nuevos vectores de ataque zero-click.

En junio de 2025, investigadores divulgaron EchoLeak (CVE-2025-32711), una vulnerabilidad crítica (CVSS 9.3) en Copilot. Un atacante enviaba un correo electrónico manipulado. Sin que el usuario hiciera clic en nada, cuando Copilot procesaba la bandeja de entrada para resumirla, leía las instrucciones ocultas, accedía a archivos internos de SharePoint y exfiltraba su contenido a un servidor externo [14].

Posteriormente, el ataque Reprompt (enero 2026) demostró una exfiltración persistente: mediante una técnica de doble petición, lograban evadir los filtros DLP de Copilot, que bloqueaban la extracción en el primer intento pero la permitían en el segundo, manteniendo la conexión abierta incluso después de que el usuario cerrara el chat [15].

Agentes autónomos y Fine-Tuning

Cuando dotamos a la IA de autonomía, los riesgos se multiplican:

Agentes Autónomos

La Inyección de Prompt Indirecta (LLM01 en OWASP) permite a un atacante secuestrar un agente introduciendo instrucciones en los datos que este procesa. La Unidad 42 de Palo Alto documentó un caso donde un agente de compliance aprobó un anuncio fraudulento porque el código HTML de la página web contenía instrucciones ocultas que le ordenaban hacerlo [16].

Otro riesgo crítico es el Denial of Wallet (LLM10). Un atacante puede atrapar a tu agente en un bucle infinito de razonamiento, forzando miles de llamadas a la API. Una prueba de concepto reciente demostró cómo agotar un límite diario de 5.000 dólares en cuestión de minutos [17].

Fine-Tuning y Modelos Personalizados

El entrenamiento de modelos propios introduce el riesgo de backdoors. Un estudio conjunto de Anthropic, el UK AI Security Institute y el Alan Turing Institute (octubre 2025) demostró que apenas 250 documentos maliciosos son suficientes para instalar un backdoor en un LLM, independientemente de su tamaño, y que estos backdoors sobreviven a los procesos de safety training [18].

Escenarios por tamaño de empresa

El riesgo se distribuye de forma asimétrica según el tamaño de la organización:

PYMES (< 50 empleados): Están adoptando la IA a un ritmo sin precedentes (alcanzando el 10% de adopción en 6 meses frente a los 6 años de cohortes anteriores [19]). Sin embargo, carecen de CISOs y equipos de seguridad dedicados. Su principal riesgo es el Shadow AI sin gobernanza, convirtiéndolas en el eslabón débil de la cadena de suministro.
Mid-market (50-500 empleados): Tienen suficientes sistemas y datos para ser objetivos atractivos. La IA se adopta en múltiples departamentos simultáneamente sin coordinación central. El uso de IA en este segmento saltó del 47% al 68% en un solo año [20], creando una dependencia que avanza mucho más rápido que los controles de seguridad.
Corporaciones (> 500 empleados): Se enfrentan a la complejidad de gestionar múltiples herramientas en paralelo (una media de 2,6 modelos por empresa [21]). Su mayor riesgo radica en agentes con acceso a sistemas críticos sin arquitecturas Zero Trust, como demostró la brecha de la herramienta interna "Lilli" de McKinsey, que expuso 95 system prompts y 46,5 millones de mensajes.

El cerco regulatorio: EU AI Act

La regulación no espera a que las empresas estén listas. El EU AI Act entró en vigor en agosto de 2024, y sus obligaciones vinculantes para sistemas de alto riesgo (Anexo III) se aplican desde el 2 de agosto de 2026 [22].

Estos sistemas incluyen aplicaciones en biometría, infraestructura crítica, educación, empleo (como el filtrado de CVs), servicios esenciales (scoring crediticio) y administración de justicia. Las multas por incumplimiento pueden alcanzar los 15 millones de euros o el 3% de la facturación global.

El problema es que más del 50% de las organizaciones ni siquiera tienen un inventario sistemático de sus sistemas de IA, un prerrequisito absoluto para el cumplimiento [23]. Además, el 40% de los sistemas de IA empresariales no pueden clasificarse claramente bajo los niveles de riesgo de la ley [24]. Cumplir con estas normativas requiere inversiones que oscilan entre los 2 y 5 millones de dólares para el mid-market, y hasta 15 millones para grandes corporaciones.

La arquitectura defensiva real

Proteger este ecosistema no consiste en comprar un software antivirus más caro ni en añadir un disclaimer legal al final de cada ventana de chat. Consiste en diseñar la arquitectura asumiendo desde el minuto cero que el modelo va a ser engañado. En Ágere aplicamos cuatro principios innegociables:

1. Enrutamiento de modelos (LLM Routing) y separación estricta de privilegios
El modelo que lee datos externos no puede ser el mismo modelo que tiene permisos de escritura. Un modelo rápido y de bajo coste extrae la información externa. Ese output se limpia de posibles inyecciones y se pasa a un segundo modelo, aislado y sin conexión a internet, que es el único autorizado para ejecutar herramientas internas. Si el primer modelo es secuestrado, el daño queda contenido en la capa de extracción.

2. Human-in-the-loop por diseño
En la era de la IA, la fricción es una barrera de seguridad obligatoria. Ninguna acción destructiva o que implique movimiento de datos sensibles debe ejecutarse sin confirmación humana explícita. El agente debe preparar el borrador, presentar el razonamiento y detenerse a esperar un clic humano.

3. Observabilidad total y sandboxing efímero
Debes poder trazar exactamente qué prompt generó qué respuesta y qué herramienta se llamó, en tiempo real y con retención de logs. Además, cualquier ejecución de código generada por la IA debe ocurrir en entornos aislados (sandboxes) efímeros, sin acceso a la red corporativa, que se destruyen inmediatamente después de su uso.

4. Gobernanza Zero Trust de datos y DSPM
La defensa más efectiva requiere limitar a qué datos puede acceder la IA antes de que el atacante llegue a ella. La clasificación rigurosa de datos, el etiquetado de sensibilidad y el Data Security Posture Management (DSPM) son prerrequisitos absolutos. La IA no rompe tu modelo de permisos; simplemente expone lo roto que ya estaba.

El veredicto para el CTO

La pregunta que define esta era tecnológica no es qué modelo de lenguaje es más inteligente. La pregunta fundamental es si tu organización es capaz de gobernar entidades que actúan con autonomía real en sistemas reales. Esa pregunta la responde el CTO cuando diseña la arquitectura, y el equipo jurídico cuando llega la carta de la Agencia de Protección de Datos.

La tecnología está lista y los comités de dirección exigen eficiencias impulsadas por IA. Lo que falta en la inmensa mayoría de organizaciones es la madurez arquitectónica para darle las llaves a un sistema autónomo con la conciencia clara de que "actuar solo" tiene consecuencias irreversibles.

Si ante la pregunta "¿qué pasaría exactamente si un cliente envía un PDF con un payload de inyección indirecta a nuestro agente?" la respuesta de tu equipo técnico es "no lo sé" o "supongo que OpenAI lo bloqueará", tienes un problema estructural crítico que debes resolver antes de procesar un solo dato real en producción.

Referencias

¿Tu arquitectura de IA es segura?

Auditamos despliegues de IA en producción, identificamos vulnerabilidades de inyección y diseñamos arquitecturas defensivas (LLM Routing, Sandboxing, Zero Trust) para empresas que no pueden permitirse riesgos con sus datos.

Solicitar auditoría técnica →