Tu equipo usa ChatGPT o Claude a diario. Le pegan contratos de clientes, datos financieros, estrategias internas... ¿Alguien se ha preguntado si eso es seguro?
La OWASP (Open Worldwide Application Security Project) — la misma organización que define los estándares de seguridad web — ha publicado su Top 10 de riesgos de seguridad específicos para aplicaciones que usan modelos de lenguaje (LLMs).
Y la mayoría de empresas están expuestas a casi todos.
Por qué la seguridad en IA es diferente
Los riesgos de seguridad de la IA no son los mismos que los de la informática tradicional. No hablamos (solo) de hackers y virus. Hablamos de:
- Datos confidenciales que salen de la empresa sin que nadie se dé cuenta
- Decisiones basadas en información incorrecta que la IA presenta como cierta
- Manipulación de los modelos para que hagan cosas que no deberían
- Dependencia excesiva en respuestas de IA sin verificación humana
Los 10 riesgos OWASP para LLMs (explicados para directivos)
1. Inyección de prompts
Qué es: Alguien manipula la instrucción que recibe el modelo para que haga algo no previsto. Por ejemplo, un email malicioso que contiene instrucciones ocultas para que el asistente de IA revele información confidencial.
Cómo te afecta: Si usas IA para procesar emails, documentos de terceros o formularios web, cualquiera de esas fuentes podría contener instrucciones maliciosas.
Cómo protegerte: Validar y sanitizar las entradas, limitar lo que la IA puede acceder y hacer, no dar al modelo acceso a sistemas críticos sin supervisión humana.
2. Manejo inseguro de outputs
Qué es: La empresa trata la salida de la IA como si fuera segura y fiable, sin verificar. El output se inyecta directamente en otros sistemas, bases de datos o comunicaciones.
Cómo te afecta: Si el output de la IA se usa directamente en emails a clientes, en tu web o en informes sin revisión, un error o manipulación se propaga automáticamente.
Cómo protegerte: Siempre revisar los outputs antes de usarlos en comunicaciones externas o decisiones importantes. Nunca ejecutar código generado por la IA sin revisión.
3. Envenenamiento de datos de entrenamiento
Qué es: Los datos con los que se entrena o ajusta el modelo contienen información falsa o maliciosa, lo que corrompe sus respuestas.
Cómo te afecta: Si usas fine-tuning o RAG (Retrieval-Augmented Generation) con datos de tu empresa, la calidad de esos datos determina la calidad de las respuestas.
Cómo protegerte: Curar cuidadosamente los datos que alimentan al modelo. Auditar periódicamente las fuentes de información.
4. Denegación de servicio
Qué es: Alguien sobrecarga el modelo con peticiones masivas o prompts diseñados para consumir recursos excesivos.
Cómo te afecta: Si tienes un chatbot público o una API que usa un LLM, puede ser objetivo de ataques que lo dejen inoperativo.
Cómo protegerte: Rate limiting, monitorización de costes, límites de tokens por petición y timeouts adecuados.
5. Vulnerabilidades en la cadena de suministro
Qué es: El modelo, los plugins, las integraciones o las herramientas de terceros que usas tienen vulnerabilidades.
Cómo te afecta: Cada plugin de ChatGPT, cada integración con herramientas de automatización, cada API de terceros es un punto potencial de entrada.
Cómo protegerte: Auditar las integraciones que usas, mantenerlas actualizadas, limitar los permisos de cada componente al mínimo necesario.
6. Divulgación de información sensible
Qué es: El modelo revela datos confidenciales que le fueron proporcionados durante el entrenamiento o en conversaciones anteriores.
Cómo te afecta: Si tu equipo pega contratos, datos de clientes o información estratégica en ChatGPT, esos datos podrían filtrarse.
Cómo protegerte: Política clara de qué datos se pueden y no se pueden compartir con la IA. Usar versiones empresariales con garantías de privacidad. Considerar soluciones self-hosted para datos sensibles.
7. Diseño inseguro de plugins
Qué es: Los plugins o herramientas que conectas al LLM tienen permisos excesivos o carecen de controles de seguridad adecuados.
Cómo te afecta: Un plugin con acceso a tu email y tu CRM que sea comprometido expone ambos sistemas.
Cómo protegerte: Principio de mínimo privilegio. Cada herramienta solo accede a lo estrictamente necesario. Audita los permisos periódicamente.
8. Agencia excesiva
Qué es: El modelo tiene capacidad de ejecutar acciones (enviar emails, modificar bases de datos, hacer compras) sin supervisión humana adecuada.
Cómo te afecta: Un agente de IA con demasiada autonomía puede tomar acciones incorrectas con consecuencias reales.
Cómo protegerte: Checkpoints humanos en acciones críticas. Límites claros de lo que el agente puede y no puede hacer. Logs de todas las acciones.
9. Dependencia excesiva
Qué es: El equipo confía ciegamente en las respuestas de la IA sin verificar datos, cifras o afirmaciones.
Cómo te afecta: Decisiones de negocio basadas en "alucinaciones" de la IA. Informes con datos incorrectos. Comunicaciones con errores que dañan la credibilidad.
Cómo protegerte: Cultura de verificación. La IA es un borrador, no una fuente de verdad. Formación específica sobre los límites de la IA.
10. Robo del modelo
Qué es: Si has creado un modelo propio o un sistema de prompts sofisticado, alguien podría extraerlo mediante consultas diseñadas para revelar la lógica interna.
Cómo te afecta: Tu inversión en personalización y los datos propietarios de tu empresa podrían ser extraídos.
Cómo protegerte: Proteger los system prompts, limitar la información que el modelo revela sobre sí mismo, monitorizar patrones de uso sospechosos.
Plan de acción para empresas
Nivel 1: Lo básico (hazlo hoy)
- Crea una política de uso de IA que defina qué datos se pueden compartir
- Asegúrate de usar planes empresariales (no personales) para trabajo con datos de la empresa
- Prohíbe explícitamente pegar datos de clientes, contratos o información financiera en herramientas sin garantías de privacidad
Nivel 2: Intermedio (este mes)
- Forma al equipo en los riesgos específicos de la IA
- Audita qué herramientas y plugins de IA se están usando
- Implementa revisión humana obligatoria para outputs que van a clientes
Nivel 3: Avanzado (este trimestre)
- Evaluación de impacto en protección de datos para usos de IA
- Monitorización de costes y uso de APIs
- Protocolos de respuesta ante incidentes de seguridad con IA
La seguridad no es opcional
Con el EU AI Act ya aplicándose por fases, la seguridad en el uso de IA pasa de ser una buena práctica a ser parte de una obligación legal. Las empresas que establezcan protocolos de seguridad ahora estarán preparadas; las que no, tendrán que correr después.
En el Framework de Acompañamiento, la seguridad está integrada desde el diseño: implemento soluciones self-hosted cuando los datos lo requieren, formo al equipo en uso responsable y creo protocolos adaptados al contexto de cada empresa. Cuando ese diseño hay que construirlo, son sistemas de IA a medida; cuando hay que revisarlo en lo ya montado, es una auditoría de IA. Y la parte de la obligación que se cubre formando a la gente —saber qué no se pega en un chat y por qué— es la formación del Artículo 4.
Si quieres evaluar los riesgos de seguridad en tu uso actual de IA, empieza por el checklist para auditar el uso de IA en tu equipo y luego hablemos.