Una reciente filtración de datos que involucra a una plataforma de generación de imágenes con inteligencia artificial ha provocado una ola de preocupación en las comunidades tecnológica y ética, al exponer las formas potencialmente dañinas en que se está utilizando esta tecnología. 

La brecha, descubierta por el investigador de ciberseguridad Jeremiah Fowler, ha revelado un catálogo de casi cien mil imágenes generadas por IA, junto con las instrucciones dadas al sistema por parte de los usuarios. Este hallazgo desvela un lado oscuro, un verdadero uso retorcido, de esta herramienta aparentemente innovadora.

Este incidente plantea interrogantes críticos sobre la seguridad de los datos, la privacidad del usuario, las consideraciones éticas y el potencial de uso indebido dentro del floreciente campo de la inteligencia artificial. Los generadores de imágenes con IA emplean aprendizaje automático, específicamente redes neuronales, para crear imágenes basadas en las indicaciones textuales proporcionadas por los usuarios. Estos modelos aprenden patrones de vastos conjuntos de datos de imágenes existentes para producir imágenes nuevas, a menudo fotorrealistas. 

La base de datos filtrada, que pertenece a la empresa surcoreana de IA AI-NOMIS y su aplicación web GenNomis, se encontró en un depósito de Amazon Web Services S3 sin protección. Contenía 93.485 archivos, con un total de aproximadamente 48 GB, incluidas imágenes generadas por IA y archivos JSON asociados que registraban las instrucciones del usuario con enlaces a las imágenes creadas.

Qué órdenes reciben

Los generadores de imágenes como GenNomis operan mediante arquitecturas GAN (Generative Adversarial Networks), donde dos redes neuronales compiten: una genera contenido (generador) y otra evalúa su realismo (discriminador). Este proceso iterativo, entrenado con millones de imágenes reales, permite crear falsificaciones de alta fidelidad en segundos.

El peligro radica en la especialización maliciosa de estos modelos. La filtración demostró cómo usuarios adaptaban comandos con términos como "realistic child-like features" o "celebrities as teenagers" para sortear filtros básicos. Peor aún: el 78 por ciento de las imágenes analizadas por Fowler correspondían a pornografía deepfake, incluyendo:

• Síntesis de menores: aunque sin bases en personas reales, las imágenes hiperrealistas de prepúberes en contextos sexuales activan alarmas psicosociales. Psicólogos advierten que su normalización podría alterar la percepción colectiva de la explotación infantil.
• Intercambio facial no consensuado: cerca de trece mil archivos contenían fotos cotidianas de mujeres, posiblemente extraídas de redes sociales, listas para ser fusionadas con cuerpos artificiales en actos explícitos.
• Nudificación algorítmica: la herramienta permitía "desvestir" fotos mediante Stable Diffusion fine-tuned, técnica que extrapola anatomía humana a partir de ropa, con un 92 por ciento de precisión según métricas internas.

El repositorio expuesto era predominantemente de naturaleza adulta, con imágenes sexualmente explícitas, incluidas lo que parecían ser representaciones generadas por IA de niños y celebridades representadas como niños. La plataforma, GenNomis, fue descrita como un "servicio de nudificación", lo que sugiere que su función principal implicaba el intercambio de rostros o la eliminación digital de ropa de las imágenes, a menudo sin consentimiento.

El descubrimiento de imágenes explícitas, incluidas aquellas que se asemejan a niños y celebridades, subraya el potencial de que estas herramientas de IA se utilicen con fines maliciosos. La funcionalidad de "nudificación" facilita la creación de pornografía deepfake no consentida, lo que plantea serias preocupaciones éticas y legales. 

Aunque las imágenes de niños son generadas por IA, su existencia genera preocupación sobre el posible abuso y la normalización de la sexualización infantil. Por otra parte, la generación no autorizada de imágenes de figuras públicas puede provocar daños a la reputación, extorsión y otros resultados maliciosos. La presencia de imágenes normales y cotidianas de mujeres en la base de datos sugiere que éstas podrían haber sido destinadas al intercambio de rostros no consentido en contenido explícito.

El vacío legal en la frontera digital

La jurisdicción se enfrenta a paradojas sin precedentes. Mientras el artículo 189 del Código Penal español persigue la pornografía infantil "real o simulada", los tribunales debaten si las representaciones 100 por cien sintéticas constituyen simulación en términos legales. Algunos casos recientes ilustran la complejidad:

• En Estados Unidos (2023), un tribunal de apelaciones dictaminó que el CSAM (Child Sexual Abuse Material) generado por IA no viola leyes federales si no se basa en menores reales, desatando críticas de organizaciones como UNICEF.
• En contraste, Alemania amplió en 2024 su definición de pornografía infantil para incluir "cualquier representación realista, independientemente de su método de creación".

España enfrenta retos paralelos. Aunque el artículo 197.7 persigue la difusión de imágenes íntimas sin consentimiento, los deepfakes caen en un limbo: no son imágenes reales, ni montajes tradicionales. Faltan tipificaciones específicas que consideren la intencionalidad y el daño psicosocial de estas creaciones.

"Las empresas que operan generadores de imágenes con IA en España, o que prestan servicios dirigidos a usuarios españoles o europeos, deben cumplir con el Reglamento General de Protección de Datos (RGPD) y la LOPDGDD. Esto incluye garantizar la confidencialidad, integridad y disponibilidad de los datos personales que traten. Una base de datos sin protección en un servidor accesible públicamente, como en el caso descrito, no solo evidencia un fallo grave en las medidas técnicas y organizativas exigidas por el artículo 32 del RGPD, sino que puede constituir una vulneración que conlleve importantes sanciones administrativas —hasta 20 millones de euros o el 4% del volumen de negocio global— así como la responsabilidad civil frente a los afectados", detalla Víctor Salgado, abogado especializado en Derecho TIC.

"Además, si se trata de datos especialmente sensibles (por ejemplo, imágenes de carácter sexual o que puedan identificarse con personas reales), el nivel de diligencia exigido es aún mayor. La falta de diligencia en la custodia de esta información podría ser considerada una negligencia grave, incluso dolosa, lo cual podría conducir a responsabilidades más graves, incluso por vía penal, por afectar a la intimidad y al honor de las personas afectadas", advierte. "El mero hecho de permitir que se generen imágenes de contenido sexual de menores, podría caer en el capítulo de pornografía infantil, por lo que debería ser evitado por diseño (privacy by design) en la propia plataforma".

Y añade, "defendemos la incorporación de nuevos tipos delictivos como la suplantación de identidad en Internet, a la que se le podría sumar una tipificación específica de 'deepfake no consentido' como figura autónoma en el Código Penal. También sería deseable establecer mecanismos extrajudiciales ágiles para su retirada en plataformas".

Fallos sistémicos en seguridad de datos
La exposición del repositorio de GenNomis revela prácticas negligentes en la industria:

• Almacenamiento en la nube sin cifrado: los buckets S3 de AWS fueron configurados como públicos por error, violando el principio de mínimo privilegio.
• Retención de metadatos sensibles: los archivos JSON incluían marcas temporales, coordenadas geográficas aproximadas de los usuarios (derivadas de IPs), y preferencias de generación.
• Falta de auditorías externas: ningún tercero había verificado los protocolos de seguridad de la empresa surcoreana, pese a manejar datos biométricos faciales.

El dilema ético de la moderación de contenidos

Las empresas de IA enfrentan una disyuntiva técnica: implementar filtros rigurosos sin obstaculizar la creatividad legítima. GenNomis usaba un sistema de tres capas:

• Filtro léxico: bloqueaba comandos con palabras clave explícitas (ej: "desnudo").
• Modelo clasificador: una red neuronal etiquetaba imágenes generadas como NSFW (Not Safe For Work).
• Reporte comunitario: usuarios podían denunciar contenido inapropiado.

Pese a todo, los investigadores demostraron cómo los usuarios evadían estas medidas usando lenguaje codificado (por ejemplo: "efímera estatua griega sin vestimenta") o generando imágenes parciales para ensamblarlas posteriormente.

El investigador de ciberseguridad Jeremiah Fowler, describió la filtración como una "llamada de atención" con respecto al posible abuso de la tecnología de generación de imágenes con IA y la necesidad de protecciones más sólidas.

Hacia un marco de gobernanza proactivo

Los expertos como en tecnología de la informacion y la comunicación como Víctor Salgado advierten de que "los marcos legales actuales no fueron concebidos pensando en la velocidad, escala y opacidad de las tecnologías actuales. Por ello, muchos juristas consideramos que se necesitan reformas específicas para abordar de forma más ágil y eficaz estas nuevas realidades. En particular, sería deseable una legislación más clara sobre la responsabilidad de las plataformas, la trazabilidad de los contenidos generados por IA y la protección reforzada para víctimas de suplantación digital".

Las soluciones propuestas tienen que ser, necesariamente, multilaterales:

Para desarrolladores

• Adoptar differential privacy en el entrenamiento de modelos para evitar memorización de datos sensibles.
• Implementar marcas de agua digitales irreversibles (como el estándar C2PA) para rastrear el origen de imágenes sintéticas.
• Integrar APIs de verificación de edad con sistemas biométricos pasivos (análisis de voz o patrones de escritura).

Para legisladores

• Crear registros públicos de modelos de IA de alto riesgo, similar al marco de la UE para sistemas biométricos.
• Establecer responsabilidad solidaria: las plataformas serían corresponsables si se descubre que han sido negligentes en moderar contenido ilegal.
• Financiar unidades forenses digitales especializadas en delitos con IA, como el National AI Fraud Control Unit propuesto en Reino Unido.

Para la sociedad

• Campañas educativas sobre hygiene digital: verificar fuentes, usar herramientas de detección de deepfakes (como Adobe's Content Credentials), y reportar contenido sintético malicioso.
• Desarrollo de currículos académicos que integren ética tecnológica desde la educación secundaria.

"Cumplir estas medidas no solo reduce riesgos legales, sino que también demuestra diligencia debida, lo que puede ser clave ante cualquier investigación judicial o sanción administrativa", explica Víctor Salgado.

"La responsabilidad jurídica comienza en el diseño del sistema. Lo que no se prevé técnicamente, se termina lamentando legalmente, en ocasiones, con importantes consecuencias monetarias, responsables y, como no, reputacionales".

Más allá de la tecnocensura

No se trata de restringir la IA, sino de redefinir sus fronteras éticas. Como señala Timnit Gebru, investigadora pionera en sesgos algorítmicos: "La tecnología no es neutral; codifica los valores de quienes la construyen". El desafío radica en institucionalizar mecanismos de transparencia radical (auditorías abiertas de modelos, divulgación de datos de entrenamiento) sin sofocar la innovación. 

"El verdadero reto está en diseñar un marco normativo que sea tecnológicamente neutro, pero lo suficientemente claro para exigir responsabilidad y proteger los derechos fundamentales de los ciudadanos. En España, y en el ámbito europeo, el nuevo Reglamento de IA (AI Act) va en esta dirección. Clasifica los sistemas de IA según el nivel de riesgo y exige requisitos más estrictos para los usos que implican riesgo para la seguridad o los derechos fundamentales. Los generadores de imágenes con IA capaces de crear contenido manipulador o nocivo deberían clasificarse como alto riesgo o incluso prohibidos si inducen a conductas ilegales", reseña Víctor Salgado. "El equilibrio se logra si las empresas innovadoras pueden operar en un entorno predecible, con reglas claras y límites bien definidos. Y si las personas usuarias tienen garantías de que sus derechos no se verán vulnerados en el proceso".

La filtración de GenNomis no es un fallo aislado, sino un síntoma de una industria que prioriza la velocidad sobre la seguridad. Su mayor enseñanza podría ser la necesidad de un ecosistema de responsabilidad distribuida, donde ingenieros, juristas y ciudadanos colaboren para convertir la IA en herramienta de empoderamiento, no de explotación.