Deepfake — Synthetic Media and EU AI Act Disclosure Obligations

Definición

¿Qué es un deepfake bajo el EU AI Act?

Un deepfake es contenido sintético en el que la imagen, voz o comportamiento de una persona es generado o manipulado por IA para representar acciones, declaraciones o apariencias que no produjo. El término se refería originalmente a vídeo con face-swap pero ahora cubre la categoría más amplia de contenido generativo que imita personas reales: voz sintética, imágenes generadas, vídeo manipulado y combinaciones de los tres. El EU AI Act formaliza este ámbito en el Artículo 3(60) y vincula obligaciones específicas de transparencia bajo el Artículo 50.

La capacidad técnica ha cruzado el umbral de demostración de investigación a herramienta de consumo. La clonación de voz funciona con minutos de habla grabada. El face reenactment funciona en tiempo real. Los modelos text-to-vídeo producen metraje convincente de eventos que nunca ocurrieron. El resultado es que la creación de deepfakes ha pasado de capacidad especializada a estar en manos de cualquiera con acceso a herramientas de consumo, que es la razón estructural por la que la respuesta regulatoria pasó de la prohibición al disclosure obligatorio.

La respuesta regulatoria ha sido exigir revelación en lugar de prohibición. El EU AI Act obliga a que el contenido deepfake esté etiquetado como generado por IA. Múltiples jurisdicciones han introducido delitos específicos de deepfake (imágenes íntimas no consentidas, interferencia electoral, fraude). El paisaje legal se mueve rápido y las obligaciones difieren entre mercados, pero la dirección es clara: el contenido deepfake conlleva obligaciones de disclosure y procedencia que no existían para los medios tradicionales.

Por qué importa operativamente

¿Por qué importa el cumplimiento deepfake para las organizaciones?

Para organizaciones que producen o distribuyen contenido generado, las obligaciones deepfake son ya parte del workflow de publicación. El Artículo 50 del EU AI Act exige etiquetado del contenido generado por IA que represente personas o eventos reales. El etiquetado debe ser machine-readable (típicamente mediante content credentials estilo C2PA) y visible para los usuarios finales. La falta de etiquetado es una infracción regulatoria independiente de cualquier daño causado.

Para organizaciones que operan plataformas o flujos donde terceros pueden subir deepfakes, el conjunto de obligaciones incluye detección, procedimientos de takedown y cooperación con autoridades en delitos específicos. Las plataformas que se presentan como moderadoras de contenido adquieren expectativas más altas que los distribuidores pasivos. La interacción entre las obligaciones de etiquetado del EU AI Act y las obligaciones de plataforma del DSA debe mapearse explícitamente.

Para organizaciones que enfrentan amenazas deepfake (fraude mediante clonación de voz del CEO, bypass de autenticación biométrica, ataques reputacionales mediante medios sintéticos), la preocupación operativa es detección y respuesta. El vector de fraude es real y creciente: la voz sintética se ha usado en casos confirmados de fraude por wire transfer de varios millones. La superficie de control incluye la fortaleza de la autenticación biométrica, verificación out-of-band para acciones de alto valor, formación de empleados en ingeniería social con medios sintéticos, y procedimientos de respuesta a incidentes específicos de contenido sintético.

Marco regulatorio

¿Qué estándares y regulaciones aplican a los deepfakes?

Marco	Cómo aplica a los deepfakes
EU AI Act — Art. 50	Obliga al etiquetado del contenido generado o manipulado por IA que represente personas o eventos reales. Se requiere tanto procedencia machine-readable como disclosure visible para usuarios finales.
Digital Services Act (DSA)	Las plataformas grandes deben tener procesos de moderación que cubran deepfakes que infringen derechos. Interactúa con, pero no reemplaza, el etiquetado del EU AI Act.
ISO/IEC 42001	El Anexo A.6 (ciclo de vida) y A.7 (datos) cubren la disciplina de procedencia del output generativo y los controles necesarios para documentar el origen del contenido sintético.
Estándar C2PA	Estándar de procedencia de contenido ampliamente adoptado como medio técnico de cumplimiento con los requisitos machine-readable del Artículo 50.
Leyes nacionales	España (Ley Orgánica reformada para imágenes sintéticas), UK Online Safety Act, leyes estatales US (deepfakes electorales, NCII). Mapeo multi-jurisdiccional requerido.

—

Cómo lo evalúa Zertia

¿Cómo evalúa Zertia el cumplimiento deepfake en auditorías?

La Auditoría EU AI Act de Zertia cubre las obligaciones de disclosure de deepfake para organizaciones que generan o distribuyen medios sintéticos. La auditoría verifica (a) la implementación del etiquetado, tanto técnico (procedencia machine-readable) como visible (disclosure al usuario final); (b) los metadatos de procedencia usando estándares de content credentials; (c) los procedimientos de moderación cuando hay uploads de terceros, incluyendo la interacción con las obligaciones del DSA; y (d) los procedimientos de respuesta a incidentes para mal uso de medios sintéticos, incluyendo plazos de takedown y cooperación con autoridades.

Para organizaciones que enfrentan riesgo de fraude deepfake, la Auditoría de Modelo de IA examina la fortaleza de autenticación, los procedimientos de verificación para acciones de alto valor, los programas de formación que cubren ingeniería social con medios sintéticos, y las capacidades de detección específicas de la amenaza. La certificación ISO/IEC 42001 cubre adicionalmente los controles de ciclo de vida para organizaciones que desarrollan o despliegan sistemas de IA generativa, requiriendo procedimientos documentados para procedencia, etiquetado y gestión de riesgos de contenido sintético.

[Auditoría EU AI Act] · [Auditoría de Modelo de IA] · [Certificación ISO 42001] · zertia.ai/services