Cuando el fraude con IA escala mas rapido que los controles diseñados para detenerlo

Qué es este riesgo

Uso de sistemas de IA para obtener ventaja personal sobre otros mediante engaño, fraude, estafas, chantaje o manipulación dirigida de creencias o comportamientos. Los ejemplos incluyen plagio facilitado por IA, suplantación de personas de confianza para beneficio financiero ilegítimo, y creación de imágenes humillantes o sexuales de personas reales.

Cómo ocurre · Mecanismos

• Clonación de voz para fraude — La IA clona la voz de un familiar o ejecutivo para solicitar transferencias urgentes
• Suplantación por deepfake — Los deepfakes de vídeo suplantan a ejecutivos en videollamadas para autorizar transacciones financieras
• Phishing mejorado con IA — Los LLMs generan emails de phishing hiperpersonalizados usando información personal recopilada
• Imágenes íntimas no consensuales (IINC) — La IA genera imágenes sexuales realistas de personas reales sin consentimiento
• Fraude académico — La IA genera ensayos, trabajos e investigaciones para su presentación como trabajo original
• Estafas románticas — La IA impulsa personas románticas falsas convincentes para extraer dinero de víctimas

Incidentes reales

Fraude por clonación de voz de CEO (£243.000, 2019)

Delincuentes usaron clonación de voz por IA para suplantar a un CEO e instruir a un ejecutivo de una filial para transferir £243.000 a un supuesto proveedor húngaro.

Videollamada deepfake de CFO (HK$200 millones, 2024)

Un empleado financiero en Hong Kong fue engañado para transferir HK$200 millones tras asistir a una videollamada con lo que parecía ser el CFO de su empresa y otros ejecutivos, todos deepfakes.

Imágenes íntimas no consensuales (IINC)

Múltiples casos de alto perfil de IINC generadas por IA dirigidas a celebridades y personas privadas. En 2024, los deepfakes de Taylor Swift se difundieron ampliamente en redes sociales.

Mitigaciones · Gobernanza

• Autenticacion de voz y video — Desplegar deteccion de vivacidad y autenticacion para comunicaciones criticas de alto impacto
• Verificacion fuera de banda — Requerir llamadas de retorno o confirmacion presencial para transacciones financieras importantes de gran cuantia
• Formacion de empleados — Entrenar al personal para reconocer voz y video generados por IA y verificar por canales secundarios de confianza
• Deteccion de NCII a nivel de plataforma — Las plataformas implementan hash-matching para NCII conocido y priorizan la retirada rapida
• Herramientas de integridad academica — Desplegar deteccion de IA junto con marcos de politicas para el uso academico responsable
• Sistemas de deteccion de fraude — Deteccion de anomalias impulsada por IA para identificar patrones de transacciones inusuales sospechosas