La Policía Cibernética de la CDMX alertó que han aumentado los casos de violencia digital a partir de contenido creado con Inteligencia Artificial, lo cual perjudica la seguridad y la reputación de las personas, sobre todo de las mujeres.

 Algunos de los usos de IA detectados por la dependencia son extorsión, acoso, amenazas, suplantación de identidad y sexting, de acuerdo con Expansión Política.

A pesar de que las aplicaciones líderes en generación de imágenes mediante inteligencia artificial prohíben la creación de contenido sexual, los usuarios han descubierto una zona gris en los programas de código abierto, permitiendo a los desarrolladores explorar nuevos usos de la tecnología, aunque en ocasiones con propósitos perjudiciales

Según la plataforma de análisis Genevieve Oh, desde 2018 los desnudos falsos con IA han crecido 290%. Además, un estudio de la empresa de monitoreo de deepfakes, Sensity AI, el 96% de las imágenes generadas con IA son pornográficas y el 99% representan a mujeres. 

Ante esto, la Policía Cibernética recomendó a las y los usuarios de Internet limitar la información compartida en línea y no interactuar con cuentas desconocidas.