Meta debe hacer más para abordar la pornografía no consensuada, deepfake, dice el Tribunal de Vigilancia
El informe resulta de una investigación anunciada por el Tablero de Vigilancia de Meta en abril sobre cómo maneja la empresa la pornografía falsa generada por Inteligencia Artificial, incluyendo dos instancias específicas en las que se publicaron imágenes explícitas de una figura pública estadounidense y una figura pública india.
La amenaza de la pornografía generada por Inteligencia Artificial ha ganado atención recientemente, con celebridades como Taylor Swift, así como estudiantes de secundaria estadounidenses y otras mujeres alrededor del mundo, caídas víctimas de este tipo de abuso en línea. Herramientas generativas de Inteligencia Artificial ampliamente accesibles han hecho que sea más rápido, fácil y económico crear tales imágenes. Las plataformas sociales, incluyendo las de Meta — donde se pueden propagar rápidamente — han enfrentado creciente presión para abordar la cuestión.
En el caso de la imagen de la figura pública estadounidense publicada en Facebook — que fue generada por Inteligencia Artificial y mostraba a ella desnuda y acostada — la empresa retiró inmediatamente la imagen, que había estado previamente agregada a una banca de coincidencia que detecta automáticamente imágenes que rompen las reglas. Sin embargo, en el caso de la figura pública india, aunque la imagen fue informada dos veces a Meta, la empresa no la retiró de Instagram hasta que el Tablero de Vigilancia la tomó en consideración.
“Meta determinó que su decisión original de dejar el contenido en Instagram fue un error y la empresa retiró el post por violar la Norma de Acoso y Acoso en las Redes Sociales”, dijo el Tablero de Vigilancia en su informe. “Más tarde, después de que el Tablero de Vigilancia comenzara sus deliberaciones, Meta desactivó la cuenta que publicó el contenido”.
El informe sugiere que Meta no está aplicando consistentemente sus reglas contra la imaginería sexual no consentida, a pesar de que los avances en la Inteligencia Artificial han hecho que este tipo de acoso se vuelva cada vez más común. El informe también destaca continuos problemas en la moderación de contenido en países no occidentales o no hablantes de inglés, lo que la empresa ha recibido críticas por ello antes.
Meta dijo en un comunicado que bienvenía la decisión del tablero. Agregó que mientras que las publicaciones específicas identificadas en el informe ya han sido retiradas, la compañía tomará acciones sobre imágenes de la figura pública india que son "idénticas y en el mismo contexto" que las destacadas por el Tablero de Vigilancia "donde lo técnicamente y operacionalmente sea posible hacerlo".
En su informe, el Tablero de Vigilancia — una entidad quasi-independiente compuesta por expertos en áreas como la libertad de expresión y los derechos humanos — hizo una serie de recomendaciones adicionales sobre cómo Meta podría mejorar sus esfuerzos para combatir las falsedades sexualizadas. Urge a la compañía de actualizar su prohibición contra la "retocada sexualizada" para incluir expresamente la palabra "no consentida" y clarificar otros métodos de manipulación de fotos como la Inteligencia Artificial.
Según el informe, Meta le dijo al tablero que no había agregado la imagen de la figura pública india a su banca de imágenes que rompen las reglas porque no había informes de prensa sobre ella, mientras que la prensa había cubierto las imágenes de la figura pública estadounidense. “Esto es preocupante porque muchas víctimas de imágenes intimas falsas son no famosas y están forzadas a aceptar la propagación de sus representaciones no consentidas o buscar y denunciar cada instancia”, dijo el Tablero de Vigilancia, añadiendo que Meta podría considerar otros factores, incluyendo si una imagen era generada por Inteligencia Artificial cuando determina si agregarla a la banca.
El esfuerzo para luchar contra las falsedades sexuales no consentidas es solo parte de los esfuerzos más grandes de Meta para prevenir la explotación sexual de sus usuarios. La compañía dijo el miércoles que había eliminado alrededor de 63.000 cuentas en Nigeria que estaban involucradas en escándalos de extorsión sexuales financieros, donde las personas (a menudo adolescentes) son engañadas para enviar imágenes pornográficas y luego extorsionadas.
El informe del Tablero de Vigilancia de Meta también resaltó la necesidad de que Meta mejore su moderación de contenido en países no occidentales, ya que han recibido críticas por este tema en el pasado. La estrategia comercial de Meta en la industria tecnológica incluye esfuerzos para prevenir escándalos de extorsión sexuales financieros, ya que recientemente eliminó más de 63.000 cuentas en Nigeria involucradas en tales actividades.
