¿Por qué Facebook puede detectar un pezón y no un atentado?
- 21/03/2019 10:20 hs
COMPARTIR EN:
La inteligencia artificial necesita 'aprender' con ejemplos para distinguir actos terroristas de, por ejemplo, videojuegos. También fallaron los sistemas de moderación.
Facebook continúa dando explicaciones tras la retransmisión del atentado de Christchurch a través de su plataforma. Tras revelar que ninguna de las 200 personas que vieron el vídeo en directo lo denunció, ha dado más información para entender por qué su inteligencia artificial, tan capaz de detectar pezones, no pudo reconocer el tiroteo de Nueva Zelanda como un ataque terrorista.
Según aseguró Guy Rosen, vicepresidente de la red social, en una nota de prensa, el problema en este caso se debió a que la inteligencia artificial necesita 'aprender' con "varios millares de ejemplos" del contenido que debe detectar. En este caso, no hay suficientes datos y el sistema lo dejó pasar.
"Estos eventos son afortunadamente escasos", explicó Rosen, por lo que la IA tiene problemas para diferenciarlos de otros similares en su forma, pero inocuos en su contenido, como puede ser la retransmisión en directo de un videojuego.
Aquí se da una paradoja y es que si su herramienta rebajase sus requisitos para señalar el contenido nocivo, el equipo de moderaciónpodría verse sobrepasado por vídeos no problemáticos y obviar los realmente importantes.
De todos modos, el directivo defiende el uso de la inteligencia artificial: "esta aproximación ha funcionado muy bien en áreas como los desnudos, la propaganda terrorista y la violencia gráfica". Actualmente, añade Rosen, la inteligencia artificial les permite "detectar de forma proactiva la inmensa mayoría" del contenido que eliminan.
Desde Facebook también recordaron que, por mucho que mejoren sus sistemas, "la gente siempre será parte de la ecuación", tanto desde su equipo de moderación como desde el lado de los usuarios y sus denuncias de contenido inapropiado.
De hecho, la red social prioriza el análisis de las emisiones en directo frente al resto del contenido. "Mientras el vídeo se emite, si se produce un daño en el mundo real, tenemos más posibilidades de alertar a los servicios de emergencia y tratar de hacer que llegue ayuda". También actúan de esta forma en los vídeos cuya emisión ha terminado recientemente si creen que puede permitir prevenir un suicidio.
¿QUÉ FALLÓ EN NUEVA ZELANDA?
El atentado terrorista de Nueva Zelanda, por lo tanto, no pudo ser detectado por la inteligencia artificial. Además, nadie lo denunció en directo. Para cuando llegó el primer reporte habían pasado 29 minutos desde el comienzo de la emisión y 12 desde su final, pero nadie lo marcó como un posible caso de suicidio, así que no recibió prioridad. Fallaron todos los sistemas.
Facebook aseguró a través del vicepresidente que quieren aprender de este error para mejorar el proceso de denuncia y aumentar las categorías que se pueden 'saltar' la cola del proceso de revisión.
Los fallos no solo permitieron que el vídeo se emitiera, sino que hicieron posible su distribución posterior. Cuando la compañía finalmente lo eliminó de la red social, ya tenía aproximadamente 4000 reproducciones y se había publicado en 8chan un enlace al documento en otra plataforma de vídeo.
Desde la empresa señalan a otros actores que permitieron la distribución del vídeo, incluidos los medios y televisiones que lo publicaron, aunque admiten que en este caso entra en juego "un difícil equilibrio" entre la información y la amplificación del mensaje.
En cualquier caso, la presencia de nuevos vídeos -tanto editados por los medios como grabaciones de los existentes con el móvil o capturas de pantalla- hizo más complicado detectar su huella digital. Facebook prohibió todos ellos y tuvo que eliminarlo en 1,5 millones de ocasiones. De todos estos bloqueos, 1,2 millones ocurrieron antes de llegar a ser publicados
CUÁL ES LA DIFERENCIA
El bloqueo de un vídeo concreto no se realiza del mismo modo que la detección general y el sistema no necesita 'aprender'. Cuando quiere evitar la distribución de cualquier tipo de contenido, la compañía le crea una huella digital; una suerte de cartel de 'Se Busca' digital que hace que se bloquee su subida.
Facebook, de hecho, utiliza una herramienta similar para evitar que se compartan fotos íntimas. Quienes teman que esto pueda ocurrir pueden enviar la imagen a la red social, que le crea una huella digital y hace que sea imposible subirla a Facebook o compartirla en su servicio.
De todos modos, en este caso hay al menos 300.000 pruebas de que no es infalible. Aunque el porcentaje de acierto es moderadamente alto, hubo gente que se organizó para subir versiones editadas con el objetivo de eludir el sistema de bloqueo de Facebook. Estos se unieron a los editados por usuarios que los compartían sin malicia. En total, la empresa detectó 800 versiones diferentes.
Rosen reconoció que en casos como los vídeos de propaganda de ISIS tienen menos problemas para aislarlos de su plataforma, ya que ni los medios ni los grupos que se organizaron para redistribuir el atentado de Christchurch los comparten, así que llegan a menos gente que los sube con buena intención (para denunciar el acto, por ejemplo) y se crean muchas menos versiones.
En lo referente a las medidas que planean tomar para evitar que esto vuelva a ocurrir en el futuro, Rosen explicó que quieren mejorar el sistema de detección (únicamente habló de detección basada en el audio), reaccionar más rápidamente en las emisiones en directo (aunque descartó la posibilidad de emitir con retardo, porque cree que no solucionaría el problema) y seguir luchando contra el contenido de odio (por el momento bloquean proactivamente el contenido de 200 organizaciones supremacistas en todo el mundo).