Sesgos en la moderación automática de Google: personas “negras” y “gays” son más «tóxicas» que otras

Una nota de Nicolas Kayser-Bril publicada en Algorithm Watch analiza la herramienta «Perspective» desarrollada por la empresa Jigsaw, una subsidiaria de Alphabet, para la moderación automática de contenidos en plataformas de Google.

El algoritmo funciona analizando “manchas de texto” y produce una «medida de toxicidad» en cada contenido, que luego va a determinar un tratamiento particular del mismo en la plataforma. La toxicidad se define como aquellos contenidos que son “groseros, irrespetuosos o irracionales y que probablemente te hagan abandonar un diálogo».

El artículo da cuenta de un estudio sistemático que fue realizado sobre el impacto en 198 frases en inglés, francés y alemán y del análisis de sus resultados. Los resultados de esta actividad de moderación son llamativos ya que, aparentemente, la «toxicidad» de los comentarios podría variar ampliamente dependiendo del autor del mismo con sesgos discriminatorios.

Esta conclusión surge del análisis de los adjetivos que fueron utilizados para describir al autor de un texto. Los ejemplos son contundentes: los textos que contenían la frase «como persona negra» o «como homosexual» eran mucho más propensos a considerarse tóxicos que las oraciones equivalentes que usaban otros adjetivos de descripción del autor.

El debate se encuentra abierto respecto a falsos positivos y a características de programas como Perspective que, hasta el momento, no pueden hacer la diferencia entre un adjetivo utilizado como identidad y el mismo utilizado como improperio.

Observatorio Latinoamericano de

···