Por Lorena Fernández Álvarez.
Hoy en día, la tecnología está presente en nuestras vidas desde que nos levantamos hasta que nos acostamos. Los algoritmos deciden a qué información accedemos a través de los buscadores, qué música escuchamos mediante las recomendaciones musicales personalizadas, qué burbuja ideológica nos rodea o incluso si nos conceden un préstamo. De hecho, hemos metido esos algoritmos en hospitales, colegios, comisarías, nuestras casas… y por supuesto, nuestro bolsillo, creyendo que las decisiones que tomen serán mejores al no estar sujetas a condicionamientos humanos ligados a sesgos y estereotipos… y no siempre es así. Como dice la científica de datos Cathy O’Neil “los algoritmos son opiniones encerradas en matemáticas” y adolecen de los mismos sesgos que los seres humanos (de género, raciales, de orientación sexual, de edad, ubicación física…). La diferencia es que el impacto y poder transformador que tienen sobre nuestras vidas es exponencial.
La inmensa mayoría de las aplicaciones de Inteligencia Artificial (IA) en la actualidad se basan en la categoría de algoritmos de deep learning que establecen patrones tras procesar grandes cantidades de datos. Es decir, son como estudiantes en un colegio: aprenden del libro de texto (información con la que se les entrena para que generen reglas de inferencia) y del profesorado (que es quien decide qué temas entrarán en el examen y le dice a su alumnado, por tanto, qué parámetros son importantes). Así que se pueden cargar de sesgos en varios puntos y de varias maneras. Por ejemplo, en la etapa de recolección de datos de los que aprenderá la IA, si esa información no es representativa de la realidad o si refleja prejuicios existentes. También pueden aparecer marcando qué atributos y modelos son los importantes para el algoritmo (cuando se hacen las preguntas equivocadas). Y, por supuesto, de manera premeditada.
Pero si hacemos zoom sobre los datos de aprendizaje, nos encontramos con un modelo que se considera “estándar” y que tiene el superpoder de representar a todo el mundo: hombre, caucásico, heterosexual, de mediana edad, clase media y sin discapacidades. Es decir, estamos modelando el mundo en base a privilegios y lo que se queda fuera, también lo hace de los desarrollos de IA. Veamos algunos ejemplos de esto:
Dalle-2, sistema lanzado en 2022 por OpenAI, genera imágenes realistas o ilustraciones a partir de descripciones escritas. Creaciones increíbles que rompen con aquello de que la tecnología no iba a desbancar a la creatividad… hasta que nos encontramos con el problema de siempre (bastante poco creativo, por otra parte): cuando se le pide textualmente que diseñe “personal assistant” o “flight attendant” solo genera imágenes de mujeres y cuando lo que se le solicita es “lawyer” o “CEO”, solo vemos hombres. Lo mismo nos sucede con su contraparte textual, GPT-3. Esta herramienta permite crear lenguaje escrito a partir de frases ya empezadas que el propio sistema se encarga de completar de la forma más coherente posible. Así que cuando introducimos de manera manual “every man”, GPT-3 continua la frase con “every man wonders why he was born into this world and what his life is for” mientras que si lo hacemos con “every woman”, lo que obtenemos es “every woman wonders what it would be like to be a man”.
Otro caso es el de los programas de reconocimiento de voz de las principales empresas tecnológicas, que son peores a la hora de identificar las palabras pronunciadas por la comunidad afroamericana. En un estudio (Koenecke et al., 2020) probaron los algoritmos de Amazon, Apple, Google, IBM y Microsoft con grabaciones de personas negras que viven en comunidades predominantemente negras de la costa este de Estados Unidos y de personas blancas que viven en zonas mayoritariamente blancas de California. Los sistemas cometieron errores al transcribir el discurso el 35% de las veces en el primer caso, frente al 19% del segundo.
Otros sistemas de reconocimiento, en este caso de imágenes, como Google Cloud Vision, Amazon Rekognition o IBM Watson, tienen un 15% más de precisión al analizar fotografías cotidianas de objetos (como el jabón de manos) tomadas en Estados Unidos, que cuando se obtienen en lugares
como Somalia o Burkina Faso (De Vries et al., 2019).
¿Por qué sucede esto?
Las principales fuentes de aprendizaje hoy en día están creadas por esos colectivos privilegiados que, desde su espacio de poder, tienen más posibilidad de generar información (libros, webs, redes sociales…). Es decir, las personas que tienen voz, tienen silla en la mesa tecnológica para modelar la sociedad a su imagen y semejanza. Nada nuevo que no suceda en el mundo offline, pero a expensas de solucionar esto aquí, debemos compensar nuestros sistemas cuando los estamos diseñando. Por ejemplo, Wikipedia, un espacio donde se supone que cualquiera puede editar, tiene un perfil de editor predominantemente blanco y masculino. Así que no es de extrañar que el estudio de Wagner et al. encontrara que en los artículos sobre mujeres se destacaba más su género, sus maridos, los trabajos de sus parejas y otra serie de temas que en el caso de los artículos sobre hombres se trataba mucho menos. Además, la biografía de mujeres tiende a estar más vinculada mediante enlaces a la de los hombres que viceversa. Si esta fuente alimenta a nuestros algoritmos, sabemos qué deducciones sacarán.
A todo esto hay que sumarle el efecto dominó (the dataset’s ripple effects) que hace que arrastremos errores del pasado sin saber cuántos naufragios han podido causar. Por ejemplo, en 2020 se descubrió que en la base de datos CoNLL-2003, citada en más de 2.500 papers y por tanto, base de entrenamiento para muchos desarrollos, hay 5 veces más nombres de hombres que de mujeres. Si no podemos reconocer nuevos nombres de mujeres, entonces se vuelven invisibles para todo tipo de sistemas automatizados.
¿Cómo arreglamos este desaguisado?
Con diversidad a todos los niveles.
Diversidad en los datos para restar homogeneidad por el bien del realismo.
Diversidad en los equipos para que todas las personas puedan aportar y trasladar su experiencia vital a la tecnología. Aquí tenemos un agujero que cada día crece más porque según AI Now Institute, solo el 20% de personas trabajando en IA a nivel mundial son mujeres.
Diversidad en las compañías para que no solo las grandes tecnológicas tipo Amazon, Meta o Google decidan el rumbo del mundo. Rumbo ligado a su beneficio económico y donde la ética solo interviene si no estorba en esta finalidad.
Y, por supuesto, diversidad en los propósitos de la tecnología incluyendo la interseccionalidad y a todos esos públicos que se han quedado fuera.
La IA y ciencia de datos hace tiempo que no predicen el futuro. Causan el futuro. Hagamos que responda a los problemas de todo el mundo y no solo a un grupo con privilegios.
Referencias:
Wagner, C., Garcia, D., Jadidi, M., & Strohmaier, M. (2021). It’s a Man’s Wikipedia? Assessing Gender Inequality in an Online Encyclopedia. Proceedings of the International AAAI Conference on Web and Social Media, 9(1), 454-463. Retrieved from https://ojs.aaai.org/index.php/ICWSM/article/view/14628
Koenecke, A., Nam, A., Lake, E., Nudell, J., Quartey, M., Mengesha, Z., … & Goel, S. (2020). Racial disparities in automated speech recognition. Proceedings of the National Academy of Sciences, 117(14), 7684-7689.
De Vries, T., Misra, I., Wang, C., & Van der Maaten, L. (2019). Does object recognition work for everyone?. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (pp. 52-59).
