Se confirma lo que avisamos en la última entrada: La Inteligencia Artificial ha acabado acaparando la temática de nuestro blog por encima de lo planeado. Es lo que toca. Por otro lado, en este caso los asuntos a tratar van a ser más serios (al fin y al cabo el anterior post era más entretenido que otra cosa…).
Vivimos unos tiempos en los que la igualdad de género, afortunadamente mayor de la que hubo nunca antes, parece seguir sin embargo amenazada por polémicas y ruidos políticos y mediáticos interminables. No vamos a entrar en lo que cualquier medio generalista ha estado mostrando durante las últimas semanas, no es lo nuestro. Pero sí es lo nuestro cuando la tecnología guarda alguna relación con ello (como con todo lo demás, en este mundo cada vez más digital).
De hecho, ya lo tocamos cuando, hace poco, publicamos una reseña del documental Sesgo codificado. Sobre esa misma cuestión, el sexismo de los algoritmos, trata el primero de los artículos que os vamos a mostrar hoy, más abajo: Parece demostrado que estos sistemas de tratamiento automatizado de los datos muchas veces dan lugar a discriminaciones a la hora de elegir candidaturas para puestos de trabajo, por ejemplo.
Pero, como ocurre con el cliché del poli malo y el poli bueno, parece ser que también hay sistemas de IA que sí favorecen a las mujeres (de manera justa y necesaria, entiéndase, o sea igualitaria). En el segundo artículo de abajo se trata el caso de uso de IA para mejorar la eficiencia en la lucha contra la violencia de género. Como ambos artículos ya son material de sobra para una sola entrada, poco más vamos añadir nosotros esta vez.
Cómo acabar con los sesgos de género en los algoritmos de internet
Sobre si los algoritmos de internet con los que interactuamos constantemente sufren un sesgo de género se han escrito ríos de tinta; basta una simple entrada en el buscador para comprobarlo. Sin embargo, según los investigadores de un nuevo estudio que busca llegar a una conclusión sobre esta pregunta, "hasta ahora, el debate ha estado lejos de un análisis científico". El nuevo trabajo, puesto en marcha por un equipo transdisciplinario, presenta una nueva forma de abordar la pregunta y propone algunas soluciones para evitar estas desviaciones en los datos y la discriminación que traen consigo.
Los algoritmos se emplean cada vez más para decidir si se concede o deniega un préstamo o para aceptar solicitudes. A medida que aumenta el número de aplicaciones de inteligencia artificial (IA), así como sus capacidades y relevancia, se vuelve más importante evaluar los posibles prejuicios adheridos a estas operaciones. "Si bien este no es un concepto nuevo, hay muchos casos en los que este problema no se estudia, con lo que se ignoran las posibles consecuencias", afirman responsables de la investigación publicada en acceso abierto en la revista Algorithms, enfocada principalmente al sesgo de género en diferentes campos de la IA.
Estos prejuicios pueden tener grandes impactos en la sociedad: "Los sesgos afectan a todo aquel que se encuentre discriminado o excluido o asociado a un estereotipo. Por ejemplo, podrían excluir un género o una raza de un proceso de decisión o, simplemente, asumir un comportamiento determinado por el género o el color de piel", explica su investigadora principal, Juliana Castañeda Jiménez, estudiante de doctorado industrial de la Universitat Oberta de Catalunya (UOC), bajo la dirección de Ángel A. Juan, de la Universitat Politècnica de València, y Javier Panadero, de la Universitat Politècnica de Catalunya - Barcelona Tech (UPC).
Según Castañeda, "es posible que los procesos algorítmicos discriminen por género, incluso cuando están programados para ser 'ciegos' a esa variable". El equipo investigador —en el que además participan los investigadores Milagros Sáinz y Sergi Yanes, del grupo de Género y TIC (GenTIC) del Internet Interdisciplinary Institute (IN3), Laura Calvet, de la Escola Universitària Salesiana de Sarrià, Assumpta Jover, de la Universitat de València, así como Ángel A. Juan— lo deja claro con varios ejemplos: el caso de una conocida herramienta de contratación que prefería a candidatos masculinos antes que femeninos, o el de algunos servicios de crédito que ofrecían condiciones menos ventajosas para las mujeres que para los hombres. "Si se usan datos históricos y no están equilibrados, probablemente se verá un condicionamiento negativo relacionado con demografía negra, gay e incluso femenina, dependiendo de cuándo y de dónde son esos datos", precisa Castañeda.
Ellos, ciencias y ellas, artes
Para saber cómo de afectados por estos patrones están los distintos algoritmos a los que nos enfrentamos, los investigadores analizaron trabajos anteriores que identificaban sesgos de género en procesos de datos en cuatro tipos de IA: la que describe aplicaciones en procesamiento y generación de lenguaje natural, la encargada de la gestión de decisiones, y la de reconocimiento facial y de voz.
En general, encontraron que todos los algoritmos identifican y clasifican mejor a los hombres blancos. Además, observaron que reproducían creencias falsas sobre cómo deberían ser los atributos físicos que definen a las personas según su sexo biológico, origen étnico o cultural, u orientación sexual, y que, asimismo, asociaban de forma estereotipada la masculinidad y la feminidad con las ciencias y las artes, respectivamente.
Muchos de los procedimientos utilizados en aplicaciones de reconocimiento de imagen o voz también se basan en estos estereotipos: al igual que las cámaras reconocen mejor las caras blancas, el análisis de audio tiene problemas con las voces más agudas, lo que afecta principalmente a las mujeres.
Los casos más susceptibles de sufrir estos defectos son aquellos algoritmos que se construyen a partir del análisis de datos reales que llevan asociado un contexto social. "Algunas de las principales causas son la infrarrepresentación de las mujeres en el diseño y desarrollo de productos y servicios de IA y el uso de conjuntos de datos con sesgos de género", señala la investigadora, que sostiene que el problema está relacionado con los entornos culturales en los que son desarrollados.
"El algoritmo, al entrenarse con datos sesgados, puede determinar los patrones ocultos que existen socialmente, y a la hora de operar, los reproduce. Así que, si en la sociedad, la representación de hombres y mujeres no es equilibrada, el diseño y desarrollo de los productos y servicios de IA presentarán sesgos de género".
¿Cómo acabar con esta tendencia?
Las múltiples fuentes de sesgo de género, así como las particularidades de cada tipo de algoritmo y conjunto de datos, hacen que eliminar esta desviación sea un desafío particularmente difícil, pero no imposible. "Se necesita que los diseñadores y todas las personas involucradas en el desarrollo estén informadas sobre la posibilidad de tener sesgos asociados a la lógica de un algoritmo. Además, deben conocer las medidas que existen para minimizar al máximo los posibles sesgos y aplicarlas para que no se produzcan, porque si son conscientes de las discriminaciones que se dan en la sociedad, sabrán identificar cuando sus desarrollos las reproducen", propone Castañeda.
La novedad de este trabajo radica en que ha sido promovido por especialistas en diferentes áreas, donde hay, entre otros, una socióloga, un antropólogo y expertas en género o estadística. "Los miembros del equipo completaron una perspectiva que va más allá de la matemática autónoma asociada al algoritmo y, así, pudimos considerar el algoritmo como un sistema sociotécnico complejo", describe la investigadora principal del estudio.
"Si se compara este trabajo con otros, pienso que es uno de los pocos que presenta la temática de los sesgos en los algoritmos desde una perspectiva neutra, donde se destacan tanto los aspectos sociales como los técnicos para identificar por qué un algoritmo toma una decisión sesgada", concluye.
Un proyecto pionero utiliza la Inteligencia artificial para analizar y combatir la violencia de género
Desde 2009 la empresa AIS Group, especialista en la aplicación de técnicas de inteligencia artificial, colabora con un equipo de forenses de Cataluña para crear un protocolo que permita reducir el número de episodios de violencia de género y homogenizar los criterios de gravedad de las lesiones, facilitando el diálogo entre forenses y jueces.
El perfil de una agresión
Durante ocho años se han analizado 1.622 casos registrados en el municipio de L’Hospitalet de Llobregat, en los que se obtuvieron datos completos en base un protocolo establecido por AIS. Las conclusiones del análisis de estos datos, se recogen ahora en un paper pendiente de publicación que revela que, sobre esta muestra, el grupo de mujeres de entre 18 y 30 años, representa casi la mitad de los casos. Además, en 2 de cada 3 agresiones, los implicados son pareja en el momento de la agresión.
De acuerdo con los casos analizados, es en los primeros años de relación cuando se registran más episodios de violencia.
En cuanto a los datos de la agresión, en 3 de cada 4 casos, el episodio de violencia no había sido la primera agresión sufrida por la víctima. No obstante, pese a no ser la primera agresión, en la mayoría de los casos, sí suele ser la primera denuncia. De manera que la mayoría de las víctimas soportan diversas agresiones antes de interponer formalmente una denuncia.
En lo que se refiere al momento de la agresión, se registra un mayor número de casos durante el fin de semana y la mitad de las agresiones ocurren de madrugada.
Los principales motivos declarados como detonante de la agresión son los celos, la ingesta de alcohol y los problemas de pareja.
La Inteligencia artificial se suma a la lucha contra la violencia
Más allá de los datos concretos de los casos estudiados, que ofrecen una visión más precisa de la situación en una zona concreta durante un determinado periodo de tiempo, hay que extrapolar los beneficios que la IA puede aportar a los actores implicados en la atención a las víctimas y la prevención de la violencia contra la mujer.
Según Nausica Trias, directora general de AIS, el primer paso es unificar criterios relacionados con la captura de información. “Gracias a eso, hemos podido disponer de una gran cantidad de casos que nos han aportado datos muy valiosos con los que alimentar motores de inteligencia artificial, no sólo relativos a las posibles lesiones, sino incorporando información sociodemográfica relacionada”, comenta Trias.
“La IA -señala la directora general de AIS- permite identificar de manera más detallada grupos de riesgo y proponer indicadores forenses clave para asesorar en dichas situaciones. Además, identifica las áreas donde deben aplicarse medidas protectoras de los colectivos más vulnerables, optimizando recursos, servicios y programas, que contribuyan a reducir también los niveles de revictimización”.
Otro aspecto donde hemos puesto mucho énfasis en este trabajo ha sido en elaborar una escala más detallada de los índices reconocidos de gravedad de las lesiones. El objetivo aquí era dejar menos espacio a subjetividades y tratar de mejorar así la comunicación y entendimiento entre jueces y forenses. No hay duda de que “conocer la relación entre la gravedad de la agresión y las características socioeconómicas, la localización geográfica, el entorno cultural o la repetición de agresiones, permite desarrollar políticas de prevención más eficaces”, afirma Trias.
“Estamos muy satisfechos con la aportación que hemos podido realizar, pues esperamos sirva para poder optimizar las estrategias de actuación y los recursos para combatir este problema”, dice Nausica Trias. “No obstante, el trabajo realizado” -añade- “nos ha mostrado que todavía hay mucho trecho por delante, mucho margen de mejora y como sociedad debemos ser capaces de tomar todo lo que nos pueda resultar útil, como, en nuestro caso, la tecnología, para erradicar la violencia”.
Prevenir las agresiones
Las técnicas de IA superan en capacidad de análisis a la estadística tradicional. Pueden analizar un número muy superior de variables, detectar interacciones y ofrecer resultados mucho más precisos. Gracias a la IA se puede afinar más en la caracterización de los perfiles más vulnerables en cuanto a víctimas y su probabilidad de sufrir una nueva agresión, en la detección de perfiles de potenciales agresores o en la probabilidad de reincidencia, en la identificación de zonas y momentos con mayor probabilidad de que se den episodios de violencia, etc.
Además, la IA puede también usarse para definir actuaciones con el fin de sensibilizar a la población más susceptible de protagonizar estas situaciones de violencia, como campañas orientadas al entorno cultural de víctimas y agresores, comunicación a través de los medios óptimos, en la lengua y cultura apropiados, el tratamiento de alertas tempranas, así como los refuerzos en la dotación asistencial o en ayuda y vigilancia.