¡Participa de la Maratón Behind the Code, la competencia de programación más desafiante! Inscríbete aqui

Ética de Datos: 5 razones de sesgo en modelos de Machine Learning y cómo evitarlos

La Inteligencia Artificial (IA) ha llegado a nuestras vidas para quedarse. Es posible encontrarla en lugares que van desde asistentes virtuales como Alexa o Siri, hasta otros menos sospechados como lo son el buscador de Google, las recomendaciones de Amazon, Netflix, e incluso redes sociales como Instagram o TikTok.

Estos sistemas inteligentes aprenden de nosotros, utilizando la información recabada para tomar decisiones que pueden ir desde lo trivial, como qué serie ver esta noche, hasta lo crítico, como los es para un banco determinar si debe concederle un préstamo a esa persona que tanto lo necesita.

Es perfectamente razonable asumir que, como es una máquina y no un ser humano quien está a cargo de estas decisiones, las mismas son tomadas de forma justa. Sin embargo, esto no siempre es así. A veces, al igual que nos sucede a las personas, los algoritmos se encuentran sesgados.

¿Qué es un sesgo?

Dibujo de mano sosteniendo una balanza con más peso de un lado que del otro

De acuerdo a la Real Academia Española (RAE), un sesgo, o bias en inglés, es un «error sistemático en el que se puede incurrir cuando al hacer muestreos o ensayos se seleccionan o favorecen unas respuestas frente a otras.» Aplicado al área de Inteligencia Artificial, lo podemos definir como un fenómeno que ocurre cuando un algoritmo produce resultados que poseen prejuicios sistémicos debido a suposiciones erróneas en el proceso de entrenamiento.

¿Por qué se producen?

Los sistemas de IA pueden dividirse en dos grandes componentes:

  1. Algoritmos: refieren al componente programático, lógico, del sistema. Es el conjunto de instrucciones a ejecutar para llegar al resultado deseado. Si bien pueden estar sujetos a sesgos, la existencia de librerías de código abierto y la formalización de estándares de ciertas prácticas ha reducido este problema.
  2. Datos: son el corazón del sistema IA puesto que se podrá contar con los mejores algoritmos y la mejor infraestructura para correrlos, pero si no se posee un buen conjunto de datos, la solución final no será la deseada. Si los datos son malos, el modelo será malo, es decir, «garbe in, garbage out». Es por esto que se suele afirmar que un modelo de Machine Learning es tan bueno como sus datos.

Es lógico entonces preguntar: «¿qué hace que con conjunto de datos se encuentre sesgado? ¿por qué sucede?» A continuación, se brindan algunas de las causas por las cuales se produce este fenómeno:

  1. Desbalance de datos
  2. Perpetuación de patrones
  3. Correlación de información
  4. Omisión de datos
  5. Compensación manual de sesgo

Desbalance de datos

La razón más frecuente se debe a que los conjuntos de datos empleados para entrenar las redes neuronales se encuentran desbalanceados, es decir, no representan equitativamente a todos los grupos involucrados.

En 2015, la inteligencia artificial detrás de Google Photos detectó a una pareja de color como «gorilas». El sistema de reconocimiento facial fue entrenado con un conjunto que poseía más información de personas caucásicas que de color, deviniendo en este error que no sólo posee consecuencias desde un punto de vista técnico, sino también social.

Un caso similar es el de Google Vision, que confundió un termómetro de mano con un arma, pero sólo cuando la mano que lo sostenía era el de una persona de color. Para el caso de personas blancas, el termómetro era catalogado como «Monocular».

Perpetuación de patrones

Otra posibilidad es que patrones preexistentes en los datos condicionen la respuesta final del modelo. Debido a ello, estereotipos o sesgos previos son perpetuados de forma no intencional. Este comportamiento se denomina Feedback Loop en inglés y se ve en acción en las recomendaciones de Amazon o eBay cuando, en base a un artículo comprado, recomienda otros similares.

Reclusos dentro del sistema COMPAS

Es también posible verlo en otros casos más severos como el de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un sistema utilizado en los Estados Unidos para ayudar a los jueces a tomar mejores decisiones a la hora de determinar qué tan probable es que un acusado reincida.

El algoritmo detrás de este sistema es casi dos veces más probable de etiquetar una persona de raza negra como de riesgo, y las personas blancas son mucho más propensas a ser catalogadas como de bajo riesgo, aunque los delitos cometidos hayan sido de mayor gravedad. De esta forma, se perpetúa el estereotipo de que los criminales tienden a ser personas de color.

El proceso de contratación de personas es otro buen ejemplo. El uso de estos algoritmos de atracción de candidatos pueden perpetuar estereotipos o discriminar candidatos en base a su género, raza, religión, orientación sexual, entre otros. Un estudio realizado por la Universidad de Northeastern descubrió que los anuncios de Facebook que ofrecían puestos de cajero de supermercado eran mostrados a una audiencia compuesta por mujeres en un 85%, mientras que los trabajos en empresas de taxis lo hacían a una audiencia 75% negra.

Correlación de información

Muchas veces existen relaciones indirectas o inferibles entre datos que pueden producir las situaciones anteriormente mencionadas. Una dirección o un código postal puede correlacionarse con un cierto nivel socio-económico, un nombre con una raza o religión, etc. Incluso existen otros ejemplos, a simple vista quizás descabellados, como la vinculación entre poseer un contrato de un servicio telefónico y la edad o condición económica del abonado.

Se han elaborado prácticas vinculadas a este tema. Una de ellas re-identificación de datos cuyo propósito es, a partir de datos considerados «anónimos», descubrir a qué individuo pertenecen. Algunos investigadores Europeos afirman que basta con poseer 15 atributos demográficos para ser capaces de realizar este proceso exitosamente en un 99.98% de los casos.

Si, además de estas relaciones no evidentes, se toma en cuenta la naturaleza de «caja negra» de la mayoría de los algoritmos de IA, donde no es posible, ni siquiera para sus propios creadores, conocer la sucesión de pasos que conducen a una salida a partir de una entrada concreta, se hace prácticamente imposible llevar un control de la interpretación los datos.

Omisión de datos

En algunos casos, a fin de evitar las situaciones anteriormente mencionadas se opta por no emplear ciertos datos sensibles en el entrenamiento de los modelos. Esto puede ser beneficioso siempre y cuando se realice inteligentemente, es decir, cuando se seleccionen los atributos (features) indicados para el problema en cuestión. Ni más, ni menos.

Existen diversas técnicas y consideraciones (PDF, 2.3 MB) respecto a la selección de atributos, pero la regla de pulgar es incluir todos aquellos considerados relevantes para el problema, y aquellos donde la categoría desfavorecida obtiene mejores resultados que la categoría dominante. Un ejemplo de esto es el caso de las mujeres en estudios de reincidencia, debido a que poseen menos probabilidades de reincidir, su resultado es mejor que la categoría dominante.

Además de incrementar la precisión del modelo, una buena selección de atributos permite realizar un entrenamiento más veloz y reducir la complejidad del modelo.

Compensación manual de sesgo

Vinculado al primer punto mencionado, existe la posibilidad de que, en un intento de enmendar el desbalance de datos, se compense excesivamente y se termine en una situación similar, o peor, a la anterior.

Tomando como ejemplo el caso de COMPAS, si se añade excesivamente registros de personas de color catalogadas como de bajo riesgo, la representación del modelo no reflejará la realidad, deviniendo potencialmente en conclusiones erróneas, catalogando criminales de alto riesgo como de bajo riesgo, lo cual puede poseer consecuencias negativas para la población.

Por ello, es importante lograr un balance y asegurar que la muestra es representativa para todos los grupos involucrados.

¿Cómo evitarlos?

Habiendo analizado por qué los sesgos pueden tener consecuencias negativas, es hora de la siguiente pregunta: ¿cómo evitarlos?

  • En primer lugar, contando con conjunto de valores para que las decisiones y prácticas a realizar se encuentren respaldadas por un marco teórico que tenga como prioridad a los usuarios.
  • En segundo lugar, mediante la aplicación de buenas prácticas que permitan realizar una selección de datos y una validación y análisis del modelo para detectar y eliminar o reducir sesgos.
  • Finalmente, empleando las herramientas disponibles para que todo este proceso sea ágil, certero, eficiente y seguro.

Conjunto de valores

En IBM nos tomamos muy en serio la relación que existe entre la Ética y la Inteligencia Artificial. Nuestro objetivo es ayudar a personas y organizaciones a adoptar la IA de forma responsable. Y sólo mediante la incorporación de principios éticos en las aplicaciones y procesos de IA podremos construir sistemas basados en la confianza.

Por eso hemos definido las siguientes áreas de enfoque, para ayudarnos en esta tarea.

Explicabilidad

  • Transparencia: cualquier sistema de IA en el mercado que esté haciendo determinaciones o recomendaciones con implicaciones potencialmente significativas para las personas debería poder explicar y contextualizar cómo y por qué llegó a una conclusión en particular.
  • Inteligibilidad: los propietarios y operadores del sistema IA deben poner a disposición, de forma comprensible para el usuario final, documentación que detalle la información esencial que los consumidores deben conocer, como lo son las medidas de confianza, niveles de regularidad procesal y resultados de análisis de errores.

Equidad

  • La IA debe poder ayudar a las personas a tomar decisiones más justas, contrarrestar los prejuicios humanos y promover la inclusión.
  • La equidad se refiere al trato equitativo de personas o grupos de personas por parte de un sistema de inteligencia artificial.
  • La inclusión significa trabajar para crear un equipo de desarrollo diverso y buscar las perspectivas de las organizaciones que sirven a las minorías y las comunidades afectadas.

Robustez

  • Los sistemas impulsados por IA deben defenderse activamente de los ataques adversarios, minimizando los riesgos de seguridad y permitiendo la confianza en los resultados del sistema.
  • Dado que los sistemas se emplean cada vez más para tomar decisiones cruciales, es imperativo que la IA sea segura y sólida.

Transparencia

  • Los usuarios deben poder ver cómo funciona el servicio, evaluar su funcionalidad y comprender sus fortalezas y limitaciones.
  • Los sistemas transparentes de IA comparten información sobre qué datos se recopilan, cómo se utilizarán y almacenarán, y quién tiene acceso a ellos. Dejan claros sus propósitos a los usuarios.
  • Las empresas de tecnología deben tener claro quién entrena sus sistemas de IA, qué datos se utilizaron en ese entrenamiento y qué se incluyó en las recomendaciones de su algoritmo.

Privacidad

  • Los sistemas de inteligencia artificial deben priorizar y salvaguardar la privacidad y los derechos de datos de los consumidores y proporcionar garantías explícitas a los usuarios sobre cómo se utilizarán y protegerán sus datos personales.
  • El respeto por la privacidad significa la divulgación completa sobre qué datos se recopilan, cómo se utilizarán y almacenarán, y quién tiene acceso a ellos.
  • Los sistemas de IA y sus operadores deben tener como objetivo recopilar y almacenar sólo los datos mínimos necesarios. El propósito del uso de los datos debe ser explícito y los operadores deben evitar que los datos se reutilicen.
  • Los sistemas deben permitir a los consumidores elegir cómo se recopilan, almacenan y utilizan sus datos personales, a través de configuraciones de privacidad claras y accesibles.

Buenas prácticas

A continuación, se proveen algunas recomendaciones y buenas prácticas:

  1. Seleccionar datos de entrenamiento que sean adecuadamente representativos y lo suficientemente grandes para contrarrestar los tipos comunes de sesgos que existen en Machine Learning, como el de muestra y el de prejuicio.
  2. Probar y validar el modelo para asegurar de que los resultados de aprendizaje no presenten sesgos debido a los algoritmos o conjuntos de datos utilizados.
  3. Monitorear a los sistemas en la realización de sus tareas para garantizar que los sesgos no se introduzcan con el tiempo, a medida que continúan aprendiendo mientras funcionan.
  4. Utilizar recursos adicionales, para examinar y analizar modelos.

Uso de Herramientas

IBM ha desarrollado un conjunto de herramientas para hacer del diseño, desarrollo y despliegue de modelos de Inteligencia Artificial una empresa más ágil, eficiente y segura. A continuación, se presentan algunas de ellas:

  1. AI Fairness 360: este kit de herramientas de código abierto permite examinar, informar y mitigar la discriminación y sesgo en modelos de Machine Learning a lo largo de todo el ciclo de vida de la aplicación. Contiene más de 70 métricas de equidad y 10 algoritmos de mitigación de sesgos. Además, incluye una serie de tutoriales, gran cantidad de documentación, e incluso una demo para probarlo de forma gratuita.
  2. AI Explainability 360: esta librería Python, también de código abierto, posee herramientas para ayudar a comprender cómo los modelos de Machine Learning realizan predicciones a lo largo del ciclo de vida de la aplicación. Incluye algoritmos que respaldan la interpretabilidad y explicabilidad de conjuntos de datos y modelos. Al igual que el kit AI Fairness 360, viene acompañado de tutoriales, una detallada documentación y una demo.
  3. Adversarial Robustness 360 Toolbox: Adversarial Robustness Toolbox es una librearía de código abierto diseñada para brindar ayuda a investigadores y desarrolladores en la defensa de redes neuronales contra ataques adversarios, haciendo que los sistemas de inteligencia artificial sean más seguros. También incluye una extensiva documentación y una demo.
  4. Watson OpenScale: Watson OpenScale es un servicio de IBM Cloud que permite a las empresas visualizar cómo se está construyendo y utilizando la inteligencia artificial en sus aplicaciones. Posee un diseño abierto y es capaz de detectar y mitigar sesgos, ayudar a explicar los resultados de la IA, escalar su uso y brindar información acerca del estado del sistema, todo esto desde una interfaz unificada. Para aquellos que deseen conocer más, se recomiendan los tutoriales Getting Started, la documentación de la API y, por supuesto, una demo donde puede verse al sistema en acción.

Conclusión

En este artículo se explicó cómo el sesgo de datos pueden afectar negativamente a los sistemas de Inteligencia Artificial, e incluso a la sociedad en su conjunto. Se brindaron diversos ejemplos de cómo puede suceder esto, y se brindaron algunas prácticas y herramientas para ayudar a mitigarlo.

Enlaces de interés