¿Cómo crear sistemas de Inteligencia Artificial éticos? – IBM Developer

¿Cómo crear sistemas de Inteligencia Artificial éticos?

Resumen

Hoy, es innegable el valor que la inteligencia artificial (IA) suma a las empresas y sociedades para resolver problemas de optimización complejos, crear mejores experiencias de usuario y agilizar procesos con tareas automatizadas. Como desarrolladores necesitamos estar conscientes que este impacto positivo también puede traer otros problemas no necesariamente técnicos como los aspectos éticos. Entender esto, es crítico para que la adopción de la IA sea exitosa en cualquier empresa y proyecto. En este artículo explicaré en términos prácticos qué aspectos éticos se necesitan considerar y qué estándares y herramientas están disponibles por IBM para ayudarnos que construyamos sistemas de IA éticos.

El potencial de la IA

La inteligencia artificial no es una disciplina nueva, desde los cincuentas se definieron las primeras nociones y en los noventas 1 se comenzó a formalizar su uso principalmente en aplicaciones académicas e investigación. Pero en esta última década, la democratización de la tecnología ha expandido su alcance y hoy es rara la rama de la ciencia y comercio donde no se haya aplicado. La realidad es que el espectro de beneficios es tan amplio que podemos ver rápidamente por qué naciones como China han decidido embeber a la IA desde la educación primaria y la han puesto como estrategia nacional. Hay una gran lista de beneficios, pero puedo mencionar:

  • Asistencia al oncólogo para mejorar el diagnóstico y tratamiento del cáncer. 2
  • Ampliación de conocimiento humano a ejecutivos de banca con sistemas de referencia y lenguaje natural 3
  • Asistentes virtuales para mejorar la atención a clientes en todo momento 4
  • Diagnóstico de problemas y asistencia para reparación mediante reconocimiento de imágenes para técnicos en campo. 5
  • Ayuda a débiles visuales a explorar el mundo con sistemas de reconocimiento y asistencia visual 6

Casos como estos benefician hoy a millones y las aplicaciones de la IA se expanden día con día en todas las industrias. Si sumamos estos beneficios con la capacidad computacional que se tiene hoy disponible (generalmente mediante esquemas de nube) y por fracciones del precio de hace dos décadas, el potencial es enorme: pero la escala del impacto también puede ser negativa.

Retos de adopción de IA

Nuestra sociedad está usando la IA en múltiples procesos, y está bien que los use para optimizar y escalar, sin embargo, lo que se observa es que no necesariamente lo está haciendo considerando variables sociales o éticas.

Algunas empresas que han emprendido su ruta de automatización y adopción de IA han tenido que poner marcha atrás 7 a sus algoritmos porque éstos, muchas veces asumidos como cajas negras, respondían con decisiones que parecían discriminatorias o sexistas 8. En el contexto de IA este fenómeno se le conoce como sesgo.

Estos ejemplos muestran cómo, en lugar de que la IA ayude a eficientar y escalar un proceso de negocio, el sesgo en los modelos puede incluso deteriorar la percepción de la tecnología o incluso de un producto o marca.

Al final, los retos más grandes al crear sistemas de IA es poder diseñarlos con el menor sesgo posible y alejarnos lo más posible de las “cajas negras”, es decir, crear sistemas de IA éticos, explicables y transparentes. Estos principios nos ayudarán a contestar a las preguntas: ¿Por qué el sistema tomó esa decisión? ¿Estamos excluyendo a una minoría? ¿Es un algoritmo justo? ¿Quién entrenó este modelo de IA y con qué datos?

¿A qué retos éticos nos enfrentamos en el diseño de la IA?

Como ingenieros que utilizan la IA (Machine Learning, Deep Learning, Data Science y cualquier acepción), generamos sistemas que toman decisiones u orientan al humano. Cuando existen varias opciones, el humano usa su contexto moral, juicio, creatividad, imaginación y generalización para tomar una decisión, pero una máquina debe utilizar algoritmos para llegar a una conclusión. Como ejemplos de retos de decisión donde juega la ética puedo mencionar:

  • Ante una emergencia ¿un auto con IA se abalanzará hacia peatones para no atropellar a un niño en la calle?
  • Los modelos de ML para riesgo ¿otorgan créditos sin sesgo basado en edad, raza o sector socioeconómico?
  • ¿Qué tan confiable es la IA para evaluar candidatos a contratar?
  • ¿Cómo manejar los falsos positivos o falsos negativos en un diagnóstico de cáncer?

Como diseñadores o creadores de sistemas de IA el sesgo surge primordialmente del factor humano que está presente durante todo el proceso de incepción, desarrollo, pruebas y puesta en marcha del sistema de IA. Muchos de estos factores se inyectan sin que los científicos de datos o ingenieros que los generan lo sepan. Algunos factores que puede agregar sesgo a un sistema de IA:

  • Datos o insumos para entrenamiento de IA. ¿Los datos usados en la muestra para entrenar contemplan todo el universo de usuarios o beneficiados? Los datos usados en el entrenamiento de IA podrían llevar a un modelo con una fuerza predictiva grande, pero podría estar sesgada al cubrir un subgrupo de eventos o individuos (sin saberlo).
  • Modelos previamente utilizados. Relacionado al concepto de Transfer Learning 9 ¿Reutilizaste un modelo previamente entrenado? ¿Quién lo entreno? ¿Con qué datos lo entreno? ¿Servirá para el universo objetivo buscado?
  • Contexto social. Si el modelo entrenado contempla variables que sociales (por ejemplo, estado civil), esas variables podrían excluir a otros grupos de manera no intencionada si se usan para entrenar IA para regiones con otros contextos. Por ejemplo, si el estado civil sube una calificación de riesgo en un país, éste podría calificar diferente a personas en lugares con tasa de matrimonio diferente 10.
  • Contexto personal. El contexto en el que crecimos o desarrollamos influye en la manera en la que diseñamos a los sistemas de IA, misma que puede ser sin intención. Por ejemplo, un asistente virtual entrenado para detectar una frase como negativa, esta podría ser considerada positiva si consideramos regionalismos para una misma palabra o frase.
  • Contextos étnicos y minorías. ¿Los sistemas de IA están listos para responder sin sesgo ante contextos de raza, color de piel, preferencias de alimentación, etc.? Por ejemplo, un asistente virtual entrenado para ofrecer productos de mayor venta, que no ofrezca opciones vegetarianas estará excluyendo a una minoría del universo de clientes.
  • Herramientas existentes. Las herramientas, librerías de IA existentes pueden contemplar entrenamientos o bases previas que pueden cargar sesgo como los anteriores, desde su diseño.

Estándares para aplicar ética en los sistemas de IA

Entendiendo los retos éticos de la IA ¿qué estándar o modelo debemos seguir para resolverlos? La referencia por defecto es el juicio humano, sin embargo, nos regresa al problema original. Otra pregunta que surge es si debemos ceñirnos a un estándar que supere al del humano dado que el humano tiende a agregar subjetividades, emociones, criterios que dependen de variables y contextos antes citadas. La realidad es que hoy no hay un estándar definitivo para resolver este reto, sin embargo, cada vez cobran más importancia los aspectos de transparencia y detección de sesgo para usar la IA de forma provechosa.

Han surgido algunos estándares en el desarrollo de sistemas computacionales que han sido el preámbulo de los esfuerzos para estandarizar la IA ética, por ejemplo, el ACM Code of Ethics 11 plantea reglas como “ser justo y no discriminar”, la ASA (American Statistical Association) y su Código de Ética para Datos plantea transparentar la integridad de datos y el o la responsable del trabajo estadístico. Otro organismo creado en 2016 llamado PAI (Partnership on AI) fundado por IBM, Amazon, Google, FaceBook, Microsoft y Apple alinea mejores practicas y un diálogo abierto para aprovechar la IA para los individuos y para la sociedad. Por su parte la AboutML (About ML – Annotation and Benchmarking on Understanding and Transparency of Machine learning Lifecycles) propone formas de transparentar los modelos durante todo su ciclo de vida.

La conclusión más clara es que el reto de establecer un marco de ética de IA no es una tarea de tecnólogos o científicos de datos, es un reto multidisciplinario.

¿Qué está haciendo IBM para abordar estos retos?

Durante décadas de transformación continua y en cada innovación tecnológica que IBM ha contribuido al mundo, ha quedado claro que cada ciclo debe acompañarse de un propósito: no se trata de innovar por innovar. Hoy hacer transparente un sistema de IA con el mínimo sesgo algorítmico posible se puede alcanzar mediante tres caminos, no excluyentes:

1) Principios de aprovechamiento y utilización de IA

2) Cultura de la transparencia y reducción de sesgo y

3) Explicabilidad y detección de sesgo asistida.

Principios de aprovechamiento y utilización de IA.

Cuando existen principios claros para el aprovechamiento de la tecnología, los diseños y sus consecuentes beneficios se dan con mucha más claridad. Bajo esta óptica, IBM ha publicado 12 tres principios de confianza y transparencia para el uso de la información para asegurar el uso responsable y transparente de la IA y otras innovaciones transformadoras. Estos tres principios son:

  1. El propósito de la IA es aumentar la inteligencia humana, no reemplazarla. Creemos que la IA debe mejorar a toda la sociedad y la forma en que trabajan y sus beneficios deben tocar a todos no solo a un grupo de personas. Esto incluye a la educación para inyectar conocimientos de IA en los planes académicos.
  2. Los datos y la inteligencia resultantes pertenecen a su creador. Los modelos de IA que una empresa genere se convierten en activos clave. Factores clave para este principio son Privacidad, seguridad y cumplimiento, entre otros.
  3. Las nuevas tecnologías incluyendo la IA, deben ser transparentes y explicables. IBM sugiere transparentar el propósito de la IA aplicada, las fuentes de datos y métodos usados para entrenar estos sistemas y actuar proactivamente para reducir el sesgo.

Por otro lado, IBM participa activamente en foros de IA y Ética para compartir a gobiernos, empresas y sociedad sus experiencias y principios como estos. Hoy forma parte del grupo de asesores en la Unión Europea para este fin. IBM cuenta también con un consejo interno enfocado en la ética para la IA.

Cultura de la transparencia y reducción de sesgo

Comenté antes que la inyección del sesgo puede ocurrir en varios puntos del ciclo de vida del modelo de IA debido a factores que pueden ser humanos o no (por ejemplo, por reutilización de modelos o herramientas), estos factores pueden detectarse mediante una inspección o criterio humano. Pueden preguntarse: ¿Usar a un humano no es contradictorio? Si observamos los controles que existen hoy para garantizar que un sistema o aplicaciones se entreguen con calidad, sean seguros y sigan con criterios de diseño adecuados muchos parten de un marco cultural, por ejemplo, las pruebas de usuario final, peer programming, checklists de seguridad, arquetipos de arquitectura, peer reviews, design thinking son ejemplos de estos marcos.

Para establecer un marco cultural en aspectos éticos, IBM ha publicado una guía para el Ética en el día a día para la Inteligencia Artificial (Everyday Ethics for Artificial Intelligence 13). Esta guía abre un panorama muy valioso para diseñadores o desarrolladores de IA porque permite entender desde una perspectiva práctica los aspectos o áreas que debemos cuidar para entregar un sistema ético. La guía muestra con ejemplos y recomendaciones cómo desarrollar bajo 5 áreas:

  1. Responsabilidad. Recomienda mirar hacia el impacto y responsabilidad que tienen las personas y organizaciones involucradas en el diseño de IA y de cómo clarificar políticas, procesos y mejores prácticas.
  2. Alineación a valores. Recomienda analizar los sistemas de valores que podrían ser impactados con el sistema de IA y de cómo maximizar esta visión mediante la participación de un equipo multidiscipliario.
  3. Explicabilidad. Recomienda acciones para transparentar el proceso de decisión del modelo de IA, sobre todo cuando se usa información o se consideran decisiones sensibles.
  4. Modelos Justos 14. Recomienda acciones para analizar conscientemente el sesgo. Presenta tres tipos de sesgo inconsciente: Sesgo por atajos, Sesgo de imparcialidad y sesgo por interés propio.
  5. Derechos de datos del usuario. La guía comenta sobre las consideraciones de control, comunicación, permisos, uso de otros datos y cumplimiento.

    Algunos ejemplos en la guía para la identificación del sesgo inconsciente.

IBM en esta guía muestra con casos prácticos y escenarios reales (orienta en cada área con un ejemplo para hacer aplicaciones para un hotel) las implicaciones y posibles fuentes de sesgo, así como el cuidado de los datos. Todo desarrollador que incluya modelos de machine learning en su sistema o IA en general se recomienda que adopte las prácticas de esta guía como un mecanismo de autoevaluación periódica.

Ejemplos prácticos acompañan la guía para entender y abordar mejor el reto de ética para la IA.

Explicabilidad y detección de sesgo asistida.

¿Se puede modelar computacionalmente el sesgo? ¿Cómo desarrollador, puedo apoyarme de una máquina para detectarlo? La respuesta es sí. El reto es grande pero el beneficio también, e IBM se ha puesto esa meta y no solo ha modelado ciertos tipos de sesgo, sino que ya ha desarrollado productos y frameworks de software para este fin. En este artículo comentaremos dos mecanismos: Watson OpenScale y Explainable AI Toolkit.

IBM Watson OpenScale 15: Transparencia y mitigación de sesgo en IA

Esta plataforma no solo ayuda a los científicos de datos y desarrolladores de IA a desplegar y a auto-escalar sus modelos de Machine Learning para producción, si no que pone un foco especial en el monitoreo y mitigación del sesgo. IBM Watson OpenScale es una plataforma abierta que permite desplegar modelos previamente entrenados en frameworks populares como Keras, TensorFlow, SparkML, Scikitlearn y PMML o desarrollados en otras nubes.

Lo que hace especial a Watson OpenScale es que reduce la brecha del conocimiento para entender, operar y hacer más justos los modelos.

El desempeño del modelo es monitoreado y alerta al administrador de que umbrales superados sobre qué tan justo es el modelo.

Por otro lado, por cada transacción (decisión o predicción) realizada por el modelo, explica visualmente las variables involucradas y el peso con el que contribuyeron para esa decisión. Esto agrega explicabilidad y transparencia al AI: no más cajas negras.

Para cada transacción o predicción entregada, IBM Watson OpenScale muestra las variables que contribuyeron con la calificación de riesgo para no otorgar el crédito crédito.

Durante la configuración de los monitores del modelo uno puede seleccionar las variables a monitorear e indicar el umbral para considerar cuando el modelo dejó de ser justo.

El modelo de Machine Learning es monitoreado para indicar si ha rebasado umbrales de sesgo contra grupos de datos predefinidos (sexo, edad, etc.).

La vida del científico de datos o desarrollador de modelos se simplifica con IBM Watson OpenScale para la creación de modelos más justos. La plataforma genera automáticamente un modelo más justo a partir de la observación de los grupos referenciados.

IBM Watson OpenScale genera modelos automáticamente para entregar predicciones más justas a partir de grupos de datos monitoreados.

La plataforma se lanzó a finales del 2018 y ha sido reconocida 16 por su abordaje innovador para alcanzar IA explicable. IBM trabaja con expertos 17 de cumplimiento y regulación para evolucionar la plataforma constantemente y para definir aquellos criterios que hacen más justos y transparente los modelos que pueden impactar las vidas de muchos.

AI Explainability 360 Toolkit.

Si eres un científico de datos, un desarrollador interesado en IA explicable o incluso un usuario de negocio interesado en tener más claridad en los modelos que usan tus procesos, IBM Research ha lanzado recientemente un SDK para entrenar modelos y dar transparencia a los mismos.

El tookit incluye algoritmos en Python que puedes usar en un Jupyter Notebook para explicar y visualizar la contribución que tienen las variables 18 usadas en los modelos en la fuerza predictiva. Por ejemplo el toolkit cuando se ejecuta un comando como:

lrr.visualize(data, fb, [‘NumRevolvingTradesWBalance’]);

Se obtiene el siguiente resultado de explicabilidad: indica que los sujetos de crédito con más de 5 tarjetas de crédito con saldo en sus cuentas no serán beneficiados con un crédito:

Explicación de una variable (Cantidad de Cuentas Revolventes o Tarjetas de Crédito con saldo) en un modelo de scoring de crédito. Tener más de cinco tarjetas con saldo penaliza mucho al objeto de crédito.

donde:

data – es un frame con datos de personas con más de 20 variables útiles para asignar crédito a una persona

lrr – un modelo de regresión logarítmica (parte del Toolkit) para predecir, en este caso la asignación de crédito a cierta persona.

fb – una clase FeatureBinarizer que prepara los datos a binario (1, 0) para ayudar al algoritmo de regresión en su predicción.

[‘NumRevolvingTradesWBalance’] – Indica al modelo de regresión que explique la contribución de la columna que contiene la cantidad de cuentas de crédito revolvente con saldo que tiene la persona.

El AI Explainability Toolkit 360 tiene tutoriales, ejemplos y hasta paquetes de datos anonimizados con variables relacionadas con la ética en la IA para poder experimentar y alejarnos de las cajas negras en la IA .

Conclusión

La inteligencia artificial llegó para quedarse e impactar masivamente la vida de muchos, pero este impacto puede ser negativo si las decisiones que la IA toma no se consideran como éticas o justas. Los desarrolladores o científicos de datos generan, a veces sin darse cuenta, modelos de Machine Learning de caja negra (no explicables) y con sesgo. Corregirlo requiere de marcos culturales y herramientas. IBM ha desarrollado guías y herramientas como IBM Watson OpenScale y AI Explainability Toolkit 360 para ayudar a los interesados en generar modelos más justos y explicables.

Referencias

1 – http://sitn.hms.harvard.edu/flash/2017/history-artificial-intelligence/

2 – https://www.ibm.com/mx-es/marketplace/clinical-decision-support-oncology/resources

3 – https://www.ibm.com/watson/stories/woodside/

4 – https://www.ibm.com/case-studies/autodesk-inc

5 – https://www.ibm.com/watson/stories/coreml/

6 – https://www.youtube.com/watch?v=oXGEBOosdcI

7 – https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

8 – https://www.theverge.com/2019/11/11/20958953/apple-credit-card-gender-discrimination-algorithms-black-box-investigation

9 – https://en.wikipedia.org/wiki/Transfer_learning

10 – https://medium.com/@keiyakukekkon/the-decline-of-marriage-62faeb8e64b1

11 – https://www.acm.org/code-of-ethics

12 – https://www.ibm.com/blogs/policy/trust-principles/

13 – https://www.ibm.com/watson/assets/duo/pdf/everydayethics.pdf

14 – Fairness en inglés.

15 – https://www.ibm.com/cloud/watson-openscale

16 – IBM Watson OpenScale builds trust in AI via monitoring, fairness and explainability. 451 Research. Report, May 1st, 2019

17 – https://www.ibmbigdatahub.com/blog/watson-openscale-bias-monitors

18 – Features en el argot en inglés de Ciencia de datos