Isabelle Hupont, investigadora: "Tenemos que hacernos responsables de lo que subimos a redes y entrena a la IA"
Objetivo Igualdad
- La Inteligencia Artificial puede reproducir sesgos que discriminen a las personas
- La investigadora, experta en Inteligencia Artificial, habla para Objetivo Igualdad
Objetivo igualdad, domingos a las 16:30 en Canal 24 horas y en RTVE Play
Isabelle Hupont es una de las mayores expertas en inteligencia artificial (IA) en España. Ha trabajado en la Universidad de Zaragoza y en la de la Sorbona (París), en institutos tecnológicos públicos y en la empresa privada. Actualmente es asesora del Ministerio de Ciencia, Innovación y Universidades e investigadora en el Centro Común de Investigación de la Comisión Europea (equipo HUMAINT).
De hecho, ella ha participado en la elaboración de la ley europea que regula la IA, una reglamentación pionera en el mundo.
Ademas, Hupont sabe hacer algo que no es tan común entre las y los investigadores: divulgar. Nos habla de la inteligencia artificial y su desarrollo con un entusiasmo y una claridad y cercanía que nos hace comprender esos conceptos y procesos que normalmente consideramos tan lejanos. Hupont está especializada en reconocimiento y análisis facial, computación afectiva y en IA fiable. Hemos acudido a ella para que nos hable de los sesgos discriminatorios que puede albergar la inteligencia artificial y cómo evitarlos.
PREGUNTA. ¿Cómo puede discriminar a alguien un algoritmo?
RESPUESTA. Yo tengo amigos que trabajan en el sector de la banca. Ahí utilizan algoritmos para decidir. Están basados en inteligencia artificial, por tanto, que han aprendido de un histórico de datos y que deciden en función de tus datos personales si te van a dar o no un crédito en el banco. Entonces mis amigos me dicen: "Jolín, Isa, la verdad es que hay veces que el algoritmo deniega créditos y yo no entiendo por qué. Yo se lo daría". Y mi respuesta inmediata es: "Pues dáselo". "Ah, no, es que no puedo, no me permite el sistema. No hay un botoncito donde pueda decir que no tenga en cuenta la inteligencia artificial, que tenga en cuenta mi criterio. Así que yo hago caso a la inteligencia artificial que me ha dicho que no se lo dé".
Amiga, estás sufriendo un sesgo de automatización. Esto es grave. ¿Por qué? Porque probablemente ese histórico de datos se ha hecho en función de tu código postal, de si vives en un barrio pobre, en función de tu género, de tu nacionalidad, de un sinfín de variables que se utilizan para entrenar esos algoritmos. Te pueden estar denegando un crédito de forma injusta por tu código postal. Esto lo aprende el algoritmo. Y esto no solo en el sector banca, esto es, en absolutamente todos los tipos de inteligencias artificiales.
“Te pueden estar denegando un crédito de forma injusta por tu código postal“
P. ¿Hay también sesgos introducidos por desarrolladores?
R. Yo trabajaba en una empresa de reconocimiento facial en Barcelona, del sector privado, y hacíamos software de reconocimiento facial. Uno de los mejores del mundo. Una investigadora del MIT, el prestigioso Massachusetts Institute of Technology, una chica negra, quiso hacer un proyecto que mezclaba la ingeniería con el arte. Compró un software de una conocidísima marca de reconocimiento facial. Y ella simplemente quería hacer como filtros de Instagram, poner una máscara artística sobre el rostro de las personas. Entonces tenía que detectar automáticamente el rostro de la persona y luego colocar la máscara. Le pidió a su compañera blanca de laboratorio que lo probara.
Y funciona a la perfección. Se pone ella, que además es muy oscura de piel, delante del sistema... Y ya no es que no le reconocieran los puntitos de la nariz y la boca, es que no le reconocía ni como persona humana. Sin embargo, hicieron la prueba de coger una máscara totalmente blanca, la típica máscara blanca de de carnaval veneciano y sí que la detectaba como rostro y los puntos faciales.
Yo veo el vídeo y digo: ¿cómo puede ser que no nos hayamos dado cuenta de algo tan obvio? Y miré a mi derecha, a mi izquierda y dije, vale, somos 20 desarrolladores. Yo, la única mujer, por cierto. Y de los 20 somos todos una pandilla de blancos y no nos hemos dado cuenta de algo sumamente obvio. Precisamente por esto es muy necesario incorporar diversidad en los equipos que desarrollan la inteligencia artificial.
“Es muy necesario incorporar diversidad en los equipos que desarrollan la inteligencia artificial“
P. ¿Cuál es la solución?
R. La inteligencia artificial aprende de datos, son la materia prima, el nuevo oro. Cuantos más datos, más aprende la inteligencia artificial. Si esos datos están sesgados porque los recopiló de Internet e Internet está sesgada y más en el mundo occidental, pues tenemos sobre todo caras blancas, cierto tipo de opiniones y la inteligencia artificial va a aprender de esos datos ya de por sí sesgados por el ser humano. Porque nosotros estamos sesgados. ¿Qué hay que hacer para para que la inteligencia artificial no tenga sesgos? Idealmente, balancear esos datos y que sean representativos. Esto es muy difícil en práctica, pero es algo a lo que ya intentamos llegar.
En desarrolladores hay que incorporar diversidad a muchísimos niveles. Diversidad étnica. No es fácil, lo sé, pero hay que intentarlo: diversidad de género, de culturas... Hay que introducir perfiles que no solo sean técnicos: necesitamos abogados, expertos en ética, sociólogos, gente incluso de filología. Necesitamos filosofía, es muy importante también. Necesitamos realmente abordarlo desde un enfoque 360 y transdisciplinar. Es súper importante.
“Los filtros hacen que en redes transmitas una imagen de ti mismo, de ti misma, totalmente sesgada y que no es real“
P. ¿La gente corriente también tiene responsabilidad?
R. Tenemos, yo creo, una responsabilidad los seres humanos y a mí me gusta muchísimo transmitírsela, sobre todo a adolescentes, cuando cuando doy charlas. Los contenidos que colgamos en la red crean narrativas que se quedan aquí, de las que aprende la inteligencia artificial y que se perpetúan. Si introducimos sesgos, estamos haciendo un flaco favor a la sociedad. Yo haría una llamada a que nos hagamos responsables del entrenamiento de las inteligencias artificiales, de lo que subimos a redes.
Hay otra cosa que me preocupa bastante, que es algo tan inocente como los filtros de belleza. Yo tengo una sobrina de 17 años, Alicia, y está en Instagram. Me preocupa mucho que suba fotos. Ya no se plantea subir una foto sin pasarla por un filtro. Un llamado filtro de belleza. ¿Qué es la belleza? me pregunto yo. Hay estudios científicos que se están preocupando por este tema de los filtros de belleza, porque al final lo que están haciendo es que en redes transmitas una imagen de ti mismo, de ti misma, totalmente sesgada y que no es real. Y atrévete tú a salir a la calle. ¡Qué feo soy en la vida real y qué guapo en la vida digital!
“ Los algoritmos aprenden de datos de belleza que son extremadamente subjetivos y que para nada se corresponden con la realidad“
Esto es peligroso. Primero, porque esos filtros de belleza se entrenan con datos en los que hay una serie de imágenes y esas imágenes están anotadas en una escala de 1 a 5 en términos de belleza. Por ejemplo, David Beckham es 4,7 y a lo mejor una persona de raza negra, que para el estereotipo occidental no es bella, tiene un 1,7. Estos algoritmos se entrenan con estos datos anotados como si fuéramos productos de Amazon y aprenden de estos datos de belleza que son extremadamente subjetivos y que para nada se corresponden con la realidad.
Por ejemplo, cuando una persona de raza negra, de piel muy oscura, se pasa por un filtro de belleza, este filtro tiende a reducir el tamaño de la nariz y hacer el color de piel más claro. Si una persona asiática se pasa por un filtro de belleza desarrollado por occidentales, tiende a ponerle párpados y abrirle los ojos.
Hay que tener muchísimo cuidado por el uso de estos filtros de belleza por adolescentes que luego no se atreven a salir de casa y que tienen unos traumas psicológicos brutales porque su aspecto digital es totalmente diferente al real. Y también por todos los sesgos que tienen esos filtros de belleza.
