“La discriminación de la mujer es probablemente la discriminación más transversal en el mundo tecnológico”

Al entrenarse con datos del pasado, en muchos casos reproducen sesgos y discriminaciones de la sociedad actual. Poner de manifiesto estos sesgos y sobre todo lograr que la tecnología se diseñe desde el principio sin ellos, es algo para lo que Gemma Galdón, fundadora de Éticas Consulting, lucha cada día.

Apasionada y convencida de la necesidad y del impacto de su trabajo; metódica y con una clara visión de los problemas de discriminación del mundo en que vivimos que perpetúa la tecnología, Galdón ha conseguido implicar a empresas y gobiernos en corregirlos para lograr una sociedad más justa y una tecnología más humana.

¿Qué es Éticas Consulting?

Una fundación y consultora que se dedica a ver cómo incorporar la responsabilidad y proteger a las personas en procesos tecnológicos.

Estamos desarrollando mucha tecnología a una velocidad muy rápida y muchas veces sin tener en cuenta sus consecuencias, sus impactos sociales o cómo funcionan esas tecnologías.

Lo que queremos es reincorporar ese principio de responsabilidad y de transparencia en las tecnologías que se desarrollan.

Nuestro servicio estrella es la auditoría algorítmica, pero hacemos muchas otras cosas siempre orientadas a generar un mayor conocimiento de cómo funciona la tecnología y crear mejores procesos tecnológicos.

¿Qué quieres cambiar con tu fundación?

La forma de cómo hacemos tecnología para que incorpore un mayor conocimiento de su impacto.

Vi que había muchas disfunciones y que estábamos haciendo tecnología de forma muy irresponsable; había mucho humo en esta industria. Además, aquellos que estaban comprando tecnología muchas veces lo hacían sin tener información clave para tomar buenas decisiones. También hay muy malos encajes de la tecnología dentro de entornos organizativos, laborales, de procesos o escolares, entre otros ámbitos.

A mí me gusta ayudar a solucionar problemas y creo que esa experiencia de más de diez años en temas de Tecnología y Ciencias Sociales me da una perspectiva muy única. A los ingenieros les pedimos que codifiquen un mundo que no comprenden porque nunca les han formado para ser sociólogos. Es importante que ese conocimiento venga de otros y Éticas es un espacio multidisciplinar que se puede sumar a cualquier otro agente para aportarle esa esa visión transversal de responsabilidad y de protección de personas.

¿Cuál es el mayor problema de cómo hacemos tecnología?

No sé si hay uno que sea el peor; creo que estamos en una suma diabólica de procesos muy defectuosos.

Se habla mucho de los sesgos en la inteligencia artificial, pero ojalá el único problema que tuviéramos fuera ese. Es quizá el más visible. Saber que los algoritmos están decidiendo quién es atendido antes en urgencias, si consigues un trabajo o si te dan una hipoteca; saber que esos algoritmos discriminan a mujeres, a gente mayor, o que los algoritmos de reconocimiento facial discriminan a las personas que no tienen la tez clara llama mucho la atención.

Pero cuando trabajas en temas de inteligencia artificial te encuentras con muchas otras disfunciones. Por ejemplo, quienes crean inteligencia artificial o algoritmos casi siempre son equipos de hombres; solo ingenieros sin ningún tipo de conocimiento de otras disciplinas.

O vemos que se compra tecnología pensando que es la solución para todo y a veces los problemas tienen soluciones no tecnológicas.

Muchas veces empezamos a pensar los problemas en base a la tecnología y no en base a un buen diagnóstico. Comenzamos pensando qué puedo hacer con la inteligencia artificial que ya tengo, en lugar de buscar soluciones para el problema de inclusión de menores migrantes o de distribución de recursos que afrontamos. Empezamos la conversación al revés.

Por último, hay un mercado con muy pocos incentivos para innovar de forma responsable.

Para mí estas son las cinco grandes disfunciones que vemos en nuestro trabajo. El objetivo es abordarlas todas. La auditoría algorítmica nos permite hacer un enfoque muy holístico. En el algoritmo se ven reflejadas todas esas disfunciones: desde la discriminación hasta esos incentivos del mercado que llevan muchas veces a ignorar procesos clave.

Hablando de discriminación y en referencia al Día Internacional de la Mujer, ¿qué oculta la tecnología frente a la discriminación de sexo? ¿Cuáles son los principales sesgos y qué se puede hacer para corregir esta desviación?

Uno de los temas más evidentes es que lo que hace la tecnología es replicar lo que ocurre en el mundo real porque los datos de los cuales se nutre vienen de ahí.

Si el mundo real es machista la tecnología también lo es. Pero no solo es un tema de imitación, también de amplificación: si los hombres tienen trabajos mejor pagados que las mujeres y el robot de búsqueda de empleo aprende eso, lo que hace es perpetuar el sesgo.

Pero, además, vemos cómo todos los asistentes personales virtuales utilizan voces de mujer, continuando con esa idea de la mujer servicial, que no se queja, que siempre está a disposición, y que cuando la dices “Alexa” se despierta.

Esa dinámica la estamos viendo también en la creación de muñecos robóticos para temas sexuales, que también reproducen un estereotipo de las mujeres muy, muy dañino, por no mencionar la falta de diversidad de género en los equipos de ingenieros.

La discriminación de las mujeres es probablemente la discriminación más transversal en el mundo tecnológico. Encontramos otros muchos tipos: por temas socioeconómicos, edad, etnia, pero yo diría que la más transversal, por desgracia, es la discriminación a la mujer.

¿A quién hay que involucrar para empezar a solucionarlo?

Tenemos que involucrar a un montón de actores. Necesitamos regulación; necesitamos que no sea posible generar tecnología que amplifique discriminaciones; necesitamos que la industria se ponga las pilas y entienda que el mundo virtual no es no es el lejano oeste, que hay normas y leyes y hay que cumplirlas.

Tenemos un marco legal bastante bueno, sobre todo en Europa, pero no se cumple. Muchas de las cosas que ocurren en Internet no son legales, pero ahora mismo estamos en un momento de vacío en el cual la capacidad sancionadora de los órganos regulatorios aún no ha conseguido que cambien las dinámicas de muchas de esas empresas. Creo que el sector privado, el que desarrolla esas tecnologías, es el que anda más rezagado en empezar a abordar estos problemas.

Por último, los ciudadanos tendríamos que armarnos con más conocimiento y más herramientas para denunciar estas dinámicas.

El otro día salía la noticia del despido del director de Ética de Google. ¿Se están tomando en serio este tema?

El reto está en dejar de hablar y empezar a hacer. Que no sea un tema de responsabilidad social corporativa, de sacar un manifiesto a favor de la ética en la tecnología, sino que realmente se aplique en la práctica y que los productos tecnológicos sean éticos, no solo en las palabras del CEO cuando sale a dar un discurso.

Google, precisamente, ha echado a un montón de personas que tenían buena reputación en este espacio. Me temo que en muchas grandes empresas sigue siendo un tema más de comunicación que de producto y hasta que la ética no se convierta en algo que está dentro del propio producto, no daremos pasos de verdad en esa responsabilidad tecnológica. La responsabilidad no es un sello que pones después; si lo has desarrollado sin responsabilidad no hay nada que puedas hacer después para que algo sea ético.

La buena noticia es que están intentando hacer ver que hacen algo, con lo cual perciben que hay una demanda y una necesidad de hacerlo. La mala noticia es que lo que están haciendo de momento es mucho más cosmético que sustantivo, pero que sientan que tienen que hacer algo ya es un paso adelante.

Creo que estamos en un proceso que tardará unos años más, pero no tengo dudas de que un día, y no será muy tarde, miraremos para atrás y no entenderemos cómo fuimos tan irresponsables a principios de siglo. Pero creo que aún falta un poquito.

¿Cuál son los mayores retos a los que te has enfrentado?

Emprender, salir de la universidad y ‘domesticar’ un espacio de investigación privado con vocación de ser útil. Navegar ese espacio, además como mujer, creo que ha sido un reto brutal.

La soledad ha sido muchas veces terrible. Ahora me siento mejor acompañada, pero me ha costado mucho en este mundo de emprendeduría.

También ser jefa, odio ser jefa, pero es lo que tengo que ser para hacer que las cosas salgan.

De lo que estoy más orgullosa, es de no haber tirado la toalla, sobrevivir al proceso y haber mantenido las ganas de seguir haciendo cosas que cambien el mundo.

¿Cuál es tu sueño? ¿Qué quieres dejar en este mundo?

No me obsesiona mucho el tema del legado, me importa más lo que haga mientras esté aquí. Me gustaría seguir siendo útil y dejar un servicio como la autoría algorítmica convertido en algo esencial para acompañar el desarrollo tecnológico. Y no porque salga mi nombre, sino porque creo que en Éticas lo estamos haciendo con una voluntad real de que la auditoría no sea un ejercicio de compliance para poner la crucecita, sino que realmente, a través de auditoría algorítmica, cambiemos la forma de cómo hacemos tecnología.

Me gustaría que dentro de diez años miremos para atrás y nadie se crea que hayamos podido utilizar algoritmos no auditados en el pasado. Igual que ahora nadie llevaría un coche sin cinturón de seguridad, ni lo compraría, ni lo vendería; que tengamos esa misma sensación de ‘¿cómo es posible? ¿Cómo pudimos ir con tanta temeridad con algo tan sensible?’.

Me gustaría acelerar ese proceso y asegurarme que las herramientas de auditoría algorítmica que acaben imponiéndose sean herramientas que realmente contribuyan a generar mejor tecnología.

Si solo nos fijamos en datos pasados para entrenar los algoritmos, ¿cómo vamos a evolucionar?

Esa es una de las características de la inteligencia artificial. Lo que hace es recoger datos del pasado, analizarlos y buscar patrones, con lo que tiene una limitación enorme. Hablamos de la capacidad predictiva de la tecnología, pero la predicción no existe. Lo que se hace es estudiar los patrones del pasado y esperar que se reproduzcan en el futuro. Es lo que nos ha pasado con la covid-19; con un fenómeno nuevo no hay inteligencia artificial que valga. Sin datos del pasado no puede funcionar.

Las personas sí somos capaces de procesar los datos del pasado de una manera creativa y esa creatividad es la que nos permite dar forma al futuro.

La inteligencia artificial no tiene nada que ver con la inteligencia. Es otra cosa. Le faltan muchos de los atributos de la forma en que funciona el cerebro humano, con lo cual tiene una limitación clarísima. La inteligencia artificial nos permite procesar grandes volúmenes de datos del pasado y buscar patrones en esos esos datos, eso es muy útil, pero no imita a los humanos.

¿Qué es para ti un emprendedor social?

No lo sé, nunca me consideré emprendedora social. Con el proceso de Ashoka (fue nominada emprendedora social de Ashoka 2020) me lo voy creyendo.

El emprendedor social entiendo que es alguien que tiene un proyecto cuyo objetivo va más allá de uno mismo. La voluntad no es hacerte rico, ni llegar a una posición, sino dejar algo que va más allá de ti con la voluntad de retorno a la sociedad y de impacto en un sentido positivo e inclusivo.

Éticas podría ser una empresa privada, pero somos fundación y consultora sin ánimo de lucro ambas. Todo lo que ganamos, lo reinvertimos en mejorar.

La auditoría algorítmica la hemos desarrollado con fondos propios porque nos parecía que era una forma de impactar de forma positiva en el mundo, con la voluntad de crear algo que vaya más allá de uno mismo y acabe cambiando procesos que uno percibe como injustos o dañinos para ciertos colectivos.

¿Se hace o se nace emprendedor social?

Se hace y yo soy el mejor ejemplo. A mis 44 años, me imaginaba en un departamento universitario estudiando mis temas, pero de repente te surge un reto así y tienes la responsabilidad de seguir con él. Te sale de dentro y lo sacas adelante.

Te hacen las circunstancias. Uno en la vida llama a muchas puertas, algunas se abren y otras no, y a veces tienes la energía y la valentía de seguir esas que se abren. Con Éticas se me abrió esta puerta, creí que sería un camino duro, pero que valía la pena.

Al final es un cúmulo de circunstancias, suerte, recursos, amigos… que es bastante difícil de predecir.

¿Percibes que has tenido trabas a nivel profesional por ser mujer?

Un montón y en muchas formas. Y aún las tengo y seguiré teniendo. Me criaron para sentirme igual, para sentirme persona, pero cuando fui creciendo la vida me enseñó que los demás no me percibían así y eso lo sigo sintiendo. En el ámbito personal, pero también laboral. Tú te sientes profesional y la otra persona ve a una mujer.

Creo que hay un grado más de conflicto en todos los temas si estamos nosotras. Todo sube un tono y a veces es muy desagradable.

A mí ya no me gusta pelearme y prefiero la tranquilidad. Hay conversaciones que delego en mi pareja porque sé que con un hombre la otra parte se anima menos a generar conflicto.

En el trabajo pasa también. Soy muy consciente de que a veces he mandado a hombres de mi equipo sabiendo que sería más fácil que gestionaran espacios muy cargados de machismo para evitarme el mal trago de tener que lidiar los temas profesionales con todo ese bagaje.

Es un tema que está presente constantemente. Yo creo que cada día hay algún momento en el que el mundo me recuerda que soy mujer y que eso quiere decir que no siempre soy igual a los ojos de los demás. Me parece un tema pendiente superimportante.

¿Qué consejo le darías a las emprendedoras que vienen?

No me atrevería a darles ningún consejo, porque tampoco sé qué consejos me daría a mí misma.

Yo nunca planifiqué esto; me salió la ‘responsabilidad’ cuando se abrió la puerta, pero tampoco me atrevería a decirle a nadie “hazte emprendedora” porque creo que es un camino durísimo. Dar consejos sin saber qué tiene delante creo que es complicado y puede ser hasta peligroso.

Tampoco le diría “no lo hagas”, porque reconozco que soy una privilegiada en mi trabajo, pero ese privilegio me ha exigido una fuerza interna, tiempo y dedicación brutal que creo que no tiene que ser exigible a todo el mundo.

Le diría a cada uno que haga lo que quiera. Quien quiera ser emprendedora, adelante, que busque amigas, mentoras, gente a su alrededor… que intente no estar sola; ese sería el mejor consejo.

Pero si alguien prefiere ser funcionaria o dependienta o médica, adelante. Yo creo que todos tenemos que encontrar nuestro camino y no está en nuestra mano saber qué puertas se abren. Pero, en cualquier caso, las mujeres necesitamos buenos entornos laborales porque hagamos lo que hagamos no va a ser fácil.

 ¿Qué mensaje les darías a las niñas y jóvenes de nuestro país?

Que ojalá vivan en un mundo donde nadie les recuerde que no son más que personitas humanas y que espero que su género les deje fluir en quiénes quieran ser. Espero que las cosas para ellas sean un poco mejores de lo que han sido para nosotras, igual que para nosotras son un poco mejor de lo fueron para nuestras madres y abuelas.