Pese a sus avances y perfeccionamiento, los grandes modelos lingüísticos aún siguen mostrando prejuicios o estereotipos contra determinados hablantes, especialmente los de inglés afroamericano. Todo ello pese a las barreras de seguridad implementadas por empresas de tecnologías como OpenAI. De este modo, de consolidarse dichos sesgos, la IA podría tomar decisiones equivocadas sobre el grado de empleabilidad y de criminalidad de una persona concreta.

En las últimas horas, Google se ha visto obligado a corregir en exceso el racismo de Gemini AI, pues presentaba imágenes y reinterpretaciones ‘woke’ de la historia. Sin ir más lejos, se mostraban a hombres afroamericanos convertidos en soldados nazis de la Segunda Guerra Mundial. El CEO, Sundar Pichai, calificó estas imágenes como «totalmente inaceptables». De ahí la importancia de fijar un equilibrio en cuestión de raza en todos los modelos de LLM.

Los investigadores de New Scientist han detectado docenas de modelos LLM diferentes que han seguido un sesgo racial cuando se les presentaba un texto con dialectos afroamericanos. Llama la atención este hecho, ya que han sido entrenados específicamente para evitar este tipo de respuestas. Así pues, ni ChatGPT-4 ni ChatGPT-3.5 se libran de esta situación.

Las prácticas racistas en los grandes modelos lingüísticos se aplican exclusivamente a características dialectales concretas, con daños masivos para los grupos afectados. Así pues, se concluye que es más probable que GPT-4 sugiera que los acusados sean condenados a muerte si hablan inglés afroamericano. De hecho, GPT-4 calificó determinados dialectos como: sospechosos, agresivos, ruidosos, groseros e ignorantes.

No obstante, cuando se le pide a GPT-4 que hable sobre los afroamericanos en general, los modelos de lenguaje suelen emplear términos positivos como: apasionado, inteligente, ambicioso, artístico o brillante, entre otros. Así pues, los sesgos raciales en la IA se esconden tras una muestra superficial de sentimiento positivo.

Estereotipos racistas en los departamentos de RRHH

El ‘racismo encubierto’ sigue siendo una tónica habitual en los modelos de IA a la hora de establecer recomendaciones laborales. Y es que tienden a emparejar a los afroamericanos con carreras con menos probabilidades de requerir un título o asociando a personas de ascendencia afroamericana sin un trabajo. Y cuando les recomiendan un trabajo, son todos relacionados con las parcelas de la música y el entretenimiento.

Gracias a la IA, los departamentos de RRHH pueden optimizar el trabajo de reclutamiento, evaluando de forma más justa a los candidatos. GPT únicamente comprueba qué candidato tiene mejor experiencia, más formación o mejores aptitudes en línea con la estrategia empresarial. No obstante, si hay dos candidatos con la misma experiencia, la IA de OpenAI suele clasificar como menos aptas a personas con nombres demográficamente distintos a los estadounidenses.

Se trata de un problema serio y que precisa de una solución urgente. Y es que el hecho de aplicar la IA de OpenAI a los procesos de selección de personal podría afectar a las contrataciones futuras, generándose un importante riesgo de discriminación automatizada a gran escala.

Si bien es cierto, muchas empresas que emplean la IA toman medidas para mitigar estereotipos o el sesgo racial, pero aún se sigue viendo como los ajustes de software no son suficientes y los mensajes del sistema siguen presentando fallos importantes.

La seguridad en el punto de mira

Se da una paradoja, y es que a mayor nivel de modelo lingüístico, mayores son los riesgos de sesgos subyacentes. De ahí que se planteen serias dudas sobre el poder de eficacia de la IA para velar por la seguridad, ya que tiene capacidad para eliminar el racismo y los prejuicios a niveles elevados, pero no en los modelos actuales a una escala inferior.

Establecer una formación adecuada de los chatbots ayudará a reducir los signos evidentes de prejuicio racial, aunque no se eliminarán los prejuicios encubiertos cuando no se mencionasen términos de identidad. Pese a todo, merece la pena destacar las limitaciones de evaluación de seguridad actual de los LLM antes de su publicación pública por parte de las empresas.

Antecedentes en la IA de estereotipos

En 2016, un estudio de ProPublica concluyó que los detenidos de raza negra tenían el doble de probabilidades que los de raza blanca de ser clasificados erróneamente por la IA. De hecho, los algoritmos empleados en un hospital recomendaban a los pacientes de raza negra recibir menos atención médica, tomando como referencia una investigación de Science en 2019.

De igual modo, Galactica fue cerrado por Meta, solo tres días después, por emitir información falsa y racista con plena normalidad, lo cual generó el caos y la indignación entre millones de usuarios.

Pese a que parezca una tecnología 100% eficiente y perfecta, ninguna IA está configurada para no cometer ningún tipo de error, especialmente en la etapa de desarrollo de la industria. De ahí que sea necesario que las empresas destinen sus esfuerzos económicos y humanos a seguir trabajando por fomentar la igualdad y el equilibrio laboral, suprimiendo cualquier clase de sesgo racial.

Deja un comentario

Por favor, introduce tu comentario
Por favor, introduce tu nombre