Sesgo en la IA
El sesgo en la IA es un error sistemático de un sistema de inteligencia artificial que favorece o perjudica injustamente a ciertas personas o grupos, a menudo por los datos con los que aprendió o por su diseño.
Definición
El sesgo en la IA aparece cuando un sistema da de forma constante resultados distintos a personas de grupos diferentes por razones ajenas a la tarea. Puede proceder de datos de entrenamiento que reflejan desigualdades pasadas, de datos que infrarrepresentan a algunos grupos, de cómo se define el problema o de los criterios elegidos para medir el éxito. Un sistema entrenado con decisiones de contratación pasadas puede aprender a repetir preferencias pasadas.
El sesgo se busca mediante pruebas: comparar resultados entre grupos, revisar qué criterios pesan más, comprobar cómo funciona la herramienta con distintos acentos, edades, géneros y trayectorias, y vigilar tras el lanzamiento. Para reducirlo, se pueden usar criterios claros y relacionados con el puesto, eliminar información irrelevante para la tarea, mejorar los datos y hacer que personas revisen los resultados. Ninguna prueba demuestra que el sesgo esté completamente ausente.
Importa porque la IA puede aplicar el mismo patrón injusto a gran escala y parecer objetiva mientras lo hace. En selección, educación o atención al cliente, puede excluir a personas sin que nadie lo note. Un uso responsable implica preguntar a los proveedores cómo prueban los sesgos, usar criterios estructurados y mantener la revisión humana de las decisiones que afectan a personas.
Puntos clave
- Es una injusticia sistemática en los resultados de un sistema de IA.
- Sus fuentes incluyen los datos de entrenamiento, el diseño del sistema y cómo se define el éxito.
- Se detecta probando los resultados entre grupos y vigilando a lo largo del tiempo.
- Los criterios estructurados relacionados con el puesto y la revisión humana reducen el riesgo.
- La IA puede parecer objetiva y repetir patrones injustos: pregunta a los proveedores cómo lo prueban.
Ejemplo
Una empresa revisa una herramienta de transcripción de voz usada en entrevistas y descubre que comete más errores con acentos regionales marcados. Añade una comprobación del audio original para cualquier respuesta marcada como poco clara y pide al proveedor sus resultados de evaluación con distintos acentos.
Preguntas frecuentes
¿Puede una IA estar completamente libre de sesgo?
Ningún sistema puede garantizar la ausencia de sesgo. El objetivo es probar, reducir y vigilar el sesgo, y permitir que las personas puedan cuestionar los resultados.
¿El sesgo humano es mejor o peor que el de la IA?
Ambos existen. La IA puede aplicar un patrón de forma constante y a gran escala, lo que es un riesgo, pero un sistema constante también puede probarse y corregirse con más facilidad que muchos juicios individuales.
¿Qué debo preguntar a un proveedor de IA sobre sesgos?
Pregunta cómo evalúa los resultados entre distintos grupos e idiomas, qué datos usa, cómo vigila tras el lanzamiento y cómo puede una persona revisar y modificar los resultados.
Términos relacionados
Conversaciones con IA, decisiones humanas
Passisto mantiene conversaciones de voz estructuradas con candidatos, empleados, clientes y estudiantes, y las convierte en informes accionables.