IA explicable

La IA explicable, a veces abreviada XAI, busca que un resultado de IA sea comprensible. En un modelo sencillo, como una tabla de puntuación, la explicación es la propia tabla. En modelos complejos, como las redes neuronales, se emplean técnicas adicionales que muestran qué datos pesaron más en un resultado, o el sistema se diseña para dar sus razones junto con la respuesta.

Una buena explicación se juzga según quién la lee: debe ser comprensible para la persona que tiene que actuar, fiel a cómo se produjo realmente el resultado y lo bastante concreta para poder comprobarse. En selección o evaluación, puede consistir en mostrar qué respuestas y qué criterios llevaron a una puntuación, con el fragmento de la conversación como respaldo, para que quien revisa pueda estar de acuerdo o no.

Sin explicaciones, la gente confía ciegamente en la IA o la rechaza sin más. Las explicaciones apoyan la supervisión humana, ayudan a detectar sesgos y permiten responder a candidatos o empleados que preguntan cómo se llegó a una decisión. Un error común es una explicación verosímil escrita a posteriori que no refleja cómo funcionó realmente el sistema: pregunta a los proveedores cómo se generan sus explicaciones.