Inteligencia Artificial eXplicable

La mayoría de los sistemas de IA son modelos de caja negra, que son sistemas que se ven solo en términos de sus entradas y salidas. Los científicos no intentan descifrar la "caja negra" o los procesos opacos que lleva a cabo el sistema, siempre que reciban los resultados que buscan.

Estos tipos de sistemas de IA tienen problemas porque los datos con los que se entrenan a menudo están inherentemente sesgados, imitando los sesgos raciales y de género que existen dentro de nuestra sociedad. Esto produce resultados que no son imparciales o que pueden llegar ser falsos, sin que lleguemos a darnos cuenta de ello. Este es un problema grave

La IA explicable es uno de los requisitos clave para implementar la IA responsable, una metodología para la implementación a gran escala de métodos de IA en organizaciones reales con imparcialidad.

Que una IA sea explicable significa que se comprende cómo y por qué el algoritmo toma las decisiones o realiza las predicciones y que se tiene la capacidad de justificar los resultados que produce.

Roman V. Yampolskiy, un profesor de Informática de la University of Louisville escribe en su paper:

“Además, si nos acostumbramos a aceptar las respuestas de una IA sin una explicación, tratándolo esencialmente como un sistema oráculo, no podríamos saber si nos proporciona respuestas incorrectas o manipuladoras”.

La IA explicable es uno de los requisitos clave para implementar la IA responsable, una metodología para la implementación a gran escala de métodos de IA en organizaciones reales con imparcialidad, pero si necesitamos modelos más complejos y potentes, más tendemos al formato de caja negra.

Los algoritmos que toman decisiones usan cada vez modelos más complejos. Sin embargo, en Europa un usuario, según la ley, puede exigir la explicación de una decisión que le afecte tomada por un algoritmo.

La Unión Europea regula el desarrollo de la IA para que los usuarios tengan garantizados sus derechos y no sean influidos o engañados por las respuestas de los sistemas inteligentes. Se contemplan en los siguientes objetivos:

• Garantizar que los sistemas de IA introducidos en el mercado de la Unión y utilizados sean seguros y respeten la legislación vigente sobre los derechos fundamentales y los valores de la Unión;
• Garantizar la seguridad jurídica para facilitar la inversión y la innovación en IA;
• Mejorar la gobernanza y la aplicación efectiva de la legislación existente sobre derechos fundamentales y requisitos de seguridad aplicables a los sistemas de IA;
• Facilitar el desarrollo de un mercado único para aplicaciones de IA lícitas, seguras y fiables y evitar la fragmentación del mercado.

Esto implica que necesitamos crear modelos interpretables que nos muestren el porqué de sus decisiones

Existen dos tipos de explicaciones: las globales y las locales.

Por una parte las explicaciones globales sirven para describir el comportamiento del algoritmo en general.

Por otro lado las explicaciones locales se usan para explicar el comportamiento del algoritmo para casos más concretos y personalizados.

Primero por normativa, como se ha mencionado en la legislación europea. Segundo, para identificar el sesgo y conseguir que las IAs generalicen. Finalmente, los ingenieros necesitan depurar los modelos y para ello lo mejor es entenderlos.

El planteamiento de los ingenieros no es intentar entender cómo funciona un algoritmo complejo, sino que sea el propio algoritmo quien pueda explicar su funcionamiento. Este punto puede ser complicado ya que la explicación puede que no sea entendida por los humanos, por mucho que se esfuercen.

Por lo tanto, hemos de aprender el funcionamiento interno de los algoritmos a través de las explicaciones de cómo han llegado a las conclusiones de cada respuesta. De esta manera podremos empezar a intuir el funcionamiento de las IAs y, por ende, saber si nos engañan o no.