Entropia i intel·ligència artificial

En una xerrada sobre entropia als sistemes físics, el ponent, Javier García, acaba fent algunes referències dels usos de l'entropia i inclou la menció de la intel·ligència artificial. Com? Què hi té a veure l'entropia amb la IA?

Javier García comenta que "és un tema recent del qual encara no s'ha desenvolupat gaire i no sabem fins on pot arribar, però sembla prometedor." Vegem-ho.

A l'escola sempre s'ha explicat el concepte d'entropia com a grau de desordre d'un sistema. I que, segons la segona llei de la termodinàmica, el sistema evoluciona cap a un estat més desordenat, de màxima entropia.

Però hi ha altres maneres de definir l'entropia. Una és pel nombre de microestats d'un sistema. Els microestats són el nombre de diferents disposicions possibles de posició molecular i energia cinètica en un estat termodinàmic particular.

Es representa així: S = k lnW, on l'entropia, S, és la constant de Boltzman, k, pel logaritme neperià dels possibles microestats, W.

Una altra forma és l'aleatorietat d'un sistema, com més macroestats i microestats defineixen un sistema, més gran és l'entropia.

En informàtica, l'entropia és l'aleatorietat que es pot obtenir per a usos com ara la criptografia. I també es basa en els possibles microestats on pot estar un dispositiu, com una font d'àudio, o de vídeo que va registrant un sistema físic a mesura que augmenta la seva entropia física.

A més, hi ha algorismes basats en l'entropia que s'utilitzen per a compressió de dades. Com quantes preguntes de 'sí' o 'no' es necessiten per esbrinar un número de 1 a N. I la solució és que N és més gran o igual a l'entropia, basada en la probabilitat del nombre.

L'entropia és una mesura de qualsevol tipus d'incertesa que és present a les dades, i el guany d'informació indica quanta informació ens ofereix una característica particular o una variable particular sobre els resultats finals.

El guany d'informació és el logaritme neperià de la probabilitat que passi un estat, en realitat, la suma de les probabilitats de cada microestat, canviant el signe per no tenir informació negativa: I = -ln(p). L'entropia, doncs, és la mitjana del guany d'informació.

En un article tècnic d'A. D. Wissner-Gross, C. E. Freer, «Causal Entropic Forces» es detalla que, «avenços recents en camps que van des de la cosmologia fins a la informàtica han insinuat una possible connexió profunda entre la intel·ligència i la maximització de l'entropia, però encara no s'ha establert cap relació física formal entre elles.»

Fent servir el concepte d'entropia a futur i intentant maximitzar aquesta entropia per tenir zones amb el màxim nombre de possibles estats, es pot calcular teòricament la força que cal aplicar als graus de llibertat dels microestats del sistema per aconseguir-ho.

Un mòbil s'orientarà i avançarà en la direcció on s'ha calculat l'entropia màxima, la posició més estable, i repetirà el procés a cada moviment.

Sergio Hernández Cerezo, matemàtic per la Universitat de València, ha aplicat la idea a cotxes simulats en un circuit corb amb obstacles. El cotxe pren dues decisions, girar el volant 5 graus a dreta o esquerra. Es recompten les possibles posicions futures a dreta i esquerra, a les quals s'hi pot arribar, per determinar cap a on girarà.

Si es compten n futurs possibles a l'esquerra i m futurs possibles a la dreta, aleshores es gira el volant (+5) n/(n+m) + (-5) m/(n+m) graus, és a dir, la probabilitat de cada zona. Amb aquest algorisme el cotxe es mou seguint el circuit, sense xocar. El cotxe es mou cap a on té més opcions de futur estable; si en certa direcció només pot passar per un lloc, prefereix canviar de direcció cap a on tingui moltes opcions. La qual cosa sembla intel·ligent.

A partir d'aquí, Sergio ho va calibrar per puntuar més certes opcions d'elecció de manera que una posició futura més allunyada sigui més valorada que una de propera, amb poc recorregut.