Model o1 d'OpenAI

En un post de X, Noam Brown comenta:

Actualment, per als models de llenguatge basats en GPT el més important és sempre respondre les preguntes com més aviat millor ja que el procés és costós. Però en el cas d'aquest model, la prioritat és buscar la millor resposta, cosa que equival a comprovar les respostes i pensar què es respon. Però no només la resposta final, sinó el procés de generació de la resposta.

Als models generals que estem utilitzant, es produeixen situacions d'al·lucinacions, que són respostes que no tenen res a veure amb la pregunta o que no són pas correctes o lògiques. Això és perquè el model està creant una resposta en base a les dades de què disposa, sense avaluar la semàntica ni la lògica del contingut. A més, tenim els continguts perillosos que poden generar.

Quan fas una pregunta a ChatGPT, sobretot amb temes com programació o matemàtiques, és possible que digui alguna cosa que no és veritat, encara que ho raoni de manera que sembli que ho és. En temes generals pot ser més difícil adonar-se que no està dient una cosa veritable.

La cadena de pensament (Chain of Thought, CoT) a IA es refereix a dividir problemes complexos en passos més petits i manejables. Aquest enfocament estructurat permet als models d'IA abordar i resoldre desafiaments que anteriorment eren massa intricats. La CoT pot ser lineal, on els pensaments es connecten un darrere l'altre, o ramificada, on els raonaments es divideixen en diferents direccions.

La cadena de pensament, per als models actuals, s'introdueix als inputs de l'usuari per donar a la IA un model de resposta raonada, per exemple:

Al model o1, es pretén que el mateix model s'apliqui la cadena de raonament a mesura que va generant les respostes. De l'arbre de possibles respostes, es van analitzant per descartar les que no es poden validar i donar per bones, així s'arriba a una resposta més encertada i fiable.

De manera similar a com un ésser humà pot pensar durant molt de temps abans de respondre una pregunta difícil, el model o1 utilitza una cadena de pensament quan intenta resoldre un problema. A través de l'aprenentatge per reforç, el model o1 aprèn a perfeccionar la cadena de pensament per a refinar les estratègies que utilitza. Aprèn a reconèixer i corregir els errors. Aprèn a descompondre els passos difícils a passos més simples. Aprèn a provar un enfocament diferent quan l'actual no funciona. Aquest procés millora dràsticament la capacitat del model per raonar.

La generació del procés CoT complet dóna com a resultat seqüències de sortida significativament més llargues, la qual cosa genera més costos computacionals i latència durant la inferència. El procés de "pensament", com s'ha esmentat, no és només lineal. Normalment es compon d'arbres amb diferents decisions a prendre. Aquest desenvolupament permet veure com pensa el model.

Des d'OpenAI es diu:

«creiem que una cadena de pensament oculta presenta una oportunitat única per monitoritzar models. Suposant que sigui fidel i llegible, la cadena de pensament oculta ens permet “llegir la ment” del model i comprendre el seu procés de pensament. Per exemple, en el futur podríem desitjar monitoritzar la cadena de pensament per buscar signes de manipulació de l'usuari. Tot i això, perquè això funcioni, el model ha de tenir la llibertat d'expressar els seus pensaments de manera inalterada, per la qual cosa no podem entrenar el compliment de cap política o les preferències de l'usuari a la cadena de pensament. Tampoc no volem que una cadena de pensament no alineada sigui directament visible per als usuaris.

Per tant, després de sospesar múltiples factors, inclosa l'experiència de l'usuari, l'avantatge competitiu i l'opció de continuar amb la monitorització de la cadena de pensament, hem decidit no mostrar les cadenes de pensament sense processar als usuaris.»

Els avantatges d'aquesta tècnica són que generar millors resultats fan més útil el model en camps com la investigació científica o el desenvolupament de programari, en poder generar millor codi de programació i operacions matemàtiques.

D'altra banda, aquest tipus de “pensament” hauria de fer que el model pugui generar idees creatives perquè descartaria opcions que no tinguin sentit, ajudar en la creació de continguts amb textos menys estandarditzats i suport a escriptors.

En canvi, als punts on cal disposar d'una informació verídica i fiable, com els xatbots d'assistents per a empreses de serveis, els temps d'espera als xats poden fer que els usuaris renunciïn a continuar una conversa que no és fluida.