Detectors d'IA

Un d'aquests usos es dóna a les proves que han de superar els estudiants a les escoles. Es pot passar l'enunciat per una IA per obtenir la resposta correcta o la redacció adequada. Amb l'extensió de text que vulguem i amb una gran congruència i homogeneïtat a la redacció. A més, li podem demanar que ho faci amb un estil específic, per a llecs en la matèria o per a experts.

Molts professors sospiten que els alumnes utilitzen la IA per fer els seus treballs o avaluacions. El problema és que no es pot detectar amb certesa si s'ha utilitzat, o bé, és que l'alumne realment domina el tema.

Una de les maneres de saber si un text ha estat creat per una IA és utilitzant una IA. Ja tenim IAs, com GPTZero, que poden analitzar un text i determinar si ha estat generat per una IA. No és una tasca fàcil, però sembla que pot funcionar. De fet, els textos generats pels generadors GPT són molt difícils de detectar per als humans, ja que aquests textos són congruents i ben formats.

Ja s'han donat casos en què els professors castiguen els alumnes quan sospiten que les respostes provenen d'una IA i, paral·lelament, programes com GPTZero ho confirmen.

Com sempre passa, estem a les albors de la tecnologia, i aquestes IAs generalistes s'han de supervisar. En canvi, les fem servir com si fossin fiables al cent per cent. Resulta que textos antics com la Constitució dels Estats Units o la Bíblia donen positiu als detectors. Aleshores, què?

Però, com deia, és molt difícil saber si un text és creat per un humà o no. Un dels casos va aparèixer a USAToday perquè va ser un fals positiu i l'alumne era innocent de l'acusació d'haver fet l'avaluació usant una IA. I no és l?únic.

.Els diferents detectors d'escriptura d'IA usen mètodes de detecció lleugerament diferents però amb la mateixa idea, un model d'IA que s'ha entrenat en una gran quantitat de text i un conjunt de regles conjecturades per determinar si l'escriptura és més de l'estil humà o de l'estil IA.

Destaquen dues propietats, que són quant es desvia un text del que ha après una IA al seu entrenament. És a dir, com s'assembla a la font de què ha après. per altra banda, els fums som més caòtics a l'escriptura, encara que intentem imitar un estil que haguem llegit i après amb el temps.

Aquesta característica l'anomenen perplexitat (perplexity, en anglès).

Quan escrivim un text solem fer servir frases molt habituals o una sèrie d'adjectius molt habituals, que solen anar seguits. O algunes frases fetes que surten espontàniament, o fem servir frases curtes i frases molt llargues en successió. En canvi, les IA solen ser més uniformes en l'ús de les paraules o la longitud de les frases, de moment.

D'això se'n diu explosivitat (burstiness, en anglès)

Avui dia no hi ha una fórmula que ens pugui confirmar si un text ha estat escrit per un humà o compost per una IA, aquesta és la realitat. El marge derror és molt alt per confiar en aquestes IAs i menys per sentenciar que un text no és original dun humà.

Estudis recents demostren que els biaixos en aquestes IAs no permeten tenir certesa en qui ha creat un text, si fumem o IAs. A més a més, les dificultats augmenten si el text no és en anglès. Adjunto un enllaç a Arxiv.

Són els humans que escriuen com les IA, o són les IA les que escriuen com els humans? És clar que són les màquines les que aprenen dels textos que han escrit els humans des de sempre. Però si utilitzem les IAs per ajudar-nos en la redacció de text, no ho hauríem de deixar tot a les mans. Els humans hem de repassar la feina i donar el nostre toc personal als escrits, al meu entendre, per més que el text generat sigui acceptable.

Pensem si un text generat per IA realment reflecteix les intencions i el coneixement que vull expressar? Si les IAs no són conscients del que fan, aleshores hauria de ser més fàcil diferenciar la nostra escriptura quan ens expressem en text. És possible que les IAs sempre aprenguin dels nostres textos, però no saben com adequar-los a cada situació.