Detectores de IA

Uno de estos usos se da en las pruebas que tienen que superar los estudiantes en las escuelas. Se puede pasar el enunciado por una IA para obtener la respuesta correcta o la redacción adecuada. Con la extensión de texto que queramos y con una gran congruencia y homogeneidad en la redacción. Además, podemos pedirle que lo haga con un estilo específico, para legos en la materia o para expertos.

Muchos profesores sospechan que los alumnos utilizan la IA para hacer sus trabajos o evaluaciones. El problema es que no se puede detectar a ciencia cierta si se ha utilizado, o bien, es que el alumno realmente domina el tema.

Una de las formas de saber si un texto ha sido creado por una IA es utilizando una IA. Ya tenemos IAs, como GPTZero, que pueden analizar un texto y determinar si ha sido generado por una IA. No es una tarea fácil, pero parece que puede funcionar. De hecho, los textos generados por los generadores GPT son muy difíciles de detectar para los humanos ya que estos textos son congruentes y bien formados.

Ya se han dado casos en los que los profesores castigan a los alumnos cuando sospechan que sus respuestas provienen de una IA y, paralelamente, programas como GPTZero lo confirman.

Como siempre pasa, estamos en los albores de la tecnología, y estas IAs generalistas se deben supervisar. En cambio, las utilizamos como si fueran fiables al cien por cien. Resulta que textos antiguos como la Constitución de Estados Unidos o la Biblia dan positivo en los detectores. Entonces, ¿qué?

Pero, como decía, es muy difícil saber si un texto está creado por un humano o no. Uno de los casos apareció en USAToday porque fue un falso positivo y el alumno era inocente de la acusación de haber hecho la evaluación usando una IA. Y no es el único.

Los diferentes detectores de escritura de IA usan métodos de detección ligeramente diferentes pero con la misma idea, un modelo de IA que ha sido entrenado en una gran cantidad de texto y un conjunto de reglas conjeturadas para determinar si la escritura es más del estilo humano o del estilo IA.

Destacan dos propiedades, que son cuánto se desvía un texto de lo que ha aprendido una IA en su entrenamiento. Es decir, cómo se parece a la fuente de la que ha aprendido. por otra parte, los humos somos más caóticos en la escritura, aunque intentamos imitar un estilo que hayamos leído y aprendido con el tiempo.

A esta característica la denominan perplejidad (perplexity, en inglés).

Cuando escribimos un texto solemos utilizar frases muy habituales o una serie de adjetivos muy habituales, que suelen ir seguidos. O algunas frases hechas que salen espontáneamente, o usamos frases cortas y frases muy largas en sucesión. En cambio, las IAs suelen ser más uniformes en el uso de las palabras o la longitud de las frases, de momento.

A esto se le denomina explosividad (burstiness, en inglés).

A día de hoy no hay una fórmula que nos pueda confirmar si un texto ha sido escrito por un humano o compuesto por una IA, esa es la realidad. El margen de error es muy alto para confiar en estas IAs y menos para sentenciar que un texto no es original de un humano.

Estudios recientes demuestran que los sesgos en estas IAs no permiten tener certeza en quien ha creado un texto, si humamos o IAs. Además, las dificultades aumentan si el texto no es en inglés. Adjunto un enlace a Arxiv.

¿Son los humanos que escriben como las IAs, o son las IAs las que escriben como los humanos? Está claro que son las máquinas las que aprenden de los textos que han escrito los humanos desde siempre. Pero si utilizamos las IAs para ayudarnos en la redacción de texto, no deberíamos dejarlo todo en sus manos. Los humanos debemos repasar el trabajo y dar nuestro toque personal a los escritos, a mi entender, por mucho que el texto generado sea aceptable.

Pensemos en si un texto generado por IA realmente ¿refleja las intenciones y el conocimiento que quiero expresar? Si las IAs no son conscientes de lo que hacen, entonces debería ser más fácil diferenciar nuestra escritura cuando nos expresamos en texto. Es posible que las IAs siempre aprendan de nuestros textos, pero no saben cómo adecuarlos a cada situación.