La novela 'Donde el agua trabaja', ganadora del Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, se encuentra en el centro de una controversia. Tras ser analizada con el detector Pangram, se reveló que el 99% de su texto podría haber sido generado por inteligencia artificial, a pesar de que las bases del concurso prohibían explícitamente el uso de estas herramientas. Este incidente ha generado un debate sobre la fiabilidad de los detectores de IA y la autoría en la literatura contemporánea.
La novela 'Donde el agua trabaja' obtuvo en julio el primer Premio Internacional de Novela Breve Almadía Ventosa-Arrufat, superando a más de 2.200 obras de 22 países y recibiendo un premio de 20.000 euros. Las bases del concurso establecían claramente una condición: la participación implicaba declarar que la obra no había sido escrita, ni parcial ni totalmente, con herramientas de inteligencia artificial. Cualquier indicio o sospecha de incumplimiento resultaría en la descalificación de la obra, independientemente de la fase del proceso.
Sin embargo, tras su publicación en septiembre y en plena gira de presentación en España, el autor peruano David Silva Rojas, la editorial y el jurado del concurso (que había elogiado la obra por el uso de sus silencios y su construcción) se han visto envueltos en un escándalo. El periódico El País ha revelado que, después de someter el libro completo al detector Pangram, la novela premiada contiene un 99% de texto generado por una inteligencia artificial.
Pangram es un clasificador de texto que utiliza redes neuronales para intentar discernir si un texto fue creado por un humano o por un modelo de lenguaje. Emplea una técnica de entrenamiento diseñada para minimizar los falsos positivos y, según sus desarrolladores, no discrimina a hablantes no nativos de inglés, utiliza 'prompts espejo' y analiza el texto por secciones. Pangram Labs, la empresa detrás de esta herramienta, que tiene un gran interés en la fiabilidad de su detector, reporta un 0,0041% de falsos positivos y un 0,34% de falsos negativos. Un estudio independiente de la Universidad de Chicago comparó Pangram con otros detectores comerciales y concluyó que es menos propenso a clasificar texto humano como generado por IA.
El experimento de El País no surgió de la nada y no se limitó a 'Donde el agua trabaja'. Como explica Kiko Llaneras, ingeniero de datos y uno de los autores del artículo, en su perfil de X/Twitter, analizaron 175 éxitos literarios con Pangram y los resultados fueron sorprendentes: 4 de cada 10 superventas autopublicados en Amazon tienen al menos un 25% de su contenido escrito con IA. Su método de control incluyó tres verificaciones: analizaron 56 libros publicados entre 2019 y 2020, es decir, antes de ChatGPT, que arrojaron un 0% de contenido IA; textos sintéticos generados por IA que el detector identificó correctamente; y obras de autores consagrados como Javier Cercas, Isabel Allende y Antonio Muñoz Molina, que también resultaron en un 0% de IA. La calibración del método parece prometedora.
No obstante, la fiabilidad de los detectores de IA aún genera dudas. Existen pruebas serias que demuestran los límites de estas herramientas: si un ensayo humano es modificado sustancialmente por una IA de consumo, Pangram los etiquetaba como humanos en el 41% de los casos. Además, OpenAI, una de las principales empresas en IA, retiró su propio detector tras reconocer su baja tasa de acierto, y aunque posee otra herramienta que teóricamente es muy buena, no la ha lanzado al mercado. El propio periódico reconoce que Pangram no es infalible y que cualquiera puede ponerlo a prueba para encontrar sus debilidades. Ángel L. Fernández Recuero detalla en Jot Down cómo un simple espacio añadido en un texto puede cambiar el veredicto. El célebre arquitecto y divulgador Pedro Torrijos también lo probó el mes pasado, cuando surgió la sospecha con la novela francófona de moda, dejando al detector en evidencia con un texto sencillo escrito a mano. Aunque el texto tenía aproximadamente una página (una muestra menor dificulta la detección), su experimento, variando unas pocas palabras, merece una lectura atenta. El hilo de Pedro Torrijos es revelador: pasó de 100% humano a 100% IA cambiando solo dos frases.
El problema de fondo es que un porcentaje, incluso del 99%, no constituye una prueba definitiva de autoría. Aunque, obviamente, es suficiente para generar sospechas y justificar al menos una investigación y la solicitud de los borradores del proyecto. Al fin y al cabo, estos sistemas estiman la probabilidad de que un texto haya sido generado con IA, pero no precisan el papel que desempeñaron la persona y la máquina: la obra pudo haber sido redactada o corregida por la IA, o la IA pudo haber sugerido tramas o personajes. Existe un caso extremo que no es máquina-humano, sino humano-humano: las memorias de Agassi, escritas por el periodista J. R. Moehringer después de 250 horas de entrevistas durante tres años, y que firma el antiguo tenista. La cuestión no se limita a si hay IA, sino a cuánta y cómo se utilizó. Sin embargo, hay algo innegable: las bases del concurso no dejaban lugar a dudas.
Hay un aspecto distópico en esta situación: que una IA sea la encargada de determinar si una obra fue creada con IA, y que su veredicto actúe como una espada de Damocles. Un falso positivo puede arruinar una reputación, mientras que un falso negativo no conlleva ninguna consecuencia."
