La gran mentira de los detectores de texto creado por IA: ni sus creadores se fían
Con el auge de la Inteligencia Artificial, principalmente en la forma de generadores de texto como ChatGPT y otros derivados, también lo han hecho las herramientas para distinguir entre texto escrito por IA y escrito por humanos. Sin embargo, parece que no son tan útiles como cabría pensar y sus niveles de detección dejan mucho que desear a juzgar por los casos recientes.
Las herramientas de detección de texto generado por IA no dejan de fallar y lanzar «falsos positivos». ¿Es mérito de las tecnologías de Inteligencia Artificial a las que cada vez cuesta más distinguir de un humano o demérito del software para identificar a los autores?
OpenAI cierra su herramienta de detección
OpenAI, los padres de Chat-GPT, cierran una herramienta destinada a detectar texto escrito por IA debido a su baja precisión. Esto debería darnos una primera pista de que ni siquiera los que más cercanos están a conocer cómo trabaja el chatbot de texto generativo pueden tener las pistas para reconocer sus creaciones.
La herramienta AI Classifier fue descontinuada hace unos días, tal y como podemos leer en su blog. Esta tenía la misión de detectar qué textos habían sido escritos por Inteligencia Artificial y funcionaba no solamente con GPT, sino una variedad de proveedores. Se asumía que no iba a ser perfecta, pero sí lo suficientemente confiable a grandes rasgos. «La herramienta identifica correctamente el 26% del texto escrito por IA (verdaderos positivos) como ‘probablemente escrito por IA’, mientras que el 9% de las veces (falsos positivos) etiqueta incorrectamente el texto escrito por humanos como escrito por IA».
Sin embargo, han decidido rendirse y solo unos meses después de su creación ha dejado de prestar servicio: «El clasificador de IA ya no está disponible debido a su baja tasa de precisión. Estamos trabajando para incorporar el feedback y actualmente estamos investigando técnicas de procedencia más efectivas para el texto, y nos hemos comprometido a desarrollar e implementar mecanismos que permitan a los usuarios comprender si el contenido de audio o visual es generado por IA».
La Constitución la escribió una IA
Las herramientas de terceros tampoco están siendo de gran ayuda. Uno de los casos más flagrantes es aquel que identificó la Constitución de Estados Unidos como creación de una IA.
En esta ocasión, GPTZero es el detector de textos escritos por Inteligencia Artificial que ha fallado estrepitosamente. Si introduces la Constitución de 1787 de Estados Unidos en la herramienta, te dirá que la escribió la tecnología de texto generativo. James Madison sería un viajero en el tiempo o algo…
Hablando con su creador (de la herramienta de detección, no de la Constitución), Ars Technica sacó varias conclusiones al respecto de este fallo. Según Edward Tian (creador de GPTZero), «la Constitución de Estados Unidos es un texto que se introduce repetidamente en los datos de entrenamiento de bastantes modelos lingüísticos. Como resultado, muchos de estos grandes modelos lingüísticos están entrenados para generar textos similares a la Constitución y otros textos de entrenamiento utilizados con frecuencia. GPTZero predice el texto que probablemente generarán los grandes modelos lingüísticos, y así se produce este fascinante error».
Visto lo visto, queda claro que estas herramientas son la gran mentira en la otra cara de la IA. Debido a los falsos positivos, no se puede confiar en los detectores de escritura de IA como GPTZero , ZeroGPT y el clasificador de texto de OpenAI para detectar texto compuesto por modelos de lenguaje extenso (LLM) como ChatGPT.
