Hasta que llegue esa hipótesis en la que se difuminarán los límites entre las creaciones de unos y otros, lo que sí podemos hacer ahora es tratar de averiguar si un texto ha sido escrito por un humano o por una IA.
Detectar texto escrito por IA
OpenAI ha lanzado un clasificador de texto de IA que intenta detectar si el contenido de entrada se generó utilizando herramientas de inteligencia artificial como ChatGPT. «El clasificador de texto IA es un modelo GPT ajustado que predice la probabilidad de que una IA haya generado un texto a partir de una variedad de fuentes, como ChatGPT», explica una nueva publicación en el blog de OpenAI.
OpenAI lanzó la herramienta después de que numerosas universidades y distritos escolares prohibieran el popular chatbot de la compañía que funciona mediante IA, ChatGPT, debido a su capacidad para completar los deberes de los estudiantes, como escribir reseñas de libros, ensayos, e incluso terminar tareas de programación.
El funcionamiento es bastante sencillo. Simplemente tienes que dirigirte a la web de esta herramienta de comprobación e iniciar sesión o registrarte (servirá tu cuenta si usas ChatGPT). Tras esto, tendrás que pegar el texto que quieres verificar y la herramienta nos devolverá un resultado diciendo si es probable que lo escribiera una IA o un humano.
«No es 100% fiable», advierte OpenAI
Como es probable que los educadores utilicen esta nueva herramienta de verificación de texto de IA para comprobar si los estudiantes hicieron trampa en sus tareas asignadas, OpenAI advierte que no debe usarse como la «única prueba» para determinar la deshonestidad académica.
«Nuestro clasificador no es totalmente fiable. En nuestras evaluaciones sobre un ‘conjunto de desafíos’ de textos en inglés, nuestro clasificador identifica correctamente el 26 % del texto escrito por IA (verdaderos positivos) como «probablemente escrito por IA», mientras que etiqueta incorrectamente el texto escrito por humanos como un 9% escrito por IA (falsos positivos). La confiabilidad de nuestro clasificador generalmente mejora a medida que aumenta la longitud del texto de entrada. En comparación con nuestro clasificador lanzado anteriormente, este nuevo clasificador es significativamente más confiable en el texto de los sistemas de IA más recientes».
Además, han compartido una serie de limitaciones para que el uso del clasificador de texto se pueda hacer de la forma más efectiva posible.
- El clasificador es muy poco fiable en textos cortos (menos de 1.000 caracteres). Incluso los textos más largos a veces son etiquetados incorrectamente por el clasificador.
- A veces, el clasificador etiquetará de forma incorrecta el texto escrito por humanos como escrito por IA.
- Se recomienda usar el clasificador solo para texto en inglés. Funciona significativamente peor en otros idiomas y no es confiable en el código.
- El texto que es muy predecible no se puede identificar de forma fiable. Por ejemplo, es imposible predecir si una lista de los primeros 1.000 números primos fue escrita por IA o por humanos, porque la respuesta correcta es siempre la misma.
- El texto escrito por IA se puede editar para evadir el clasificador. Los clasificadores se pueden actualizar y volver a entrenar en función de los ataques exitosos, pero no está claro si la detección tiene una ventaja a largo plazo.
- Se sabe que los clasificadores basados en redes neuronales están mal calibrados fuera de sus datos de entrenamiento. Para entradas que son muy diferentes del texto en el conjunto de entrenamiento, el clasificador a veces tiene mucha confianza en una predicción incorrecta.
