Si bien el programa de OpenAI, ChatGPT, merece toda la admiración que se le está rindiendo en los últimos tiempos, la realidad es que se trata apenas de un software más complejo de lo habitual. Pero uno que requiere una enorme cantidad de entrenamiento para funcionar y precisa de una potencia notable para responder a desafíos cada vez más complejos. Y aquí es cuando puede empezar a fallar.
Todo comenzó en 2017 cuando Ashish Vaswani, por entonces uno de los líderes en investigación de Google, presentó el programa Transformer AI, la base o el padre de los actuales programas de IA. El problema es que Transformer tenía un gran defecto. Para llevar a cabo las tareas recurre a lo que lo que se conoce como “atención”: el programa recibe la información en un grupo de símbolos, como palabras, y mueve esa información a un nuevo grupo de símbolos, como la respuesta que vemos en ChatGPT.
Esa operación de atención, la herramienta esencial de todos los programas actuales, incluidos ChatGPT y GPT-4, tiene una complejidad computacional «cuadrática». Eso significa básicamente que el tiempo que le toma a ChatGPT generar una respuesta aumenta como el cuadrado de la información que recibe.
Es decir, si hay demasiados datos (demasiadas palabras, muchas líneas de chat o pixels de una imagen), el programa necesita más potencia del ordenador para responder. Y esa necesidad se multiplica por si misma hasta llegar a un límite en el que ya no responde adecuadamente.
En un reciente artículo un equipo de científicos de la Universidad de Stanford y el instituto MILA de Canadá propusieron una tecnología que podría ser mucho más eficiente que GPT-4 y la bautizaron Hyena. Los autores incluyen a Michael Poli de Stanford y Yoshua Bengio, director científico de MILA y ganador del Premio Turing 2019 (el equivalente informático del Premio Nobel). A Bengio se le atribuye el desarrollo del mecanismo de atención mucho antes que existiera el programa Transformador, de Google. A ellos se suma Christopher Ré, quien ha ayudado en los últimos años a promover la noción de IA como «software 2.0”. Vamos, una selección interesante de cerebros especializados.
Rendimiento multiplicado por 100
Para demostrar la capacidad de Hyena, los autores lo sometieron a diferentes pruebas. Una de ellas es conocida como The Pile, una colección de textos de 825 gigabytes (equivalente a más de 250.000 libros) reunida en 2020 por Eleuther.ai, un equipo de investigación de IA sin fines de lucro. Los textos se obtienen de fuentes de «alta calidad» como PubMed, arXiv, GitHub, la Oficina de Patentes de EE. UU. y otras, de modo que la información es más rigurosa que las discusiones que se pueden ver en Twitter.
El programa Hyena logró una puntuación equivalente a la de ChatGPT, pero con un 20 % menos de operaciones informáticas. En otras tareas Hyena logró puntuaciones iguales o cercanas a las de una versión de GPT aunque se la entrenó con menos de la mitad de los datos.
Pero, y aquí viene lo interesante, cuando el equipo de Poli aumentó la exigencia de Hyena (se le pidió más datos y el intercambio aumentó en el tiempo), mejor se comportaba el programa. Con 2048 «tokens», que pueden considerarse como palabras, Hyena necesita menos tiempo para completar una tarea de lenguaje que GhatGPT, pero cuando llegaban a los 64.000 tokens, los autores señalan que «las aceleraciones de Hyena alcanzan 100x», una mejora del rendimiento de cien veces.
Por si todo esto fuera poco, el programa es bastante más pequeño que GPT-4 o incluso GPT-3. Mientras que GPT-3, por ejemplo, tiene 175 mil millones de parámetros, la versión más grande de Hyena tiene solo 1300 millones. Es decir, tiene una mejora de cien veces el rendimiento cuando más se le exige… con cien veces menos parámetros. Un avance más que interesante y que podría dejar a ChatGPT como un recuerdo muy bonito… mientras duró.
Todas estas ventajas (más potencia, menos entrenamiento previo y un espacio más reducido en programación) hacen que Hyena sea un candidato muy interesante para llevar una IA a dispositivos más reducidos, como aquellos que se utilizan en medicina, deporte y hasta transporte. En el ámbito de salud puede utilizarse para identificar células malignas y reaccionar a ellas con los fármacos adecuados. En deporte, como sensores en metamateriales para que determinados textiles respondan a las condiciones climáticas y a las del deportista. Y en transporte, para evaluar los flujos de tráfico en una ciudad y recomendar las mejores alternativas para reducir la contaminación.
Fuente: adslzone
