Se trata del último modelo de lenguaje de OpenAI, que se llama GPT-3. El sistema, que se nutrió con miles de millones de páginas web y libros, está compuesto por 175 mil millones de parámetros.
Hace unos días la compañía especializada en inteligencia artificial OpenAI publicó una herramienta capaz de generar textos, programar y diseñar con tan solo recibir instrucciones precisas en inglés. Así, por ejemplo, se le puede pedir que cree una página con un botón que diga suscripción o que genere un emoji y el sistema lo hará en segundos.
Esta herramienta es el último modelo de lenguaje de OpenAI y se llama GPT-3. Se trata de una API (interfaz de programación de aplicaciones) en versión Beta, es decir que es una versión preliminar y no la final. El sistema predice o genera en función de los datos que se les dio. Y con esta información, así como puede diseñar un botón en una página web, o hacer un ícono, también puede completar un texto, intentando que coincida con el patrón que recibió.
El sistema aprende con recibir algunos ejemplos que den cuenta de lo que el usuario espera que haga. Y va aprendiendo en función de los conjuntos de datos con que se lo vaya nutriendo a lo largo del tiempo. Tal como explica la compañía, la API también se diseñó pensando en optimizar el trabajo de los equipos que se centran en aprendizaje automático. “Muchos de nuestros equipos ahora están utilizando la API para poder centrarse en la investigación del aprendizaje automático en lugar de los problemas de sistemas distribuidos”, se destaca en el comunicado que publicó la empresa en su sitio oficial.
El laboratorio de investigación OpenAI surgió en 2015 como una organización sin fines de lucro con el objetivo de mitigar los potenciales daños de la inteligencia artificial. Esta API GPT-3 es su primer producto comercial. En la página explican que decidieron comercializar este producto para obtener financiamiento que les permitiría continuar con su investigación.
Quienes la quieran probar pueden inscribirse en la lista de espera ingresando aquí. GPT-3 es la nueva edición del generador de texto que publicó la empresa el año pasado, GPT-2, que se puede probar ingresando en este sitio. Es un sistema predictivo: el usuario escribe unas líneas y la inteligencia artificial ofrece alternativas para completar el texto, respetando el estilo inicial.
Algunos ejemplos
En los últimos días estuvieron circulando en las redes diferentes ejemplos de desarrollos basados en GPT-3. Al comienzo de esta nota, se puede ver el video que subió el investigador en inteligencia artificial Sharif Shameem, quien mostró cómo el sistema es capaz de escribir código HTML/CSS para diseñar un botón para una página web, un ícono o un emoji.
No es el único caso, basta con explorar la web para encontrar otras destacadas creaciones que se basan en este modelo, como el trabajo de la ingeniera Shreya Shankar que desarrolló, con esta API, una plataforma que escribe ecuaciones matemáticas.
After many hours of retraining my brain to operate in this "priming" approach, I also now have a sick GPT-3 demo: English to LaTeX equations! I'm simultaneously impressed by its coherence and amused by its brittleness -- watch me test the fundamental theorem of calculus.
También se hicieron desarrollos donde se ve que el sistema responde preguntas y busca información. Si bien existen plataformas que hoy son capaces de hacer esta tarea, sorprende las múltiples posibilidades que ofrece este desarrollo de OpenAI que fácilmente se puede programar o integrar a un producto ya desarrollado, según destacan desde la empres y quienes han podido probarlo.
Cómo fue el entrenamiento
El modelo de lenguaje de GPT-3 está compuesto por 175 mil millones de parámetros. A modo de comparación, la versión anterior, GPT-2, estaba compuesta por 1.500 millones de parámetros. Para entrenar a GPT-3, el sistema se nutrió con toda la información publicada en Wikipedia, 19 mil millones de páginas web, 67 mil millones de libros públicos y otros 410 mil millones de textos disponibles en la web.
“GPT-3 logra un rendimiento sólido en muchos conjuntos de datos de PNL, incluidas las tareas de traducción, respuesta y preguntas, así como varias tareas que requieren razonamiento sobre la marcha o adaptación de dominio, como descifrar palabras, usando una palabra nueva en una oración, o realizar una aritmética de 3 dígitos “, declararon los investigadores en un artículo donde ofrecen detalles sobre este desarrollo.
El sistema puede generar textos, traducir, diseñar y dar respuestas a pregunta con cierta complejidad. “Descubrimos que GPT-3 puede generar muestras de artículos de noticias que los evaluadores humanos tienen dificultades para distinguir de los artículos escritos por humanos”, destacan los investigadores en la publicación.