Ya sabéis que desde Programamos defendemos que la alfabetización en inteligencia artificial debe incluir la creación de nuestros propios sistemas, ya que experimentar con los datos nos permite hacernos preguntas que difícilmente surgen cuando nos limitamos a escribir peticiones en un chat.

Por eso estamos encantados de hablaros de Glass Parrot, una herramienta libre que permite entrenar modelos de lenguaje sencillos y ver cómo generan texto, palabra a palabra. Está pensada para que tanto escolares como personas adultas puedan explorar estas ideas sin tener que programar. Y reúne varias características especialmente interesantes para el aula:

  • no requiere registro
  • no utiliza APIs externas para entrenar o generar texto
  • realiza todos los cálculos en el propio navegador
  • no almacena ni envía ningún dato a ningún servidor
  • se distribuye con una licencia libre, por lo que es posible auditar la herramienta, estudiarla y modificarla o personalizarla.

La aplicación ha sido desarrollada por Elena Tomás Vela como Trabajo Fin de Máster en la Universidad de Sevilla, con la dirección de Francisco José Domínguez Mayo (del grupo de investigación Diverso Lab) y de mí mismo 🙂 En el siguiente vídeo, que se grabó durante nuestra intervención en la I Jornada sobre Software Libre e Inteligencia Artificial Abierta,  puedes entender mejor por qué se ha creado esta herramienta y ver una demostración sencilla de su funcionamiento.

Una primera prueba con unas pocas frases

Para empezar, basta con introducir algunos textos en el apartado de entrenamiento, pulsar Añadir texto y, después, Entrenar. También podemos cargar archivos de texto que tengamos en nuestro ordenador o utilizar los ejemplos ya preparados que incluye la herramienta.

Por ejemplo, podemos probar con estas cuatro frases, añadiéndolas una a una por separado:

  • Hoy el día está soleado
  • Parece que el día está soleado
  • Creo que el día está soleado
  • Hoy el día está nublado

Después escribimos Hoy el día está en el apartado de prueba. Antes de pulsar Generar siguiente palabra, podemos pedir al alumnado que prediga qué ocurrirá y que explique por qué.

Con un contexto de tres palabras, el modelo se fija en el día está. En nuestros ejemplos, esa secuencia aparece tres veces seguida de soleado y una de nublado. La herramienta permite observar las probabilidades de las distintas continuaciones y generar una palabra a partir de ellas.

Pero las oportunidades de aprendizaje más interesantes aparecen al modificar los datos de entrenamiento. ¿Qué pasará si añadimos más frases con días nublados y volvemos a entrenar? ¿Y si introducimos una palabra inventada? Podemos comprobar cómo cambian las predicciones y discutir qué ha aprendido realmente el modelo. Para completar la frase, el modelo ha utilizado las relaciones entre las palabras de nuestros ejemplos y, evidentemente, no ha consultado qué tiempo hace realmente.

El tutorial de Glass Parrot sigue precisamente esta forma de aprender, que está basada en la metodología PRIMM (predecir, ejecutar, investigar, modificar y, finalmente, crear nuestros propios ejemplos), contribuyendo a introducir los conceptos de manera progresiva. La aplicación también incorpora cinco preguntas de autoevaluación con explicaciones para revisar lo aprendido.

Como decíamos, Glass Parrot incluye conjuntos de datos ya preparados que podemos utilizar. Por ejemplo, incluye un conjunto sobre profesiones de madres y padres que permite explorar cómo los datos pueden introducir sesgos. Podemos comparar lo que genera el modelo, revisar los ejemplos y modificarlos para comprobar cómo cambia su comportamiento. Esto permite introducir en el aula conversaciones sobre las decisiones humanas que hay detrás de los sistemas de inteligencia artificial que usamos en nuestro día a día.

Qué podemos descubrir con el modo avanzado

Cuando queramos profundizar en más aspectos del entrenamiento de estos modelos de lenguaje podemos activar el modo avanzado. Este modo nos permite experimentar con diferentes parámetros del modelo para cambiar cuántas palabras anteriores utilizará como contexto, ajustar la temperatura, limitar las palabras candidatas mediante Top-K y explorar distintas formas de suavizado.

No es necesario dominar estos términos para empezar, simplemente podemos ir probándolos uno a uno y observar sus efectos. Pero es importante recordar que hay que volver a pulsar Entrenar para aplicar los cambios en los parámetros.

Por ejemplo, la temperatura modifica las diferencias entre las probabilidades. Al aumentarla, las candidatas tienden a tener probabilidades más parecidas, mientras que al reducirla se favorecen más las que ya tenían mayor peso. Top-K, por su parte, limita la elección a las K palabras con mayor probabilidad. También podemos investigar qué sucede cuando escribimos una secuencia que no aparece en los ejemplos experimentando con los dos modos de suavizado.

Un modelo sencillo con un propósito educativo

Glass Parrot utiliza modelos basados en n-gramas y cadenas de Markov para contar qué palabras aparecen después de determinadas secuencias y utilizar esas frecuencias para generar nuevas palabras y continuar los textos. Esta sencillez permite relacionar de forma visible y explicable los datos de entrenamiento con el resultado.

No obstante, los grandes modelos de lenguaje actuales utilizan redes neuronales y procesos mucho más complejos, como os contamos en la sesión sobre IA generativa de nuestro curso gratuito IA y educación. Además, estos LLMs suelen generar fragmentos de texto llamados tokens, que no siempre coinciden con palabras completas. Por tanto, es importante entender que Glass Parrot ayuda a explorar algunos principios de la generación de texto, pero no reproduce toda esa arquitectura.

Las primeras experiencias que hemos tenido hasta la fecha con estudiantes de distintas edades, desde primaria hasta la universidad, son muy prometedoras. Así que os animamos sinceramente a probar Glass Parrot, recorrer su tutorial y experimentar con vuestros propios ejemplos en el aula.

Por cierto, el código de la herramienta está disponible en GitHub para quienes quieran conocerlo, adaptarlo o contribuir a su desarrollo, ya que se distribuye con la licencia libre GPL-3.

Si usáis en clase Glass Parrot nos encantará conocer qué habéis probado y qué preguntas han surgido. Por favor, ¡compartid vuestra experiencia con la comunidad! Así podremos contribuir a seguir mejorando la herramienta.