Esta semana nos vamos a centrar en una aplicación muy interesante de los Transformers: la generación de texto. Vamos a ver cómo generar un chiste o un párrafo de El Quijote con las librerías de Hugging Face.
Notebook
Recursos adicionales
- The Illustrated GPT-2 (Visualizing Transformer Language Models): guía ilustrada que explica de manera muy intuitiva los conceptos de decoders y generacion de textos.
- Natural Language Processing With Transformers: capítulo del próximo libro sobre Transformers en el que se basó esta sesión.
- How to generate text: using different decoding methods for language generation with Transformers: explicación detallada de varias formas de generar texto.
Papers
- Better Language Models and Their Implications: tal vez sea la primera vez que un Transformer aparece en las noticias.
- Language Models are Few-Shot Learners: tal vez el modelo de lenguaje más potente del mundo en este momento, GPT-3 muestra interesantes capacidades como el aprendizaje desde cero.
- Evaluating Large Language Models Trained on Code: modelo detrás de GitHub Copilot.
➡️ Siguiente sesión:Transformers y Modelado del Lenguaje