Continuamos hablando de Transformers, esta semana explicaremos qué es el aprendizaje por transferencia y el modelado del lenguaje, y cómo utilizar fine-tuning para adaptar modelos preentrenados a nuestro caso de uso particular.
Notebook
Recursos adicionales
- The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning): guía ilustrada que explica de manera muy intuitiva los conceptos de aprendizaje por transferencia y clasificación de textos.
- A Visual Guide to Using BERT for the First Time: guía ilustrada centrada en el uso de BERT como extractor de “features” para la clasificación de textos.
- Recent Advances in Language Model Fine-tuning: lista de todas las formas de fine-tuning que se realizan hoy en día.
Papers
- Universal Language Model Fine-tuning for Text Classification: paper del primer ejemplo en el que el aprendizaje por transferencia en NLP realmente funcionó. Basado en LSTMs y parte de fast.ai
- Improving Language Understanding by Generative Pre-Training: paper de GPT en el que se utilizó por primera vez el aprendizaje por transferencia con la arquitectura Transformer.
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding: paper de BERT donde se estableció un nuevo state-of-the-art en varias tareas de NLP.
➡️ Siguiente sesión: Transformers y Generación de Texto