Construcción de grandes modelos de lenguaje desde cero

El físico Richard P. Feynman afirmó: «No comprendo lo que no puedo crear». Inspirado en este principio, Sebastian Raschka ofrece en este libro una guía práctica y detallada para construir un modelo de lenguaje de gran tamaño ejecutable incluso en un portátil. Este libro analiza cada etapa del proceso, desde la planificación y codificación del modelo hasta su entrenamiento y ajuste fino.

A través de un enfoque práctico y profundamente satisfactorio, explorarás los fundamentos de la inteligencia artificial generativa. Sin recurrir a bibliotecas de modelos de lenguaje existentes, programarás un modelo base desde cero, lo convertirás en un sistema de clasificación de texto y, finalmente, crearas un chatbot capaz de seguir instrucciones en conversaciones naturales. Lo comprenderás a fondo porque serás tú quien lo construya.

Con este libro aprenderás a:

* Planificar y codificar un modelo de lenguaje similar a GPT-2.

* Cargar y utilizar pesos preentrenados.

* Diseñar un flujo completo de entrenamiento.

* Ajustar un modelo de lenguaje para clasificar textos.

* Desarrollar modelos que puedan responder a instrucciones humanas.

Dirigido a lectores con conocimientos intermedios de Python y nociones básicas de 'machine learning' o ML (aprendizaje automático), este libro te permitirá crear y ejecutar un modelo de lenguaje de gran tamaño en un portátil moderno, con la opción de aprovechar la aceleración por GPU.