LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

В этом видео автор объясняет, как работают большие языковые модели, раскрывая их внутреннюю архитектуру и ключевые концепции, такие как предсказание, выборка, повторение, самовнимание, слои трансформера, эмбеддинги слов и их расширения, декодирование, применение softmax с температурой и дальнейшие шаги. Видеоряд сопровождается анимациями, созданными с помощью библиотеки Manim, и включает следующие временные отметки: 0:00 – Predict, sample, repeat; 3:03 – Inside a transformer; 6:36 – Chapter layout; 7:20 – The premise of Deep Learning; 12:27 – Word embeddings; 18:25 – Embeddings beyond words; 20:22 – Unembedding; 22:22 – Softmax with temperature; 26:03 – Up next.