Mais c'est quoi, un GPT ? Introduction visuelle aux Transformers | Deep learning, chapitre 5

Description :

Décortiquer le fonctionnement des grands modèles de langage, sous le capot Aperçu du prochain chapitre pour les mécènes : Remerciements particuliers à ces donateurs : Pour contribuer à l'édition des sous-titres, visitez Autres ressources recommandées sur le sujet. L'introduction de Richard Turner est l'un des meilleurs points de départ : Coder un GPT avec Andrej Karpathy Introduction à l'auto-attention par John Hewitt Histoire des modèles de langage par Brit Cruise : Article sur des exemples comme celui de « femme - homme » présenté ici : ------------------ Horodatage 0:00 - Prédire, échantillonner, répéter 3:03 - L'intérieur d'un transformateur 6:36 - Présentation du chapitre 7:20 - Les prémisses de l'apprentissage profond 12:27 - Intégrations de mots 18:25 - Les encastrements au-delà des mots 20:22 - Le désencastrement 22:22 - Softmax avec température 26:03 - Prochaine étape ------------------ Ces animations sont en grande partie réalisées à l'aide d'une bibliothèque Python personnalisée, manim. Voir les commentaires de la FAQ ici : Tout le code pour les vidéos spécifiques est visible ici : La musique est de Vincent Rubinetti. ------------------ 3blue1brown est une chaîne consacrée à l'animation des mathématiques, dans tous les sens du terme animer. Si vous lisez le bas de la description d'une vidéo, je suppose que vous êtes plus intéressé que le spectateur moyen par les leçons proposées ici. Cela signifierait beaucoup pour moi si vous choisissiez de rester au courant des nouvelles leçons, soit en vous abonnant ici sur YouTube, soit en suivant la plateforme ci-dessous que vous consultez le plus régulièrement. Liste de diffusion : Twitter : Instagram : Reddit : Facebook : Patreon : Site web :