6 anni di progressi nell'intelligenza artificiale: ModernBERT sostituisce finalmente BERT

Dopo sei anni, abbiamo finalmente un degno sostituto di BERT! Vi presentiamo ModernBERT, il modello all'avanguardia basato solo su codificatore che supera i suoi predecessori con un contesto più ampio, prestazioni downstream migliorate e velocità incredibilmente elevate. Progettato come aggiornamento drop-in per modelli simili a BERT, ModernBERT è un'ottima scelta per applicazioni di recupero, classificazione e gestione del codice. Il video copre i seguenti argomenti: 00:00 - Codificatori e decodificatori; 00:46 - RAG; 02:35 - ModernBERT; 03:13 - Dati di addestramento; 04:12 - Lunghezza del contesto; 05:11 - Meccanismo di attenzione; 06:43 - Esempio di ModernBERT.