6 Tahun Kemajuan AI: ModernBERT Akhirnya Menggantikan BERT

Setelah enam tahun, akhirnya kami memiliki pengganti BERT yang layak! Perkenalkan ModernBERT, model encoder-only tercanggih yang mengungguli pendahulunya dengan konteks yang lebih luas, peningkatan kinerja hilir, dan kecepatan yang luar biasa. Dirancang sebagai peningkatan langsung untuk model seperti BERT, ModernBERT adalah pilihan yang tepat untuk aplikasi pengambilan, klasifikasi, dan terkait kode. 00:00 - Encoder dan Decoder 00:46 - RAG 02:35 - ModernBERT 03:13 - Data Pelatihan 04:12 - Panjang Konteks 05:11 - Mekanisme Atensi 06:43 - Contoh ModernBERT