Article original : Building NMT from Scratch – PyTorch Replications of 7 Landmark Papers

Découvrez le parcours complet de la traduction automatique neuronale.

Nous venons de publier un cours sur la chaîne YouTube de freeCodeCamp.org qui constitue un voyage complet à travers l'évolution des modèles de séquence et de la traduction automatique neuronale (NMT). Il mêle percées historiques, innovations architecturales, perspectives mathématiques et réplications pratiques en PyTorch d'articles de référence qui ont façonné le NLP et l'IA modernes.

Le cours comprend :

  • Un récit détaillé retraçant l'histoire et les percées des RNN, LSTM, GRU, Seq2Seq, de l'Attention, du GNMT et de la NMT multilingue.

  • Des réplications de 7 articles NMT de référence en PyTorch, afin que les apprenants puissent coder en même temps et reconstruire l'histoire étape par étape.

  • Des explications sur les mathématiques derrière les RNN, LSTM, GRU et les Transformers.

  • Une clarté conceptuelle avec des comparaisons architecturales, des explications visuelles et des démos interactives comme le Transformer Playground.

Voici toutes les sections du cours :

  • Évolution des RNN

  • Évolution de la traduction automatique

  • Techniques de traduction automatique

  • Long Short-Term Memory (Aperçu)

  • Apprentissage de la représentation de phrases à l'aide de RNN (Encoder–Decoder pour la SMT)

  • Apprentissage de la représentation de phrases (Lab PyTorch – Réplication de Cho et al., 2014)

  • Apprentissage Seq2Seq avec les réseaux de neurones

  • Seq2Seq (Lab PyTorch – Réplication de Sutskever et al., 2014)

  • NMT par l'apprentissage conjoint de l'alignement (Bahdanau et al., 2015)

  • NMT par l'apprentissage conjoint de l'alignement et de la traduction (Lab PyTorch – Réplication de Bahdanau et al., 2015)

  • Sur l'utilisation d'un vocabulaire cible très large

  • NMT à large vocabulaire (Lab PyTorch – Réplication de Jean et al., 2015)

  • Approches efficaces de l'Attention (Luong et al., 2015)

  • Approches de l'Attention (Lab PyTorch – Réplication de Luong et al., 2015)

  • Réseau Long Short-Term Memory (Explication approfondie)

  • Attention Is All You Need (Vaswani et al., 2017)

  • Système de traduction automatique neuronale de Google (GNMT – Wu et al., 2016)

  • GNMT (Lab PyTorch – Réplication de Wu et al., 2016)

  • NMT multilingue de Google (Johnson et al., 2017)

  • NMT multilingue (Lab PyTorch – Réplication de Johnson et al., 2017)

  • Architectures Transformer vs GPT vs BERT

  • Transformer Playground (Démo de l'outil)

  • L'idée Seq2Seq de l'outil Google Translate

  • Architectures RNN, LSTM, GRU (Comparaisons)

  • Équations LSTM & GRU

Regardez le cours complet sur la chaîne YouTube de freeCodeCamp.org (7 heures de visionnage).