Joint Training for Neural Machine Translation

Cet ouvrage présente quatre approches pour former conjointement des modèles de traduction automatique neuronale bidirectionnelle (NMT). Premièrement, afin d'améliorer la précision du mécanisme d'attention, il propose une approche de formation conjointe fondée sur une entente pour aider les deux modèles complémentaires à s'entendre sur des matrices d'alignement des mots pour les mêmes données de formation. Deuxièmement, il présente une approche semi-supervisée qui utilise un encodeur automatique pour reconstruire des corpus monolingues, afin d'incorporer ces corpus dans la traduction automatique neuronale. Il introduit ensuite un algorithme d'apprentissage commun pour la traduction automatique neuronale par pivot, qui peut être utilisé pour atténuer le problème de la rareté des données. Enfin, il décrit un modèle NMT bidirectionnel de bout en bout pour relier les modèles de traduction source-cible et cible-source, permettant l'interaction des paramètres entre ces deux modèles directionnels.