Transformateurs Pré-entraînés Génératifs - Historique

Etymologie

• [GPT] : L'acronyme "GPT" signifie "Generative Pre-trained Transformer".

Cette appellation se décompose ainsi :

"Generative" : du terme anglais "generate" signifiant "générer", fait référence à la capacité du modèle à produire du texte de manière autonome. "Pre-trained" : traduit de l'anglais, indique que le modèle est pré-entraîné sur de grandes quantités de données textuelles avant d'être utilisé pour des tâches spécifiques. "Transformer" : se réfère à l'architecture de réseau neuronal utilisée dans ces modèles, appelée "transformer", qui a été introduite par le papier fondateur "Attention is All You Need" de Vaswani et al. en 2017.

Quelques Scientifiques de référence

• Geoffrey Hinton (né en 1947) : Connu pour ses travaux pionniers dans le domaine des réseaux de neurones profonds, Hinton a contribué de manière significative au développement des modèles de langage pré-entraînés comme les GPT.

• Yann LeCun (né en 1960) : Un autre pionnier dans le domaine de l'apprentissage profond, LeCun a développé des architectures de réseaux neuronaux convolutionnels (CNN) qui ont influencé les avancées dans le traitement du langage naturel et ont contribué aux fondements des GPT.

• Juergen Schmidhuber (né en 1963) : Schmidhuber est un chercheur reconnu pour ses contributions à l'apprentissage profond et aux réseaux de neurones récurrents (RNN), des techniques essentielles dans le développement des GPT.

• Yoshua Bengio (né en 1964) : Pionnier de l'apprentissage profond et de l'apprentissage par renforcement, Bengio a apporté des contributions majeures à la compréhension des architectures de réseaux neuronaux et à leur utilisation dans les modèles de langage.

• Ilya Sutskever (né en 1984) : Co-auteur de la première architecture de réseau neuronal à encoder-décoder avec mécanisme d'attention, Sutskever a influencé le développement des architectures transformer, dont les GPT sont basés.

• Radford Neal (né en 1965) : Expert en apprentissage automatique, Neal a contribué à la compréhension des modèles probabilistes et des méthodes d'apprentissage non supervisé, des concepts clés utilisés dans les GPT.

• Ian Goodfellow (né en 1985) : Connu pour avoir introduit le concept des réseaux génératifs antagonistes (GAN), Goodfellow a ouvert de nouvelles perspectives dans la génération de texte et a influencé le développement des GPT.

• Alec Radford : (Dates inconnues) Co-auteur de GPT-2 et GPT-3, Radford a contribué à l'avancement des architectures transformer et à leur adaptation à des tâches spécifiques de traitement du langage naturel.

• Samy Bengio (né en 1965) : Expert en apprentissage automatique, Bengio a contribué à la recherche sur les réseaux de neurones récurrents et les architectures transformer, des technologies clés utilisées dans les GPT.

• Andrey Karpathy (né en 1986) : Karpathy a contribué à la recherche sur les modèles de langage et à l'utilisation des réseaux neuronaux dans le traitement du langage naturel, des domaines cruciaux pour les avancées dans les GPT.