Etymologie

Cette appellation se décompose ainsi :

"Generative" : du terme anglais "generate" signifiant "générer", fait référence à la capacité du modèle à produire du texte de manière autonome.
"Pre-trained" : traduit de l'anglais, indique que le modèle est pré-entraîné sur de grandes quantités de données textuelles avant d'être utilisé pour des tâches spécifiques.
"Transformer" : se réfère à l'architecture de réseau neuronal utilisée dans ces modèles, appelée "transformer", qui a été introduite par le papier fondateur "Attention is All You Need" de Vaswani et al. en 2017.

Quelques Scientifiques de référence

Geoffrey Hinton (né en 1947) : Connu pour ses travaux pionniers dans le domaine des réseaux de neurones profonds, Hinton a contribué de manière significative au développement des modèles de langage pré-entraînés comme les GPT.

Yann LeCun (né en 1960) : Un autre pionnier dans le domaine de l'apprentissage profond, LeCun a développé des architectures de réseaux neuronaux convolutionnels (CNN) qui ont influencé les avancées dans le traitement du langage naturel et ont contribué aux fondements des GPT.

Juergen Schmidhuber (né en 1963) : Schmidhuber est un chercheur reconnu pour ses contributions à l'apprentissage profond et aux réseaux de neurones récurrents (RNN), des techniques essentielles dans le développement des GPT.

Yoshua Bengio (né en 1964) : Pionnier de l'apprentissage profond et de l'apprentissage par renforcement, Bengio a apporté des contributions majeures à la compréhension des architectures de réseaux neuronaux et à leur utilisation dans les modèles de langage.

Ilya Sutskever (né en 1984) : Co-auteur de la première architecture de réseau neuronal à encoder-décoder avec mécanisme d'attention, Sutskever a influencé le développement des architectures transformer, dont les GPT sont basés.

Radford Neal (né en 1965) : Expert en apprentissage automatique, Neal a contribué à la compréhension des modèles probabilistes et des méthodes d'apprentissage non supervisé, des concepts clés utilisés dans les GPT.

Ian Goodfellow (né en 1985) : Connu pour avoir introduit le concept des réseaux génératifs antagonistes (GAN), Goodfellow a ouvert de nouvelles perspectives dans la génération de texte et a influencé le développement des GPT.

Alec Radford : (Dates inconnues) Co-auteur de GPT-2 et GPT-3, Radford a contribué à l'avancement des architectures transformer et à leur adaptation à des tâches spécifiques de traitement du langage naturel.

Samy Bengio (né en 1965) : Expert en apprentissage automatique, Bengio a contribué à la recherche sur les réseaux de neurones récurrents et les architectures transformer, des technologies clés utilisées dans les GPT.

Andrey Karpathy (né en 1986) : Karpathy a contribué à la recherche sur les modèles de langage et à l'utilisation des réseaux neuronaux dans le traitement du langage naturel, des domaines cruciaux pour les avancées dans les GPT.