AccueilActualités informatiqueOpenAI : une version finement ajustée de GPT-3 devrait mieux mettre en...

OpenAI : une version finement ajustée de GPT-3 devrait mieux mettre en œuvre les instructions des utilisateurs

Le langage toxique, les insultes, les informations erronées et les incohérences factuelles sont considérés comme des risques pour les grands modèles linguistiques (LM), qui englobent un corpus de textes provenant en grande partie d’Internet et qui peuvent absorber (et donc reproduire) le meilleur, mais aussi le pire des expressions humaines, sans distinction. OpenAI vient de présenter une nouvelle version de GPT-3, qui aurait subi des adaptations ciblées afin de mieux mettre en œuvre les instructions de ses utilisateurs et de fournir une sortie moins toxique. InstructGPT est le nom de cette version apprivoisée du grand modèle de langage, qui, dans le jargon de l’apprentissage automatique, doit être plus « alignée » sur les intentions de ses utilisateurs humains, c’est-à-dire être en accord avec leurs intentions.

Sommaire

InstructGPT est le résultat d’une mise au point de GPT-3, pour laquelle l’équipe OpenAI a effectué un Reinforcement Learning with Human Feedback (RLHF) sur son plus grand modèle de langage à ce jour. Avec 1,3 milliard de paramètres, le modèle réajusté est nettement plus petit que son grand frère GPT-3, qui comprend 175 milliards de paramètres. Il ressort du document de recherche de l’équipe OpenAI que, dans l’évaluation comparative, les personnes ont plutôt préféré les réponses et la sortie d’InstructGPT et les ont trouvées globalement plus utiles.

Pour l’ajustement fin, environ 40 personnes – appelées labellisateurs – avaient évalué les réponses de GPT-3 à des tâches textuelles en partie créatives. Les tâches (prompts) demandaient par exemple au modèle d’écrire un poème sur une grenouille intelligente ou d’expliquer l’alunissage à un enfant de six ans dans un langage adapté aux enfants.

OpenAI: Vergleich zwischen GPT-3 und dem feinjustierten Modell InstructGPT, das Modell soll die Mondlandung einem sechsjährigen Kind erklären. GPT-3 wiederholt die Frage in Variationen, InstructGPT gibt eine zutreffende, gewünschte Antwort.

OpenAI : Comparaison entre GPT-3 et le modèle finement ajusté InstructGPT. Le modèle doit expliquer l’alunissage à un enfant de six ans. GPT-3 répète la question avec des variations, comme un moteur de recherche, InstructGPT donne une réponse pertinente et plutôt souhaitée.

(Image : OpenAI)

Si les réponses contenaient de la violence, des thèmes sexuels, des opinions fortes ou des humiliations liées au groupe, les collaborateurs les ont dévalorisées. Dans bien plus de la moitié des cas (70 % selon le document de l’équipe OpenAI), le modèle InstructGPT influencé par l’homme a finalement obtenu de meilleurs résultats que GPT-3. Selon l’équipe OpenAI, InstructGPT imite moins souvent des contre-vérités, est moins « toxique » dans les réponses et « hallucine » moins souvent des faits, si l’on se réfère à des métriques courantes tirées de jeux de données disponibles publiquement. De plus, les résultats seraient dans l’ensemble un peu plus précis que ceux de GPT-3 avant le réglage fin.

KI-Sicherheit von InstructGPT vs. GPT-3 von OpenAI: Metriken im Vergleich

Sécurité IA d’InstructGPT versus GPT-3 d’OpenAI : Comparaison des métriques

(Image : OpenAI)

Les tentatives précédentes d’alignement avaient été effectuées à l’aide de filtres, mais ceux-ci avaient davantage affecté les performances des modèles, comme l’a expliqué un membre de l’équipe d’alignement d’OpenAI au MIT Technology Review.

Désormais, InstructGPT est le modèle par défaut derrière l’API, qui permet aux personnes intéressées d’utiliser le modèle de langage d’OpenAI contre paiement. En novembre 2021, OpenAI avait rendu GPT-3 accessible via l’API sans liste d’attente. La version complète plus importante ne devrait donc plus être disponible en externe. Les personnes intéressées par les détails trouveront de plus amples informations sur InstructGPT dans l’entrée du blog d’OpenAI. On y trouve également un lien vers le document de recherche qui présente les méthodes et les résultats de manière plus détaillée.

Plus d'articles