La précision des grands modèles de langage pourrait être améliorée

Lors d'un récent forum de Microsoft, Dipendra Misra, chercheur principal au laboratoire de l'entreprise à New York, a dévoilé une technique innovante appelée Layer-Selective Rank Reduction (LASER), conçue pour améliorer la précision des grands modèles de langage (LLM). 


LASER (réduction de rang sélective par couche) permet aux chercheurs d'intervenir et de remplacer une matrice de poids par une matrice approximativement plus petite au sein de ces modèles. Les pondérations dans les LLM représentent des connexions contextuelles, les plus élevées indiquant une plus grande dépendance à leur égard. Malgré la réduction des corrélations et des contextes, les interventions LASER peuvent en réalité améliorer leur précision. Traditionnellement, on pourrait s'attendre à ce que le remplacement d'éléments au sein d'un LLM, en particulier lorsqu'il implique des approximations, entraîne une baisse de ses performances. Cependant, les résultats de la recherche de Misra remettent en question cette hypothèse, démontrant que lorsque le bon type d'intervention LASER est utilisé, la perte peut diminuer plutôt qu'augmenter. Son équipe et lui ont appliqué avec succès LASER à trois modèles open source différents, RoBERTa, Llama 2 et GPT-J d'Eleuther. Leurs résultats ont été remarquables, l'amélioration du modèle atteignant dans certains cas jusqu'à 20 à 30% d'efficacité. Par exemple, les performances de GPT-J en matière de prédiction du genre, basées sur des biographies, sont passées d'une précision de 70,9 % à un impressionnant 97,5 %.


La nécessité d’améliorer la précision du LLM

La motivation derrière ces récentes recherches réside dans la résolution des limites inhérentes aux grands modèles de langage. Bien que puissants et polyvalents, ils ne sont pas sans défauts. Ils commettent souvent des erreurs factuelles, qui peuvent avoir des conséquences importantes. Les préoccupations concernant leur exactitude vont au-delà de ces simples erreurs et englobent également la question des hallucinations. Ces dernières impliquent la génération d’informations entièrement fictives plutôt que simplement incorrectes. Même si elles peuvent sembler divertissantes, elles peuvent aussi être potentiellement dangereuses. Dans un contexte de désinformation, de fausses données ou de résultats biaisés, les hallucinations produites par les modèles d’IA peuvent exacerber les défis sociétaux et miner la confiance dans ces technologies.


Avantages de l'intervention LASER

  1. Précision améliorée: les interventions LASER peuvent conduire à une précision accrue des tâches effectuées par les LLM.
  2. Erreurs factuelles réduites: en affinant les connexions et les dépendances du modèle via LASER, les chercheurs peuvent atténuer les erreurs factuelles, rendant ainsi le modèle plus fiable dans la génération d'informations précises.
  3. Robustesse améliorée: LASER peut contribuer à la robustesse globale des LLM en réduisant la susceptibilité aux biais et aux hallucinations, qui peuvent être préjudiciables dans les applications du monde réel.
  4. Polyvalence: LASER est applicable à une large gamme de LLM open source, ce qui en fait un outil polyvalent pour les chercheurs et les développeurs cherchant à améliorer les performances.


Défis et orientations futures

Bien que le LASER soit prometteur pour améliorer la précision du LLM, il n’est pas sans défis et considérations:

  1. Sélection de la bonne intervention: il est crucial d'identifier l'intervention LASER appropriée pour un LLM et une tâche spécifiques. Les chercheurs doivent les concevoir soigneusement pour obtenir les améliorations souhaitées sans compromettre les autres aspects des performances.
  2. Considérations éthiques: comme pour toute technique d’amélioration de l’IA, les considérations éthiques sont primordiales. Les chercheurs doivent s'assurer que les interventions LASER n'introduisent pas par inadvertance des préjugés ou des préoccupations éthiques dans les LLM.
  3. Généralisation: L'efficacité des interventions LASER peut varier selon les différents LLM et tâches. Les chercheurs doivent explorer dans quelle mesure ces interventions se généralisent à divers scénarios et applications.


LASER est très prometteur pour l’avenir de l’IA, en permettant à des systèmes d'être plus fiables. Alors que les chercheurs continuent d’explorer et d’affiner ces techniques, les avantages potentiels pour diverses applications, de la compréhension du langage naturel à la génération de contenu, sont substantiels, ouvrant la voie à une nouvelle ère de capacités avancées.

Plus récente Plus ancienne