Nouvelles mesures de sécurité d'OpenAI pour prévenir les IA nuisibles

OpenAI, l'une des principales sociétés de développement d'IA au monde, intensifie ses efforts pour garantir la sécurité de ses systèmes. 



En réponse à l'inquiétude croissante concernant les menaces potentielles posées par l'IA, la société a mis en place un groupe consultatif qui supervisera les processus de sécurité et fera des recommandations à ses dirigeants. Il disposera également d'un droit de veto, même si sa volonté d'exercer ce pouvoir reste incertaine. Bien que ces mises à jour politiques impliquent souvent des discussions en coulisses, les développements récents au sein de la direction et le débat en cours sur les risques liés à l'IA rendent important le fait d'examiner la manière dont l'entreprise aborde les problèmes de sécurité. Cette dernière a présenté son « cadre de préparation » mis à jour dans un document et un article de blog, qui semblent avoir été révisés à la suite d'un remaniement de la direction en novembre. Son objectif principal est d'établir un processus clair pour identifier, analyser et traiter les risques « catastrophiques » associés aux modèles développés. OpenAI les définit comme ceux pouvant entraîner des dommages économiques importants, causer de graves dommages ou provoquer des pertes de vies humaines, y compris les risques existentiels, tels que « l'essor des machines ».


Pour gérer la sécurité, l'entreprise a créé différentes équipes pour des modèles à différents stades de développement. Ceux en production relèvent de la compétence de l'équipe « systèmes de sécurité », chargée de résoudre des problèmes tels que les abus systématiques des systèmes d'IA. Les modèles Frontier en développement sont gérés par l'équipe « préparation », qui se concentre sur l'identification et la quantification des risques avant la publication de ces derniers. Enfin, il y a l'équipe « superalignement », qui travaille sur des orientations théoriques pour la gestion des modèles « superintelligents ». Le cadre évalue les modèles en fonction de quatre catégories de risques : la cybersécurité, la persuasion (par exemple, la désinformation), l'autonomie du modèle (la capacité d'agir de manière indépendante) et le CBRN (menaces chimiques, biologiques, radiologiques et nucléaires). Diverses mesures d'atténuation sont prises en compte, et si l'un d'entre eux est évalué comme présentant un risque « élevé », il ne peut pas être déployé.


Reconnaissant que ceux qui créent des modèles d'IA ne sont pas toujours les meilleurs juges de leur sécurité, OpenAI a créé un groupe consultatif interfonctionnel pour fournir un niveau de surveillance supplémentaire. Il examinera les rapports des équipes techniques et formulera des recommandations d'un point de vue plus élevé. Elles seront ensuite partagées simultanément avec le conseil d'administration et la direction de l'entreprise. Même si les dirigeants prendront la décision finale de poursuivre ou d'arrêter un projet, le conseil d'administration conserve le pouvoir de l'annuler. Ce mécanisme vise à éviter les situations dans lesquelles des produits ou processus d'IA à haut risque sont approuvés à son insu ou sans son approbation. Les récents changements dans sa composition ont suscité des inquiétudes, certains nouveaux membres se concentrant davantage sur les considérations financières que sur l'expertise technologique.

Plus récente Plus ancienne