OpenAI veut garder secrète la "pensée" de son dernier modèle d'IA

La bataille entre protection intellectuelle et curiosité scientifique s'intensifie autour du modèle o1.

OpenAI a récemment lancé sa nouvelle famille de modèles IA baptisée "Strawberry". Parmi eux, o1-preview et o1-mini se distinguent par leurs capacités de raisonnement. Depuis leur lancement la semaine dernière, l’entreprise a cependant adopté une position ferme envers les utilisateurs cherchant à comprendre leur fonctionnement interne.

Une approche protectionniste

Contrairement à ses précédents modèles comme GPT-4o, OpenAI a spécifiquement entraîné o1 pour résoudre des problèmes étape par étape avant de générer une réponse. Cette "chaîne de pensée" est visible par les utilisateurs dans l'interface ChatGPT, mais de manière filtrée. En effet, l’entreprise a délibérément choisi de cacher le processus de raisonnement brut, présentant à la place une interprétation créée par un second modèle. Cette décision a suscité la curiosité des passionnés et des professionnels du domaine. Hackers et "red-teamers" se sont lancés dans une course pour découvrir ce fonctionnement, utilisant diverses techniques de "jailbreaking" ou d'injection de prompts pour tenter de contourner les restrictions mises en place.

Une surveillance accrue et des avertissements

Face à ces tentatives, OpenAI a réagi de manière drastique. L'entreprise surveille étroitement les interactions via l'interface ChatGPT et envoie des avertissements par e-mail aux utilisateurs qui tentent de sonder le raisonnement d'o1, même s'il s'agit de simples curieux. Plusieurs d’entre eux ont rapporté en avoir reçu pour avoir simplement utilisé des termes comme "reasoning trace" (trace de raisonnement) dans leurs conversations avec le modèle. Certains affirment même que le simple fait de mentionner le "raisonnement" de ce dernier suffit à déclencher un avertissement. Ces e-mails indiquent que certaines requêtes ont été signalées comme violant les politiques contre le contournement des mesures de sécurité. OpenAI menace de suspendre l'accès à "GPT-4o with Reasoning" (nom interne du modèle o1) en cas de violations répétées.

Les raisons derrière cette opacité

Dans un billet de blog intitulé "Learning to Reason With LLMs", OpenAI explique que les chaînes de pensée cachées dans les modèles d'IA offrent une opportunité unique de "lire leur esprit" et de comprendre leurs processus de réflexion. Ces processus sont plus utiles pour l'entreprise s'ils restent bruts et non censurés, mais cela pourrait ne pas s'aligner avec ses intérêts commerciaux. Elle avance plusieurs raisons pour justifier cette décision:

• La surveillance future du modèle pour détecter d'éventuelles manipulations des utilisateurs.

• La nécessité de conserver un flux de données brut pour son propre usage.

• L'expérience utilisateur.

• L'avantage concurrentiel.

L'entreprise reconnaît que cette décision présente des inconvénients, mais affirme s'efforcer de compenser en enseignant au modèle à reproduire les idées utiles de la chaîne de pensée dans la réponse finale.

Réactions de la communauté

Cette approche d'OpenAI a suscité des réactions mitigées au sein de la communauté de l'IA. Simon Willison, chercheur indépendant dans le domaine, a exprimé sa frustration dans un article sur son blog personnel. Il interprète la notion d'"avantage concurrentiel" comme une volonté d'empêcher d'autres modèles de s'entraîner sur le travail de raisonnement dans lequel OpenAI a investi. Il considère également que c'est une perte pour la transparence de la communauté. En tant que développeur travaillant avec des modèles de langage, il estime que l'interprétabilité et la transparence sont cruciales. L'idée de ne pas avoir accès aux détails clés de l'évaluation d'un prompt complexe lui semble être un grand pas en arrière. Cette situation soulève des questions importantes sur l'équilibre entre l'innovation, la propriété intellectuelle et la transparence dans le domaine de l'IA. D'un côté, OpenAI cherche à protéger son investissement et à maintenir son avantage concurrentiel. De l'autre, la communauté scientifique et les développeurs plaident pour plus d'ouverture et de transparence, essentielles à l'avancement collectif de la technologie. Il est clair que le débat sur l'éthique et la gouvernance de l'IA continuera d'évoluer à mesure que ces technologies deviendront plus sophistiquées et omniprésentes. La façon dont des entreprises comme OpenAI gèrent ces questions aura un impact sur la direction que prendra le développement de l’IA dans les années à venir.