OpenAI DevDay 2024 - Un événement mondial pour les développeurs

Quatre innovations majeures qui transforment le développement d'applications avec l'IA.

Ce lundi, OpenAI a lancé son événement annuel DevDay à San Francisco, dévoilant quatre mises à jour majeures de ses API pour les développeurs. Contrairement à celui de l'année dernière qui se déroulait à un seul endroit, avec une présentation phare de Sam Altman, le PDG de l’entreprise, DevDay 2024 adopte une approche plus mondiale. En effet, d'autres événements sont prévus à Londres le 30 octobre et à Singapour le 21 novembre. Celui de San Francisco, sur invitation uniquement et fermé à la presse, a mis en avant des présentations techniques par des experts sur scène. L'élément phare de cette édition est sans doute la nouvelle API Realtime, désormais disponible en version bêta publique. Elle permet des conversations de type voix à voix grâce à six voix pré-configurées. Elle permet aux développeurs d'intégrer des fonctionnalités similaires au Mode Voix Avancé de ChatGPT (AVM) dans leurs applications, simplifiant ainsi la création d’assistants vocaux.

L'API Realtime: une révolution pour les assistants vocaux

L'API Realtime représente une avancée majeure pour les développeurs souhaitant créer des assistants vocaux. Avant cela, ils devaient utiliser plusieurs modèles distincts pour la reconnaissance vocale, le traitement du texte et la synthèse vocale. Désormais, une seule requête API permet de gérer l'intégralité du processus, simplifiant considérablement le développement. En outre, OpenAI a annoncé qu'il ajouterait prochainement des capacités d'entrée et de sortie audio à son API Chat Completions, permettant ainsi aux développeurs d'entrer du texte ou de l'audio et de recevoir des réponses dans l’un ou l’autre format.

De nouvelles options pour réduire les coûts d'inférence

Outre les améliorations en matière de voix, L’entreprise a dévoilé deux nouvelles fonctionnalités permettant aux développeurs de trouver un équilibre entre performance et coûts lors de la création d'applications utilisant l'intelligence artificielle. La première, appelée "distillation de modèle", offre la possibilité de personnaliser des modèles plus petits et moins coûteux comme GPT-4o mini en utilisant les sorties de ceux plus avancés tels que GPT-4o et o1-preview. Cela permet d'obtenir des résultats plus pertinents et précis tout en utilisant un modèle moins onéreux. La deuxième fonctionnalité, le "caching de prompt", s'inspire d'une technologie similaire introduite par Anthropic pour son API Claude en août. Elle accélère le processus d'inférence (on parle d'inférence en IA lorsqu'un modèle produit des prédictions ou des conclusions) en mémorisant les invites fréquemment utilisées. Ainsi, les développeurs bénéficient d'une réduction de 50 % sur les jetons d'entrée et d’un traitement plus rapide en réutilisant ceux déjà vus.

Fine-Tuning avec des images: une nouvelle capacité puissante

Autre nouveauté, OpenAI étend ses capacités de fine-tuning pour inclure les images, une fonctionnalité qu'ils appellent "vision fine-tuning". Cette amélioration permet aux développeurs de personnaliser GPT-4o en utilisant à la fois des images et du texte. Grâce à cela, ils peuvent enseigner à sa version multimodale de reconnaître visuellement certains éléments. Elle ouvre la porte à des applications innovantes comme des recherches visuelles améliorées, une détection plus précise d'objets pour les véhicules autonomes ou encore une analyse médicale d'images plus performante.

Un DevDay différent sans Sam Altman

Contrairement à l'année dernière, le DevDay 2024 n'a pas été diffusé en direct, bien qu'OpenAI ait prévu de publier des contenus ultérieurement sur sa chaîne YouTube. L'événement a inclus des sessions thématiques, des mises en lumière de la communauté et des démonstrations. Mais le changement le plus notable cette année est l'absence d'une présentation principale de Sam Altman. Lors de l'édition inaugurale du DevDay, le 6 novembre 2023, il avait pris la parole dans un style similaire à celui de Steve Jobs pour s'adresser aux développeurs, aux employés et à la presse. Cette keynote marquait également la participation surprise de Satya Nadella, PDG de Microsoft, qui avait vanté le partenariat entre les deux entreprises. Quelques jours plus tard cependant, le 17 novembre, le conseil d'administration d'OpenAI avait décidé de limoger Sam Altman, déclenchant une semaine de turbulences qui s’était soldée par son retour en tant que PDG et la mise en place d'un nouveau conseil. Selon des sources, son discours ainsi que l’introduction du GPT Store avaient été l'un des facteurs ayant contribué à son renvoi, bien que non décisif. Il semblerait que certaines divergences internes sur la direction plus "consommateur" prise par l'entreprise, notamment depuis le lancement de ChatGPT, aient été à l'origine de ce différend.

Fort de ce passé mouvementé et avec un accent mis sur les développeurs cette année, il est possible que la décision de l’écarter du discours d'ouverture ait été prise pour concentrer l'attention sur la technologie plutôt que sur la personne. Bien qu'il ne s’agisse que de spéculations, OpenAI a certainement traversé une période tumultueuse ces derniers mois, et ce choix pourrait avoir été fait dans un souci de prudence. L’intéressé est pourtant bel et bien présent à San Francisco. Il est prévu qu'il participe à une discussion non médiatisée à la clôture de l'événement, une intervention qui, à l'heure de la rédaction de cet article, n'a pas encore eu lieu. Sam Altman a d’ailleurs pris la parole sur X, où il a partagé quelques réflexions sur le DevDay et les progrès réalisés depuis l’année dernière.

Le DevDay 2024 marque une étape importante dans l'intégration des modèles d'IA dans les produits des développeurs, tout en adoptant une vision mondiale et en introduisant des mises à jour API clés qui révolutionneront les assistants vocaux, la réduction des coûts et la personnalisation des modèles. Tandis que l'événement met davantage l'accent sur la technologie que sur les personnalités, il est clair que l’entreprise continue de pousser les limites de l'IA, avec des avancées majeures qui promettent d'avoir un impact sur le développement d'applications dans le monde entier.