Cette analyse intervient moins de 24 heures après que la société a annoncé une mise à niveau du modèle GPT-4o. « La capacité d’écriture créative du modèle s’est améliorée : une écriture plus naturelle, engageante et adaptée pour améliorer la pertinence et la lisibilité. » OpenAI a écrit sur X. « Il est également plus efficace de travailler avec des fichiers téléchargés, en fournissant des informations plus approfondies et des réponses plus approfondies. » La question de savoir si ces affirmations continuent de tenir est désormais mise en doute.
Vidéos recommandées
« Nous avons terminé hier l’exécution de nos évaluations indépendantes sur la version GPT-4o d’OpenAI et mesurons systématiquement des scores d’évaluation sensiblement inférieurs à ceux de la version d’août de GPT-4o », indique le communiqué. Analyse artificielle annoncée via un post X jeudi, notant que l’indice de qualité de l’analyse artificielle du modèle a diminué de 77 à 71 (et est désormais égal à celui du GPT-4o mini).
De plus, les performances de GPT-4o sur le benchmark GPQA Diamond ont diminué de 51 % à 39 %, tandis que ses benchmarks MATH ont diminué de 78 % à 69 %.
Simultanément, les chercheurs ont découvert que la vitesse de réponse du modèle avait plus que doublé, passant d’environ 80 jetons de sortie par seconde à environ 180 jetons/s. « Nous avons généralement observé des vitesses nettement plus rapides le jour du lancement pour les modèles OpenAI (probablement en raison de la capacité de provisionnement d’OpenAI avant l’adoption), mais nous n’avions pas vu auparavant une différence de vitesse 2x », ont écrit les chercheurs.
Attendez, le nouveau GPT-4o est-il un modèle plus petit et moins intelligent ?
Nous avons terminé hier nos évaluations indépendantes sur la version GPT-4o d’OpenAI et mesurons systématiquement des scores d’évaluation sensiblement inférieurs à ceux de la version d’août de GPT-4o.
GPT-4o (novembre) vs GPT-4o (août) :
➤… pic.twitter.com/gjY2pBFuUv
– Analyse artificielle (@ArtificialAnlys) 21 novembre 2024
« Sur la base de ces données, nous concluons qu’il est probable que le modèle GPT-4o d’OpenAI du 20 novembre soit un modèle plus petit que la version d’août », ont-ils poursuivi. « Étant donné qu’OpenAI n’a pas réduit les prix de la version du 20 novembre, nous recommandons aux développeurs de ne pas déplacer les charges de travail de la version d’août sans des tests minutieux. »
GPT-4o a été lancé pour la première fois en mai 2024 pour surpasser les modèles GPT-3.5 et GPT-4 existants. Selon OpenAI, GPT-4o offre des résultats de référence de pointe dans les tâches vocales, multilingues et visuelles, ce qui le rend idéal pour les applications avancées telles que la traduction en temps réel et l’IA conversationnelle.
