Si vous avez lu le subreddit ChatGPT de Twitter ou de Reddit, vous verrez une question posée plus que toute autre : ChatGPT devient-il de plus en plus stupide ? Les performances du chatbot IA génératif le plus performant au monde diminuent-elles avec le temps, ou les millions d’utilisateurs de ChatGPT hallucinent-ils collectivement des problèmes de qualité ?
Est-ce que ChatGPT s’aggrave ?
C’est une question que se posent de nombreux utilisateurs de ChatGPT : ChatGPT devient-il de plus en plus stupide ? OpenAI publie régulièrement des mises à jour de ChatGPT conçues pour peaufiner ses réponses, sa sécurité et bien plus encore, en utilisant les commentaires des utilisateurs, les invites et les données des utilisateurs pour éclairer sa direction.
Mais alors que ChatGPT semblait être une solution géniale à presque tous les problèmes lors de son lancement, de plus en plus d’utilisateurs signalent des problèmes avec ses réponses et ses résultats. Les compétences de raisonnement, de codage et de mathématiques de ChatGPT sont particulièrement remarquables, même si d’autres notent qu’il a également du mal à effectuer des tâches créatives.
Pour la plupart des utilisateurs de ChatGPT, le moyen le plus simple de vérifier l’évolution des réponses au fil du temps est de répéter une invite précédemment utilisée (de préférence à partir des premiers jours de ChatGPT) et d’analyser les deux sorties.
Voici une réponse du 22 juin par rapport à aujourd’hui sur la question des femmes et de la baisse de la fertilité. Quelles conclusions pouvez-vous en tirer ? pic.twitter.com/gLBnc7PuVC — John Holowach (@johnholowach) 13 juillet 2023
Les réponses nécessitant des résultats spécifiques, comme celles impliquant du codage et des mathématiques, sont probablement plus faciles à comparer directement.
Une étude de Stanford suggère l’abandon de ChatGPT
Un groupe de recherche de l’Université de Stanford et de l’Université de Californie à Berkeley estime que ces sentiments selon lesquels ChatGPT est en train de changer pourraient être justifiés. L’article de Lingjiao Chen, Matei Zaharia et James Zou intitulé Comment le comportement de ChatGPT évolue-t-il au fil du temps ? [PDF] est l’une des premières études approfondies sur les capacités changeantes de ChatGPT.
Le résumé du rapport explique :
Nous constatons que les performances et le comportement de GPT-3.5 et de GPT-4 peuvent varier considérablement au fil du temps. Par exemple, GPT-4 (mars 2023) était très bon pour identifier les nombres premiers (précision de 97,6 %), mais GPT-4 (juin 2023) était très mauvais sur ces mêmes questions (précision de 2,4 %). Il est intéressant de noter que GPT-3.5 (juin 2023) était bien meilleur que GPT-3.5 (mars 2023) dans cette tâche. GPT-4 était moins disposé à répondre à des questions sensibles en juin qu’en mars, et GPT-4 et GPT-3.5 présentaient plus d’erreurs de formatage dans la génération de code en juin qu’en mars.
Lorsque ChatGPT a été confronté à des problèmes mathématiques que ChatGPT était en mesure de résoudre plus tôt en 2023, les réponses fournies plus tard dans l’année étaient extrêmement inexactes. De plus, ChatGPT a expliqué en détail pourquoi la réponse était correcte alors qu’elle était fausse. Les cas d’hallucinations de l’IA ne sont pas nouveaux, mais les chiffres des graphiques ci-dessous suggèrent un changement significatif dans le raisonnement général.
Les graphiques suggèrent que les réponses de ChatGPT dérivent, ce qui est encore souligné par le rapport.
La précision de GPT-4 est passée de 97,6 % en mars à 2,4 % en juin, et la précision de GPT-3.5 a connu une nette amélioration, passant de 7,4 % à 86,8 %. De plus, la réponse de GPT-4 est devenue beaucoup plus compacte : sa verbosité moyenne (nombre de caractères générés) est passée de 821,2 en mars à 3,8 en juin. D’autre part, la longueur de la réponse de GPT-3.5 a augmenté d’environ 40 %. Le chevauchement des réponses entre les versions de mars et de juin était également faible pour les deux services.
Le rapport explique que la chaîne de pensée du modèle linguistique de ChatGPT « n’a pas fonctionné » lorsqu’elle a été confrontée aux questions en juin. La dérive des conversations a toujours été un problème notable avec les LLM, mais l’extrême variance des réponses suggère des problèmes de performances et des changements dans ChatGPT.
ChatGPT va-t-il empirer ? OpenAI dit non
Est-ce simplement une coïncidence si les utilisateurs occasionnels et prolifiques de ChatGPT remarquent l’évolution de la qualité de ChatGPT ?
Le document de recherche suggère que non, mais le vice-président des produits d’OpenAI, Peter Welinder, suggère le contraire.
En outre, Welinder a ensuite souligné les versions d’OpenAI pour ChatGPT et le flux constant de mises à jour que la société a fournies tout au long de 2023.
Cela n’a cependant pas empêché de nombreuses réponses à son tweet détaillant comment les utilisateurs ont trouvé les réponses de ChatGPT insuffisantes, beaucoup prenant le temps d’annoter les invites et les réponses.
OpenAI peut-il restaurer ChatGPT à son état d’origine ?
Les premiers jours de ChatGPT semblent désormais bien loin ; novembre 2022 n’est plus qu’un vague souvenir et le monde de l’IA évolue rapidement.
Pour beaucoup, l’étude de Stanford/Berkeley illustre parfaitement les problèmes et les frustrations liés à l’utilisation de ChatGPT. D’autres affirment que les modifications et les ajustements apportés à ChatGPT pour en faire un outil plus sûr et plus inclusif ont également directement altéré sa capacité à raisonner correctement, affaiblissant ses connaissances et ses capacités globales au point de le rendre inutilisable.
Il semble qu’il ne fasse aucun doute que ChatGPT a changé. La question de savoir si ChatGPT retrouvera ses prouesses d’origine est une toute autre histoire.
Soutenez notre effort ❤️
Si vous avez apprécié cet article, pensez à laisser un pourboire pour nous aider à continuer à publier du contenu de qualité.
