OpenAI et ses technologies ont été au cœur de scandales pendant la majeure partie du mois de novembre. Entre le licenciement et la réembauche rapides du PDG Sam Altman et le cas curieux de l’arrêt des abonnements payants à ChatGPT Plus, OpenAI a maintenu le secteur de l’intelligence artificielle au cœur de l’actualité pendant des semaines.
Aujourd’hui, les passionnés d’IA ont remis en cause un problème qui amène de nombreuses personnes à se demander si GPT-4 ne devient pas « plus paresseux » à mesure que le modèle de langage continue d’être entraîné. Beaucoup de ceux qui l’utilisent pour accélérer des tâches plus intensives se sont tournés vers X (anciennement Twitter) pour exprimer leurs griefs concernant les changements perçus.
OpenAI a suffisamment sécurisé GPT-4 pour qu’il devienne paresseux et incompétent.
Convertir ce fichier ? Trop long. Écrire un tableau ? Voici les trois premières lignes. Lire ce lien ? Désolé, je ne peux pas. Lire ce fichier py ? Oups, ce n’est pas autorisé.
Tellement frustrant.
— Rohit (@krishnanrohit) 28 novembre 2023
Rohit Krishnan sur X détaillé plusieurs Il a expliqué que le chatbot avait refusé plusieurs de ses requêtes ou lui avait donné des versions tronquées de ses demandes alors qu’il avait pu obtenir des réponses détaillées auparavant. Il a également noté que le modèle de langage utilisera d’autres outils que ceux qui lui ont été demandés, comme Dall-E lorsqu’une invite demande un interpréteur de code. Krishnan a également ajouté avec sarcasme que « l’analyse des erreurs » est la façon dont le modèle de langage dit « AFK » [away from keyboard]je reviens dans quelques heures.
Matt Wensing sur X a détaillé son expérienceoù il a demandé à ChatGPT Plus de faire une liste de dates entre aujourd’hui et le 5 mai 2024, et le chatbot a eu besoin d’informations supplémentaires, comme le nombre de semaines entre ces dates, avant de pouvoir terminer la tâche initiale.
Ethan Mollick, professeur à Wharton également partagé ses observations sur GPT-4 après avoir comparé les séquences avec l’interpréteur de code qu’il a exécuté en juillet avec des requêtes plus récentes de mardi. Il a conclu que GPT-4 est toujours compétent, mais a noté que cela lui a expliqué comment corriger son code au lieu de réellement le corriger. En substance, il devrait faire le travail qu’il demandait à GPT-4 de faire. Bien que Mollick n’ait pas eu l’intention de critiquer le langage, ses observations vont dans le sens de ce que d’autres ont décrit comme des « répliques » de GPT-4.
ChatGPT est connu pour halluciner les réponses aux informations qu’il ne connaît pas, mais ces erreurs semblent aller bien au-delà des faux pas courants du chatbot IA. GPT-4 a été introduit en mars, mais dès juillet, des rapports ont commencé à faire surface sur le fait que le modèle linguistique devenait « plus bête ». Une étude réalisée en collaboration avec l’Université de Stanford et l’Université de Californie à Berkeley a observé que la précision de GPT-4 est passée de 97,6 % à 2,4 % entre mars et juin seulement. Elle a précisé que la version payante de ChatGPT était incapable de fournir la bonne réponse à une équation mathématique avec une explication détaillée, tandis que la version gratuite qui exécute toujours un ancien modèle GPT 3.5 donnait la bonne réponse et une explication détaillée du processus mathématique.
Pendant ce temps, Peter Welinder, vice-président des produits OpenAI, suggéré que les utilisateurs intensifs pourraient être confrontés à un phénomène psychologique où la qualité des réponses pourrait sembler se dégrader au fil du temps alors que le modèle linguistique devient en réalité plus efficace.
On s’est demandé récemment si GPT-4 était devenu « paresseux ». Mes tests anecdotiques suggèrent que cela pourrait être vrai.
J’ai répété une séquence d’anciennes analyses que j’ai faites avec Code Interpreter. GPT-4 sait toujours quoi faire, mais continue de me dire de faire le travail. Une étape est maintenant multiple et certaines sont étranges. pic.twitter.com/OhGAMtd3Zq
– Ethan Mollick (@emollick) 28 novembre 2023
Selon Mollick, les problèmes actuels pourraient également être temporaires et dus à une surcharge du système ou à un changement de style d’invite qui n’a pas été signalé aux utilisateurs. OpenAI a notamment cité une surcharge du système comme raison de la fermeture de l’inscription à ChatGPT Plus suite à l’augmentation de l’intérêt pour le service après que sa conférence inaugurale des développeurs DevDay a introduit une multitude de nouvelles fonctions pour la version payante du chatbot IA. Il existe toujours une liste d’attente pour ChatGPT Plus. Le professeur a également ajouté que ChatGPT sur mobile utilise un style d’invite différent, ce qui se traduit par des « réponses plus courtes et plus précises ».
Yacine sur X détaillé que Le manque de fiabilité du dernier modèle GPT-4 en raison de la baisse de l’adhésion aux instructions les a poussés à revenir au codage traditionnel, ajoutant qu’ils prévoient de créer un LLM de code local pour reprendre le contrôle des paramètres du modèle. D’autres utilisateurs ont mentionné avoir opté pour des options open source au milieu du déclin du modèle de langage.
De même, l’utilisateur de Reddit, Mindless-Ad8595 a expliqué que Les mises à jour les plus récentes de GPT-4 l’ont rendu trop intelligent pour son propre bien. « Il n’est pas livré avec un « chemin » prédéfini qui guide son comportement, ce qui le rend incroyablement polyvalent, mais aussi quelque peu sans direction par défaut », a-t-il déclaré.
Le programmeur recommande aux utilisateurs de créer des GPT personnalisés spécialisés par tâche ou application pour augmenter l’efficacité de la sortie du modèle. Il ne propose aucune solution pratique aux utilisateurs restant dans l’écosystème d’OpenAI.
Développeur d’applications Nick Dobos a partagé son expérience avec les mésaventures de GPT-4, notant que lorsqu’il a demandé à ChatGPT de écrire pong dans SwiftUIil a découvert divers espaces réservés et tâches à effectuer dans le code. Il a ajouté que le chatbot ignorait les commandes et continuait à insérer ces espaces réservés et tâches à effectuer dans le code même lorsqu’il recevait l’ordre de faire autrement. Plusieurs utilisateurs de X ont confirmé des expériences similaires de ce type avec leurs propres exemples de code comportant des espaces réservés et des tâches à effectuer. Le message de Dobos a attiré l’attention d’un employé d’OpenAI qui a déclaré qu’il transmettrait des exemples à l’équipe de développement de l’entreprise pour un correctif, avec la promesse de partager toutes les mises à jour dans l’intervalle.
Dans l’ensemble, il n’existe aucune explication claire quant aux complications actuelles de GPT-4. Les utilisateurs qui discutent de leurs expériences en ligne ont suggéré de nombreuses idées. Celles-ci vont de la fusion de modèles OpenAI à une surcharge continue du serveur due à l’exécution simultanée de GPT-4 et de GPT-4 Turbo, en passant par la tentative de l’entreprise d’économiser de l’argent en limitant les résultats, entre autres.
Il est bien connu qu’OpenAI gère un fonctionnement extrêmement coûteux. En avril 2023, les chercheurs ont indiqué qu’il fallait 700 000 dollars par jour, soit 36 cents par requête, pour maintenir ChatGPT en activité. Les analystes du secteur ont alors précisé qu’OpenAI devrait étendre sa flotte de GPU de 30 000 unités pour maintenir ses performances commerciales pour le reste de l’année. Cela impliquerait la prise en charge des processus ChatGPT, en plus du calcul pour tous ses partenaires.
En attendant que les performances de GPT-4 se stabilisent, les utilisateurs ont échangé plusieurs plaisanteries, minimisant la situation sur X.
« La prochaine chose que vous savez, ce sera d’appeler pour dire que vous êtes malade. » Seigle du Sud dit.
« Tant de réponses avec « et vous faites le reste ». Non, c’est VOUS qui faites le reste », M. Garnett dit.
Le nombre de réponses et de messages concernant le problème est vraiment difficile à ignorer. Il faudra attendre de voir si OpenAI peut s’attaquer au problème de front dans une future mise à jour.
Soutenez notre effort ❤️
Si vous avez apprécié cet article, pensez à laisser un pourboire pour nous aider à continuer à publier du contenu de qualité.
