Un expert en IA a accusé OpenAI de réécrire son histoire et d’être trop dédaigneux des problèmes de sécurité.
L’ancien chercheur politique d’Openai, Miles Brundage, a critiqué la récente Document de sécurité et d’alignement publié cette semaine. Le document décrit OpenAI comme un effort de l’intelligence générale artificielle (AGI) à de nombreuses petites étapes, plutôt que de faire un «saut géant», affirmant que le processus de déploiement itératif lui permettra de prendre des problèmes de sécurité et d’examiner le potentiel d’utilisation abusive de l’IA à chaque étape.
Vidéos recommandées
Parmi les nombreuses critiques de la technologie de l’IA comme Chatgpt, les experts craignent que les chatbots ne donnent des informations inexactes concernant la santé et la sécurité (comme le tristement célèbre problème avec la fonction de recherche d’IA de Google qui a demandé aux gens de manger des roches) et qu’ils pourraient être utilisés pour la manipulation politique, la désinformation et les escroqueries. Openai en particulier a attiré des critiques faute de transparence dans la façon dont il développe ses modèles d’IA, qui peuvent contenir des données personnelles sensibles.
La publication du document OpenAI de cette semaine semble être une réponse à ces préoccupations, et le document implique que le développement du modèle GPT-2 précédent était «discontinu» et qu’il n’a pas été initialement publié en raison de «préoccupations concernant les applications malveillantes», mais maintenant la société se dirigera vers un principe de développement itératif à la place. Mais Brundage soutient que le document modifie le récit et n’est pas une représentation précise de l’histoire du développement de l’IA à OpenAI.
« La libération d’Openai de GPT-2, dans laquelle j’étais impliqué, était à 100% cohérente + préfigurant la philosophie actuelle d’Openai du déploiement itératif », a écrit Brundage X. «Le modèle a été publié progressivement, avec des leçons partagées à chaque étape. De nombreux experts en sécurité à l’époque nous ont remercié pour cette prudence. »
Brundage a également critiqué l’approche apparente de la société en fonction de ce document, en écrivant que «il semble qu’il y ait un fardeau de preuve mis en place dans cette section où les préoccupations sont alarmistes + vous avez besoin de preuves accablantes de dangers imminents pour agir sur eux – sinon, continuez simplement l’expédition. C’est une mentalité très dangereuse pour les systèmes d’IA avancés. »
Cela arrive à un moment où Openai est sous le contrôle de plus en plus «Produits brillants» sur la sécurité.
