Pourquoi l'IA a du mal avec les jeux vidéo: l'expérience de Quake II de Microsoft

Pourquoi l’IA a du mal avec les jeux vidéo: l’expérience de Quake II de Microsoft

À mesure que les outils d’IA s’améliorent, nous continuons à nous encourager à décharger de plus en plus de tâches complexes. Les LLM peuvent écrire nos e-mails pour nous, créer des présentations, concevoir des applications, générer des vidéos, rechercher sur Internet et résumer les résultats, et bien plus encore. Cependant, une chose avec laquelle ils ont encore du mal, ce sont les jeux vidéo.

Jusqu’à présent cette année, deux des plus grands noms de l’IA (Microsoft et Anthropic) ont essayé d’amener leurs modèles à générer ou à jouer à des jeux, et les résultats sont probablement beaucoup plus limités que de nombreuses personnes ne l’attendent.

Cela en fait des vitrines parfaites de l’endroit où se trouve l’IA génératrice en ce moment – en bref: cela peut faire beaucoup plus qu’auparavant, mais il ne peut pas tout faire.

Microsoft génère Quake II

La génération de jeux vidéo a des problèmes similaires à la génération de vidéos – le mouvement est bizarre et morph-y, et l’IA commence à perdre le contact avec la «réalité» après un certain temps. La dernière tentative de Microsoft, qui Tout le monde peut essayerest une version générée par l’AI de Quake II.

Je l’ai joué à plusieurs reprises et c’est une expérience vraiment trippante, avec des ennemis étranges et maculés apparaissant de nulle part et l’environnement qui change autour de vous pendant que vous bougez. Plusieurs fois lorsque je suis entré dans une nouvelle pièce, l’entrée serait partie quand je me retournais pour y faire face – et quand j’avais regardé à nouveau en avant, les murs auraient bougé.

L’expérience ne dure que quelques minutes avant qu’elle ne coupe et vous invite à démarrer un nouveau jeu – mais si vous n’avez pas de chance, il peut arrêter de répondre correctement à vos entrées avant même cela.

C’est une excellente expérience, cependant, et je pense que plus de gens peuvent le voir. Il vous permet de vivre par vous-même dans quel genre AI est bon et quelles sont ses limites actuelles. Aussi impressionnant que nous pouvons générer une expérience de jeu vidéo interactive, il est difficile d’imaginer que n’importe qui pourrait jouer à cette démo technologique et penser que le prochain Assassin’s Creed sera fabriqué par l’IA.

Cependant, ces types de pensées et d’hypothèses existent, et c’est en grande partie parce que les gens ne peuvent pas échapper à entendre parler de l’IA pour le moment. Même si vous ne vous souciez pas de l’intelligence artificielle, elle sera toujours poussée dans votre visage partout où vous allez. Le problème est que les informations que la personne moyenne obtient est presque entièrement composée de marketing de grande technologie et de commentaires PDG qui sont récupérés par des publications de nouvelles.

Cela signifie qu’ils entendent des affirmations exagérées et contradictoires comme celles-ci:

Il a le potentiel de résoudre certains des plus grands problèmes du monde, tels que le changement climatique, la pauvreté et les maladies. (Bill Gates)

Probablement en 2025, nous, chez Meta, ainsi que les autres sociétés qui travaillent essentiellement à ce sujet, allons avoir une IA qui peut effectivement être une sorte d’ingénieur de niveau intermédiaire que vous avez dans votre entreprise qui peut écrire du code. (Mark Zuckerberg)

L’utilisation efficace de l’IA est désormais une attente fondamentale de tout le monde chez Shopify. C’est un outil de tous les métiers aujourd’hui et ne fera que croître en importance. Franchement, je ne pense pas qu’il soit possible de se retirer de l’apprentissage de la compétence de l’application de l’IA dans votre métier. (Tobi LutkePDG de Shopify)

Nous sommes maintenant convaincus que nous savons comment construire AGI car nous l’avons traditionnellement compris. Nous pensons qu’en 2025, nous pouvons voir les premiers agents de l’IA «rejoindre le marché du travail» et modifier matériellement la production des entreprises. (Sam AltmanPDG d’Openai)

L’IA est plus dangereuse que, disons, la conception des avions malnalisé ou l’entretien de la production ou la mauvaise production de voitures, en ce sens, il a le potentiel – même si petit peut considérer que la probabilité, mais elle n’est pas triviale – elle a le potentiel de destruction de la civilisation. (Elon Musk)

Tout cela est assez extrême, non? Cela nous sauvera et nous détruira, c’est à la fois un outil de tous les métiers contre des professionnels et un outil qui remplacera les professionnels – et apparemment, nous pourrions obtenir AGI de niveau Sci-Fi dès cette année. Lorsque tout le monde entend, ils commencent à s’attendre à des choses assez étonnantes de ces outils et à croire que tous les employés de bureau passent leurs journées à converser avec leurs ordinateurs comme les personnages de Star Trek.

Cependant, ce n’est pas à quoi ressemble la réalité. La réalité ressemble à un Quake II trippant et inutile avec des formes incompréhensibles pour les ennemis. Les LLM au niveau de Chatgpt ont vraiment été une percée passionnante en 2025, et une tonne de plaisir pour tout le monde pour jouer avec – mais pour la majorité des utilisations, les grandes technologies nous poussent en ce moment, l’IA n’est tout simplement pas assez capable. Les niveaux de précision sont trop faibles, les capacités de suivi des instructions sont trop faibles, les fenêtres de contexte sont trop petites et elles sont simplement formées sur les absurdités Internet au lieu des connaissances réelles.

Mais générer un jeu vidéo est un objectif assez complexe – il faut des années entières d’équipes humaines pour faire ces choses, après tout. Que diriez-vous de jouer à des jeux vidéo à la place?

Claude « Plays » Pokémon rouge

Eh bien, il s’avère que les gens expérimentent aussi. Le nouveau modèle d’Anthropic, Claude 3.7 Sonnet, a joué Pokémon rouge sur Twitch Depuis environ deux mois maintenant, et il fait le meilleur travail qu’un LLM ait jamais fait pour jouer à Pokémon. Une légère mise en garde, cependant, est qu’il est toujours à des kilomètres derrière l’humain moyen de 10 ans.

L’un des problèmes est la vitesse – il faut Claude des milliers d’actions s’étendant sur plusieurs jours pour faire des choses comme faire la forêt de Viridian.

Pourquoi cela prend-il si longtemps? Ce n’est pas parce qu’il ne peut pas comprendre comment gagner stratégiquement les batailles Pokémon – c’est en fait la partie dans laquelle il est le mieux. Naviguer dans l’environnement et éviter les arbres et les bâtiments, en revanche – pas si bon. Claude n’a jamais été formé pour jouer à Pokémon, et il n’est pas facile pour lui de comprendre l’art des pixels et ce qu’il représente.

Le faire à travers des zones de type labyrinthe comme Mt. Moon est particulièrement difficile pour lui, car il a du mal à former une carte de la zone et à éviter de retracer ses pas. Une fois, il s’est fait si coincé dans un coin qu’il a conclu que le jeu a été brisé et a généré une demande officielle de réinitialiser le jeu.

Il n’est pas non plus génial pour se souvenir des objectifs, ce qu’il a déjà essayé, ou quels endroits il a déjà été.

Il y a une raison assez simple à celle-là – les LLM ont une «fenêtre de contexte» finie qui agit comme leur mémoire. Il ne peut contenir tellement d’informations, et une fois que Claude atteint la limite, il condense ce qu’il doit faire de la place pour plus. Ainsi, une information comme «Visited Viridian City, est entrée dans tous les bâtiments et a parlé à chaque PNJ» pourrait être condensé pour simplement «visiter la ville de Viridian» – incitant Claude à revenir en arrière et à vérifier s’il y avait plus à faire dans la ville.

Pour résumer: Claude ne peut pas comprendre où il va, il entre dans les murs, confond des objets aléatoires pour les PNJ, oublie où il a été et ce qu’il essaie de faire, et chaque décision qu’il prend nécessite des paragraphes et des paragraphes de raisonnement. Ce n’est pas une critique – ce sont tous deux des expériences passionnantes qui poussent les LLMs aussi loin que possible.

Mais avec tout le battage médiatique autour de l’IA, il est important pour les gens de voir des démos comme celles-ci et de faire leur propre esprit sur l’IA. Certaines chiffres tentent de pousser le récit que nous sommes sur le point d’atteindre le sommet – que dans les années, l’IA sera au-delà même des humains les plus intelligents – mais je ne pense pas qu’ils soient sincères, ils sont juste des vendeurs. Nous sommes loin du sommet, tout cela ne fait que commencer.

Voir aussi:  Elon Musk rejoint Microsoft pour un projet de data center de 30 milliards de dollars
Moyens I/O Staff est une équipe de rédacteurs spécialisés, passionnés par la technologie, l’innovation et les usages numériques. Forts d’une expertise pointue en IA, applications mobiles, gaming et tendances digitales, nous produisons un contenu rigoureux, vérifié et utile. Notre mission : vous offrir une information fiable et claire pour mieux naviguer dans le monde numérique en constante évolution.