Google a annoncé hier une série de mises à jour, notamment le modèle Gemini 2.0 Flash, Deep Research, et bien plus encore. En outre, le géant de la recherche a présenté en avant-première ses prochains agents IA comme Project Mariner, Project Astra et Jules. Google a déclaré qu’il améliorait le projet Astra et que ses fonctionnalités seraient intégrées à l’application Gemini.
Parallèlement à cela, Google a discrètement publié « Stream Realtime » sur Google AI Studio, qui fonctionne de manière très similaire au projet Astra. La fonctionnalité est destinée aux développeurs pour tester l’API, mais les utilisateurs généraux peuvent également l’utiliser facilement et gratuitement. Vous pouvez utiliser votre caméra pour montrer votre environnement et parler à Gemini 2.0 en temps réel. La meilleure partie est que vous pouvez partager l’écran de votre ordinateur portable et interagir en utilisant la voix en temps réel.
La latence a été considérablement réduite et on a vraiment l’impression de converser avec Gemini 2.0 en temps réel. Vous pouvez utiliser l’appareil photo de votre smartphone ou la webcam de votre ordinateur portable pour montrer à Gemini ce que vous regardez. Vous pouvez également partager votre écran sur votre ordinateur portable. Voici comment vous pouvez essayer un aperçu anticipé de quelque chose comme le projet Astra à l’aide de Google AI Studio.
- Allez-y et lancez-vous aistudio.google.com/live dans le navigateur de votre mobile ou ordinateur portable/ordinateur de bureau.
- Maintenant, connectez-vous avec votre compte Google. Google AI Studio est gratuit pour tous.
- Après cela, appuyez ou cliquez sur « Afficher Gemini » et autorisez l’autorisation d’utiliser votre caméra et votre microphone en direct.
- Désormais, vous pouvez montrer votre environnement et parler à Gemini 2.0 en temps réel. Je l’ai testé avec mon smartphone et il a correctement identifié mes cartes Raspberry Pi en temps réel.
- Ensuite, sur mon ordinateur portable, j’ai partagé mon écran avec Gemini 2.0, et cela a plutôt bien fonctionné. Il a analysé mon écran et m’a donné quelques suggestions lors de la recherche d’un ordinateur portable. C’est vraiment cool.
Pour une assistance au codage en temps réel, la fonction de partage d’écran pourrait s’avérer utile. ChatGPT peut déjà voir votre écran sur macOS, mais il est limité à quelques applications de codage sélectionnées. OpenAI a précédemment annoncé l’arrivée de Live Camera sur ChatGPT, mais il n’y a pas eu de mise à jour officielle jusqu’à présent. Peut-être qu’au milieu des annonces en cours des « 12 jours d’OpenAI », la société pourrait lancer Live Camera sur ChatGPT.
À propos, Microsoft teste également Copilot Vision, qui peut voir votre écran lorsque vous naviguez sur le Web, mais il est encore une fois limité à quelques sites Web approuvés et disponible uniquement pour les utilisateurs à accès anticipé.
Avec Stream Realtime, Google présente quelque chose de très proche du Project Astra. Bien sûr, le projet Astra amélioré peut exploiter les données en temps réel de Google Maps, Google Lens et Google Search pour une expérience encore plus fluide, mais il n’est pas encore disponible. Je dirais que même sans accès Web en direct, Stream Realtime constitue une excellente démo du Projet Astra. Qui sait, Stream Realtime est peut-être le Projet Astra dans les coulisses.
