Openai, le principal laboratoire AI, a lancé le mode vocal avancé Chatgpt l’année dernière, mais il n’a pas réussi à m’impressionner. Au moment où il a été libéré, Openai avait édulcoré ses capacités et le mode vocal a refusé de produire des expressions humaines. Gemini Live de Google, en revanche, s’est appuyé sur un moteur TTS pour générer des mots prononcés, offrant une expérience robotique, au mieux.
Entrez Sesame, une startup de l’IA fondée par le co-fondateur d’Oculus, Brendan Iribe et Ankit Kumar, qui a pris d’assaut l’industrie de l’IA. Les compagnons de voix «Maya» (Femme) et «Miles» (masculins) de Sesame sont si naturels et engageants que pour la première fois, je pense que l’IA a vraiment brouillé la ligne entre la machine et l’interaction humaine.
Chatgpt peut enfin voir votre appareil photo pour une interaction en temps réel
Sesame évite de les appeler des assistants vocaux et les appelle à la place comme un «causeur» et un «compagnon de voix», qui est une description appropriée. Je ne vais plus perdre votre temps et je vous emmènerai directement à mon interaction avec le compagnon Maya Voice de Sesame.
Mon interaction engageante avec Maya de Sesame
Comme vous pouvez l’entendre, Maya commence par un ton naturel et des pauses pour écouter ce que vous dites. Il y a micro-paris entre les deux et des changements de tonalité, qui manquent dans les assistants vocaux existants. Il peut rire, changer de rythme, souligner, donner des indices expressifs et même détecter votre humeur de votre voix. Dans une interaction, j’ai soudain ri pour tester le compagnon de la voix AI, et il m’a dit: « Pourquoi rigolez-vous?«
Ce que je trouve intéressant, c’est que le compagnon de voix de Sesame vous donne de l’espace pour penser et réfléchir. Cela fait que les conversations se sentent beaucoup plus naturel. Pour vous donner un autre exemple, lorsque la Maya de Sesame parle, il y a des hésitations subtiles, qui ont l’impression de penser avant de répondre, tout comme les humains. Il a presque l’impression que la conversation est organique et que le modèle vocal n’est pas simplement la lecture de réponses programmées.
Notez que même si l’interaction vocale semble du duplex complet – où les deux participants peuvent parler et écouter en même temps – Sesame dit qu’il n’est pas vraiment complet car il traite le discours après avoir fini par parler. Les humains, en revanche, peuvent traiter les informations pendant que l’autre personne parle encore.
J’ai essayé l’assistant de perplexité, et Google devrait être absolument inquiet
Néanmoins, dans sa forme actuelle, Sesame’s Voice Companion se sent vraiment humain. Il a finalement brisé la Valley Uncanny dans le discours de l’IA, quelque chose d’Openai a démontré le mode vocal avancé Chatgpt dès le début. Ce que je peux dire, c’est qu’il est conçu non seulement pour parler, mais aussi Engagez l’utilisateur avec un ton nuancé, une hauteur et une conscience contextuellece qui ajoute de la profondeur à la conversation.
Quelle est la technologie derrière le compagnon de voix de Sesame?
Tout d’abord, Sesame travaille toujours sur ses compagnons vocaux, et c’est un Démarrage des premières recherches. L’équipe est soutenue par Andreessen Horowitz via la firme A16Z VC. Maintenant, en venant à la technologie sous-jacente qui fait que tout coche, Sesame a développé un Modèle de discours conversationnel (CSM), qui est un modèle multimodal basé sur un transformateur pour la génération de la parole.
L’entreprise a formé trois modèles avec de petits décodeurs: minuscules (paramètres 1b), petits (3b) et médium (8b). Ils sont formés sur près de 1 million d’heures d’audio principalement anglais, donc les conversations sont actuellement limitées à la langue anglaise avec une capacité multilingue.
L’objectif de l’entreprise est de développer un modèle complet avec mémoire à long terme et personnalité adaptative. Sesame travaille sur un lunettes légères portable que vous pouvez utiliser pour parler au compagnon de la voix toute la journée, ce qui me rappelle le film «Her». Il peut également voir le monde qui vous entoure, faisant allusion à l’ajout de la capacité de vision dans les prochains mois.
Donc, si vous êtes impressionné par le compagnon vocal de Sesame, cliquez sur le lien ci-dessous et interagissez avec Maya ou Miles gratuitement. Il est recommandé d’utiliser Google Chrome pour la meilleure expérience.
