Lors de Google I/O 2023, le géant de la recherche a enfin dévoilé PaLM 2son dernier modèle de langage à usage général. PaLM 2 est la base sur laquelle de nombreux produits Google sont désormais construits, notamment Google Generative AI Search, Duet AI dans Google Docs et Gmail, Google Bard, et bien d’autres. Mais quel est exactement le modèle d’IA Google PaLM 2 ? Est-il meilleur que GPT-4 ? Prend-il en charge les plugins ? Pour répondre à toutes vos questions, parcourez notre explication détaillée sur le modèle d’IA PaLM 2 publié par Google.
Quel est le modèle d’IA PaLM 2 de Google ?
PaLM 2 est le dernier modèle de langage étendu (LLM) publié par Google qui est très performant dans Raisonnement avancé, codage et mathématiquesIl est également multilingue et prend en charge plus de 100 langues. PaLM 2 est le successeur du modèle de langage Pathways (PaLM) lancé en 2022.
La première version de PaLM a été formée sur 540 milliards de paramètres, ce qui en fait l’un des plus grands LLM du marché. Cependant, en 2023, Google a proposé PaLM 2, qui est beaucoup plus petit en taille, mais plus rapide et plus efficace que la concurrence.
Dans PaLM 2 Rapport technique de 92 pagesGoogle n’a pas mentionné la taille du paramètre, mais selon un TechCrunch rapportl’un des Les modèles PaLM 2 ne sont formés que sur 14,7 milliards de paramètresce qui est bien inférieur à PaLM 1 et à d’autres modèles concurrents. chercheurs sur Twitter, ils disent que le plus grand modèle PaLM 2 est probablement formé sur 100 milliards de paramètres, ce qui est encore bien inférieur à la concurrence.
Pour vous donner une idée, le modèle GPT-4 d’OpenAI est censé être formé sur 1 000 milliards paramètres, ce qui est tout simplement époustouflant. Le modèle GPT-4 est au moins 10 fois plus grand que PaLM 2.
Comment Google a rendu PaLM 2 plus petit ?
Dans le blog officielGoogle affirme que plus grand n’est pas toujours mieux et que la créativité en recherche est la clé pour créer de bons modèles. Ici, par « créativité en recherche », Google fait probablement référence à l’apprentissage par renforcement à partir de commentaires humains (RLHF), mise à l’échelle optimale du calculet d’autres techniques nouvelles.
Google n’a pas révélé quelle créativité de recherche il emploie dans PaLM 2, mais il semble que la société pourrait utiliser LoRA (Adaptation de bas rang)le réglage des instructions et des ensembles de données de qualité pour obtenir de meilleurs résultats malgré l’utilisation d’un modèle relativement plus petit.
Dans l’ensemble, PaLM 2 est un modèle LLM qui est plus rapide, relativement plus petit et rentable car il prend en charge moins de paramètres. En même temps, il apporte des capacités telles que le raisonnement de bon sens, une meilleure interprétation logique, des mathématiques avancées, une conversation multilingue, la maîtrise du codage, etc. C’étaient les bases du modèle PaLM 2, passons maintenant à l’apprentissage de ses fonctionnalités en détail.
Quelles sont les principales fonctionnalités de PaLM 2 ?
Comme mentionné ci-dessus, PaLM 2 est plus rapide, très efficace et a un coût de service inférieur. En dehors de cela, il apporte plusieurs fonctionnalités avancées. Pour commencer, PaLM 2 est très bon en raisonnement de bon sens. Google, en fait, dit que les capacités de raisonnement de PaLM 2 sont compétitif avec GPT-4Lors du test de bon sens WinoGrande, PaLM 2 a obtenu un score de 90,2 tandis que GPT-4 a obtenu un score de 87,5. Dans le test ARC-C, GPT-4 obtient un score supérieur et atteint 96,3 tandis que PaLM 2 obtient un score de 95,1. Dans d’autres tests de raisonnement, notamment DROP, StrategyQA, CSQA et quelques autres, PaLM 2 surpasse GPT-4.
De plus, grâce à sa capacité multilingue, PaLM 2 peut comprendre des idiomes, des poèmes, des textes nuancés et même des énigmes dans d’autres langues. Il va au-delà du sens littéral des mots et comprend le sens ambigu et figuratif Derrière les mots. En effet, PaLM 2 a été pré-entraîné sur des textes multilingues parallèles de différentes langues. De plus, le corpus de données multilingues de haute qualité rend PaLM 2 encore plus puissant. Par conséquent, la traduction et d’autres applications de ce type fonctionnent bien mieux sur PaLM 2.
Ensuite, nous en arrivons à ses capacités de codage. Google affirme que PaLM 2 est à nouveau formé sur un large corpus de jeux de données de code source de qualité disponibles dans le domaine public. Par conséquent, il prend en charge plus de 20 langages de programmation, qui incluent Python, JavaScrupt, C, C++ et même des langages plus anciens comme Prolog, Fortran et Verilog. Il peut également générer du code, proposer des suggestions contextuelles, traduire du code d’un langage à un autre, ajouter des fonctions avec un simple commentaire, et bien plus encore.
Que peut faire le modèle PaLM 2 ?
Tout d’abord, permettez-moi de dire que PaLM 2 a été conçu pour s’adapter à différents cas d’utilisation. Google a annoncé que PaLM 2 sera disponible en quatre modèles différents : Gecko, Loutre, Bison et Licorne; Gecko étant le plus petit et Licorne étant le plus grand.
Gecko est si léger qu’il peut fonctionner même sur des smartphones tout en étant complètement hors ligne. Il peut traiter 20 jetons par seconde sur un téléphone phare, ce qui représente environ 16 mots par seconde. C’est génial, non ? Imaginez le type d’applications sur appareil alimentées par l’IA que vous pouvez exécuter sur votre smartphone sans nécessiter de connexion Internet active ou de spécifications techniques imposantes.
En dehors de cela, PaLM 2 peut être affiné pour créer un modèle spécifique à un domaine tout de suite. Google a déjà créé Med-PaLM 2, un LLM spécifique à la médecine affiné sur PaLM 2 qui a reçu une compétence de niveau « Expert » sur les questions de type examen de licence médicale aux États-Unis. Il a obtenu un précision de 85,4 % au test USMLEmême plus élevé que le GPT-4 (84 %). Cela dit, gardez à l’esprit que le GPT-4 est un LLM à usage général et non adapté aux connaissances médicales.
Pour aller plus loin, Google a ajouté capacité multimodale pour Med-PaLM 2Il peut analyser des images telles que des radiographies et des mammographies et tirer des conclusions conformes aux conclusions des cliniciens experts. C’est assez remarquable car cela peut apporter un accès médical indispensable aux régions reculées du monde. En outre, Google a développé Sec-PaLM, une version spécialisée de PaLM 2 pour l’analyse de la cybersécurité et pour détecter rapidement les menaces malveillantes en un rien de temps.
Produits Google avec PaLM 2
Il s’agit de différents cas d’utilisation de PaLM 2 dans différents domaines et secteurs. Quant aux consommateurs individuels, vous pouvez découvrir PaLM 2 en action via Google Bard, Google Generative AI Search et Duet AI dans Gmail, Google Docs et Google Sheets. Google a récemment déplacé Bard, son chatbot IA interactif, vers PaLM 2 et a ouvert l’accès à plus de 180 pays. Vous pouvez suivre notre article et apprendre à utiliser Google Bard dès maintenant.
Quant à l’utilisation de PaLM 2 dans Gmail, Google Docs et Sheets (Google l’appelle Duo IA pour Google Workspace), vous devez rejoindre le liste d’attente pour profiter des fonctionnalités alimentées par l’IA. Enfin, pour les développeurs, Google a publié l’API PaLM qui est basé sur le modèle PaLM 2. Vous pouvez s’inscrire dès maintenant pour utiliser l’API PaLM dans vos produits. Elle peut générer plus de 75 jetons par seconde et dispose d’une fenêtre de contexte de 8 000 jetons.
PaLM 2 vs GPT-4 : comment les modèles d’IA se comparent-ils ?
Avant de comparer les capacités, une chose est sûre : PaLM 2 est rapide. Je veux dire, il répond rapidement aux requêtes, même aux questions de raisonnement complexes. De plus, il propose trois brouillons à la fois, au cas où vous ne seriez pas satisfait de la réponse par défaut. Ainsi, du point de vue de l’efficacité et du calcul, Google a une ou deux longueurs d’avance sur OpenAI. Découvrez toutes les nouvelles fonctionnalités de Google Bard AI ici.
En ce qui concerne les capacités, nous avons testé la capacité de raisonnement des deux modèles et celle alimentée par PaLM 2. Google Bard brille vraiment Dans de tels tests, Bard a répondu correctement à 3 questions de raisonnement, alors que ChatGPT-4 n’a pu répondre qu’à 1 seule bonne réponse. Dans un cas, l’évaluation de Bard était erronée (il semblait avoir des hallucinations), mais il a quand même donné la bonne réponse.
En dehors de cela, pour les tâches de codage, j’ai demandé à Bard de trouver un bug dans le code que j’avais fourni, mais il m’a donné une longue réponse pour corriger les problèmes, qui s’est avérée être entièrement fausse. Cependant, ChatGPT-4 a instantanément identifié la syntaxe de codage, repéré l’erreur et corrigé le code sans autre demande.
J’ai également assigné une tâche aux deux modèles pour implémenter l’algorithme de Dijkstra en Python et les deux modèles code généré sans erreur. J’ai compilé les deux et aucune des fonctions n’a généré d’erreur. Cela dit, ChatGPT-4 génère du code propre avec quelques exemples alors que Bard n’implémente que la fonction barebone.
Limitations de Google PaLM 2
En ce qui concerne les limitations, nous savons déjà que les plugins ChatGPT sont puissants et peuvent rapidement améliorer les capacités de GPT-4. Avec juste le Plugin d’interprétation de codeles utilisateurs peuvent faire beaucoup plus avec ChatGPT. En effet, Google a également annoncé des « outils » similaires aux plugins, mais ils ne sont pas encore en ligne et le support tiers semble médiocre à l’heure actuelle. En parallèle, le support des développeurs est énorme pour OpenAI.
Ensuite, GPT-4 est un modèle multimodal, ce qui signifie qu’il peut analyser à la fois des textes et des images. La multimodalité présente un certain nombre de cas d’utilisation intéressants. Vous pouvez demander à ChatGPT d’étudier un graphique, un tableau, un rapport médical, une imagerie médicale, etc. Oui, la fonctionnalité n’a pas encore été ajoutée à ChatGPT, mais nous avons vu une première démo et elle semblait très impressionnante. D’un autre côté, PaLM 2 n’est pas un modèle multimodal car il ne s’agit que de textes.
Le géant de la recherche a peaufiné PaLM 2 pour créer Med-PaLM 2 qui est effectivement multimodal, mais il n’est pas ouvert à l’utilisation publique et est limité au domaine médical uniquement. Google affirme que le Le modèle de nouvelle génération appelé Gemini sera multimodal avec des fonctionnalités révolutionnaires, mais il est encore en cours de formation et sa sortie est prévue dans quelques mois. Google a promis d’apporter le support Lens à Bard, mais ce n’est pas la même chose qu’un modèle visuel alimenté par l’IA.
Enfin, en comparaison avec GPT-4, Google Bard hallucine beaucoup (voir un exemple icioù Bard pense que le modèle d’IA PaLM est créé par OpenAI). Il invente des informations à la volée et répond en toute confiance avec de fausses informations. GPT-3 et GPT-3.5 ont également eu un problème similaire, mais OpenAI a réussi à réduire les hallucinations de 40 % avec la sortie de GPT-4. Google doit s’attaquer au même problème d’hallucinations « avec audace et responsabilité.”
Conclusion : PaLM 2 ou GPT-4 ?
En résumé, le modèle d’IA PaLM 2 de Google s’est amélioré dans certains domaines tels que le raisonnement avancé, la traduction, les capacités multilingues, les mathématiques et le codage. De plus, il présente l’avantage supplémentaire d’exécuter un modèle plus petit avec des performances rapides et des coûts de service faibles. Cependant, pour atteindre la parité des fonctionnalités avec GPT-4, Google doit ajouter la multimodalité, des outils tiers (plugins), résoudre le problème des hallucinations et rendre ses modèles d’IA aussi conviviaux que possible pour les développeurs.
Soutenez notre effort ❤️
Si vous avez apprécié cet article, pensez à laisser un pourboire pour nous aider à continuer à publier du contenu de qualité.
