OpenAI est peut-être le nom le plus connu en matière d’IA générative commerciale, mais Meta a réussi à se faire une place grâce à l’open source de puissants modèles de langage volumineux. Meta a dévoilé le 18 avril son plus grand modèle d’IA générative à ce jour, Llama 3, qui surpasse GPT-4 sur certains tests de référence d’IA standard.
Qu’est-ce que Llama 3 ?
Llama 3 est un LLM créé par Meta. Il peut être utilisé pour créer une IA générative, notamment des chatbots capables de répondre en langage naturel à une grande variété de requêtes. Les cas d’utilisation sur lesquels Llama 3 a été évalué incluent le brainstorming d’idées, l’écriture créative, le codage, la synthèse de documents et la réponse à des questions avec la voix d’une personne ou d’un personnage spécifique.
Le modèle complet Llama 3 est disponible en quatre variantes :
- 8 milliards de paramètres pré-entraînés.
- 8 milliards de paramètres d’instructions affinés.
- 70 milliards de paramètres pré-entraînés.
- 70 milliards de paramètres d’instructions affinés.
Les capacités d’IA générative de Llama 3 peuvent être utilisées dans un navigateur ou via les fonctionnalités d’IA de Facebook, Instagram, WhatsApp et Messenger de Meta. Le modèle lui-même peut être téléchargé depuis Meta ou depuis les principales plateformes cloud d’entreprise.
Quand sortira Llama 3 et sur quelles plateformes ?
Llama 3 a été lancé le 18 avril sur Google Cloud Vertex AI, watsonx.ai d’IBM et d’autres grandes plateformes d’hébergement LLM. AWS a suivi, ajoutant Llama 3 à Amazon Bedrock le 23 avril. Depuis le 29 avril, Llama 3 est disponible sur les plateformes suivantes :
- Briques de données.
- Visage qui fait un câlin.
- Kaggle.
- Microsoft Azure.
- Carte graphique NVIDIA NIM.
Les plates-formes matérielles d’AMD, AWS, Dell, Intel, NVIDIA et Qualcomm prennent en charge Llama 3.
Llama 3 est-il open source ?
Llama 3 est un programme open source, comme les autres programmes de maîtrise en droit de Meta. La création de modèles open source a été un facteur de différenciation précieux pour Meta.
Il existe un débat sur la quantité de code ou de pondération d’un modèle de langage important qui doit être accessible au public pour être considéré comme open source. Mais en ce qui concerne les objectifs commerciaux, Meta offre une vision plus ouverte de Llama 3 que ses concurrents pour leurs LLM.
Llama 3 est-il gratuit ?
Llama 3 est gratuit tant qu’il est utilisé selon les termes de la licence. Le modèle peut être téléchargé directement depuis Meta ou utilisé dans les différents services d’hébergement cloud répertoriés ci-dessus, bien que ces services puissent être associés à des frais.
Llama 3 est-il multimodal ?
Llama 3 n’est pas multimodal, ce qui signifie qu’il n’est pas capable de comprendre des données provenant de différentes modalités telles que la vidéo, l’audio ou le texte. Meta prévoit de rendre Llama 3 multimodal dans un avenir proche.
Améliorations de Llama 3 par rapport à Llama 2
Pour rendre Llama 3 plus performant que Llama 2, Meta a ajouté un nouveau tokenizer pour encoder le langage beaucoup plus efficacement. Meta a amélioré Llama 3 avec l’attention des requêtes groupées, une méthode permettant d’améliorer l’efficacité de l’inférence des modèles. L’ensemble d’entraînement de Llama 3 est sept fois plus grand que l’ensemble d’entraînement utilisé pour Llama 2, a déclaré Meta, et comprend quatre fois plus de code. Meta a appliqué de nouvelles efficacités à la préformation et au réglage fin des instructions de Llama 3.
Étant donné que Llama 3 est conçu comme un modèle ouvert, Meta a ajouté des garde-fous à l’intention des développeurs. L’un des nouveaux garde-fous est Code Shield, qui vise à intercepter le code non sécurisé que le modèle pourrait produire.
Quelle est la prochaine étape pour Llama 3 ?
Meta prévoit de :
- Ajoutez plusieurs langues à Llama 3.
- Développez la fenêtre contextuelle.
- Augmenter généralement les capacités du modèle à l’avenir.
Meta travaille sur un modèle de paramètres 400B, qui pourrait contribuer à façonner la prochaine génération de Llama 3. Lors des premiers tests, Llama 3 400B avec réglage des instructions a obtenu un score de 86,1 à l’évaluation des connaissances MMLU (un test de référence de l’IA), selon Meta, ce qui le rend compétitif avec GPT-4. Llama 400B serait le plus grand LLM de Meta à ce jour.
La place de Llama 3 dans le paysage concurrentiel de l’IA générative
Llama 3 est en concurrence directe avec GPT-4 et GPT-3.5, Gemini et Gemma de Google, Mistral 7B de Mistral AI, Perplexity AI et d’autres LLM pour une utilisation individuelle ou commerciale afin de créer des chatbots d’IA générative et d’autres outils. Environ une semaine après la révélation de Llama 3, Snowflake a lancé sa propre IA d’entreprise ouverte avec des capacités comparables, appelée Snowflake Arctic.
Les exigences croissantes en matière de performances des LLM comme Llama 3 contribuent à une course aux armements des PC dotés d’IA capables d’exécuter des modèles au moins partiellement sur l’appareil. Dans le même temps, les entreprises d’IA générative pourraient faire l’objet d’une surveillance accrue en raison de leurs besoins en calcul intensif, ce qui pourrait contribuer à aggraver le changement climatique.
Lama 3 contre GPT-4
Llama 3 surpasse GPT-4 d’OpenAI sur HumanEval, un test de référence standard qui compare la capacité du modèle d’IA à générer du code avec du code écrit par des humains. Llama 3 70B a obtenu un score de 81,7, contre 67 pour GPT-4.
Cependant, GPT-4 a surpassé Llama 3 à l’évaluation des connaissances MMLU avec un score de 86,4 contre 79,5 pour Llama 3 70B. Les performances de Llama 3 sur d’autres tests peuvent être trouvées sur le blog de Meta.
Votre organisation devrait-elle utiliser Llama 3 ?
En supposant que vous ayez déjà décidé que l’IA générative est adaptée à votre entreprise, le choix d’utiliser ou non Llama 3 dépendra probablement de la disponibilité. Llama 3 peut être utilisé gratuitement et personnalisé dans certaines limites, plus que ses concurrents.
Llama 3 est peut-être plus efficace que ses rivaux comme GPT-4 ou Claude 3 pour le codage. Cependant, Llama 3 a d’autres concurrents dans le domaine du codage. Par exemple, GitHub a récemment lancé Copilot Workspace, qui est personnalisé pour le codage et peut créer du code basé sur des invites en langage naturel.
Llama 3 peut être utile à votre organisation si vous souhaitez une famille de modèles d’IA à usage général et open source.
Soutenez notre effort ❤️
Si vous avez apprécié cet article, pensez à laisser un pourboire pour nous aider à continuer à publier du contenu de qualité.
