Google a récemment annoncé que Gemini 1.5 Pro passerait d’une fenêtre contextuelle de 1 million de jetons à 2 millions. Cela semble impressionnant, mais qu’est-ce qu’un jeton, de toute façon ?
À la base, même les chatbots ont besoin d’aide pour traiter le texte qu’ils reçoivent afin de pouvoir comprendre les concepts et communiquer avec vous de manière humaine. Ceci est accompli à l’aide d’un système de jetons dans l’espace génératif de l’IA qui décompose les données afin qu’elles soient plus facilement digestibles par les modèles d’IA.
Qu’est-ce qu’un jeton IA ?
Un jeton AI est la plus petite unité en laquelle un mot ou une phrase peut être décomposé lors de son traitement par un grand modèle de langage (LLM). Les jetons représentent des mots, des signes de ponctuation ou des sous-mots, qui permettent aux modèles d’analyser et d’interpréter efficacement le texte et, par la suite, de générer du contenu d’une manière similaire, basée sur des unités. Ceci est similaire à la façon dont un ordinateur convertit les données en zéros et en uns Unicode pour un traitement plus facile. Les jetons permettent à un modèle de déterminer un modèle ou une relation au sein de mots et d’expressions afin de pouvoir prédire les termes futurs et répondre dans le contexte de votre invite.
Lorsque vous saisissez une invite, la phrase et les mots sont trop longs pour qu’un chatbot puisse les interpréter tels quels : ils doivent être décomposés en morceaux plus petits avant même que le LLM puisse traiter la demande. Ils sont convertis en tokens, puis la demande est soumise et analysée, et une réponse vous est renvoyée.
Le processus de transformation du texte en jetons est appelé tokenisation. Il y a beaucoup de méthodes de tokenisation, qui peut différer en fonction des variantes, notamment les instructions du dictionnaire, les combinaisons de mots, la langue, etc. Par exemple, la méthode de tokenisation basée sur l’espace divise les mots en fonction des espaces qui les séparent. L’expression « Il pleut dehors » serait divisée en jetons « Il pleut », « Dehors ».
Comment fonctionnent les jetons IA ?
et 100 jetons équivalent à environ 75 mots. D’autres conversions suggèrent qu’une à deux phrases équivaut à environ 30 jetons, un paragraphe équivaut à environ 100 jetons et 1 500 mots équivaut à environ 2 048 jetons.
Que vous soyez un utilisateur général, un développeur ou une entreprise, le programme d’IA que vous utilisez utilise des jetons pour effectuer ses tâches. Une fois que vous commencez à payer pour des services d’IA générative, vous payez des jetons pour maintenir le service à son niveau optimal.
La plupart des marques d’IA générative ont également des règles de base sur le fonctionnement des jetons sur leurs modèles d’IA. De nombreuses entreprises ont des limitations de jetons, qui limitent le nombre de jetons pouvant être traités en un seul tour. Si la requête est supérieure à la limite de jetons sur un LLM, l’outil ne pourra pas traiter une requête en un seul tour. Par exemple, si vous saisissez un article de 10 000 mots à traduire dans un GPT avec une limite de 4 096 jetons, il ne sera pas en mesure de le traiter entièrement pour donner une réponse détaillée, car une telle demande nécessiterait au moins 15 000 jetons.
Cependant, les entreprises ont rapidement amélioré les capacités de leurs LLM, renforçant ainsi la limitation des jetons avec de nouvelles versions. Le modèle BERT basé sur la recherche de Google avait une longueur d’entrée maximale de 512 jetons. Le LLM GPT-3.5 d’OpenAI, qui exécute la version gratuite de ChatGPT, dispose d’un maximum de 4 096 jetons d’entrée, tandis que son LLM GPT-4, qui exécute la version payante de ChatGPT, dispose d’un maximum de 32 768 jetons d’entrée.
Cela équivaut à environ 64 000 mots ou 50 pages de texte. Gemini 1.5 Pro de Google, qui fournit des fonctionnalités audio à AI Studio de la marque, dispose d’une fenêtre contextuelle standard de 128 000 jetons. Le LLM Claude 2.1 a une limite allant jusqu’à 200 000 jetons de contexte. Cela équivaut à environ 150 000 mots ou 500 pages de texte.
Quels sont les différents types de jetons IA ?
Il y a plusieurs types de jetons utilisé dans l’espace de l’IA générative qui permet aux LLM d’identifier les plus petites unités disponibles pour l’analyse. Voici quelques-uns des principaux jetons qui intéressent un modèle d’IA.
- Jetons de mots sont des mots qui représentent des unités uniques, comme « oiseau », « maison » ou « télévision ».
- Jetons de sous-mots sont des mots qui peuvent être tronqués en unités plus petites, comme diviser mardi en « mardi » et « jour ».
- Jetons de ponctuation remplacer les signes de ponctuation, notamment les virgules (,), les points (.) et autres.
- Jetons numériques remplacer les chiffres numériques, y compris le chiffre « 10 ».
Les jetons spéciaux peuvent noter plusieurs instructions uniques lors de l’exécution de requêtes et de données d’entraînement.
Quels sont les avantages des jetons ?
Les jetons présentent plusieurs avantages dans l’espace de l’IA générative. Principalement, ils agissent comme un connecteur entre le langage humain et le langage informatique lorsqu’ils travaillent avec des LLM et d’autres processus d’IA. Les jetons aident les modèles à traiter de grandes quantités de données à la fois, ce qui est particulièrement bénéfique dans les espaces d’entreprise qui utilisent des LLM. Les entreprises peuvent travailler avec des limites de jetons pour optimiser les performances des modèles d’IA. À mesure que les futures versions de LLM seront introduites, les jetons permettront aux modèles de disposer d’une mémoire plus grande grâce à des limites ou des fenêtres de contexte plus élevées.
D’autres avantages des jetons résident dans les aspects de formation des LLM. Puisqu’il s’agit de petites unités, elles peuvent être utilisées pour faciliter l’optimisation de la vitesse de traitement des données. En raison de la nature prédictive des jetons, ils ont une meilleure compréhension des concepts et améliorent les séquences au fil du temps. Les jetons aident à implémenter des aspects multimodaux tels que les images, les vidéos et l’audio dans les LLM aux côtés des chatbots de synthèse vocale.
Les jetons ont aussi quelques sécurité des données et des avantages en termes de rentabilité, grâce à leur configuration Unicode protégeant les données vitales et tronquant les textes plus longs en une version simplifiée.
Soutenez notre effort ❤️
Si vous avez apprécié cet article, pensez à laisser un pourboire pour nous aider à continuer à publier du contenu de qualité.
