Depuis la sortie de ChatGPT, le monde de l’informatique attend un chatbot IA local capable de fonctionner hors ligne. Nvidia a désormais une réponse avec Chat with RTX, un chatbot IA local qui vous permet d’exploiter un modèle IA pour parcourir vos données hors ligne.
Dans ce guide, nous vous montrerons comment configurer et utiliser Chat avec RTX. Il s’agit simplement d’une démonstration, alors attendez-vous à quelques bugs lorsque vous travaillerez avec l’outil. Mais nous espérons que cela ouvrira la porte à davantage de chatbots d’IA locaux et à d’autres outils d’IA locaux.
Comment télécharger Chat avec RTX
La première étape consiste à télécharger et configurer Chat avec RTX, ce qui est en fait un peu plus compliqué que vous ne le pensez. Tout ce que vous avez à faire est d’exécuter un programme d’installation, mais celui-ci est susceptible d’échouer et vous devrez satisfaire à certaines exigences système minimales.
Vous avez besoin d’un GPU RTX série 40 ou série 30 avec au moins 8 Go de VRAM, ainsi que 16 Go de RAM système, 100 Go d’espace disque et Windows 11.
Étape 1 : Téléchargez le programme d’installation de Chat avec RTX depuis le site Web de NvidiaCe dossier compressé fait 35 Go, son téléchargement peut donc prendre un certain temps.
Étape 2 : Une fois le téléchargement terminé, faites un clic droit sur le dossier et sélectionnez Extraire tout.
Jacob Roach / Moyens I/O
Obtenez votre analyse hebdomadaire de la technologie derrière les jeux PC
Étape 3 : Dans le dossier, vous trouverez quelques fichiers et dossiers. Choisissez programme d’installation.exe et parcourez le programme d’installation.
Étape 4 : Avant le début de l’installation, le programme d’installation vous demandera où vous souhaitez stocker Chat with RTX. Assurez-vous d’avoir au moins 100 Go d’espace disque à l’emplacement que vous sélectionnez, car Chat with RTX télécharge réellement les modèles d’IA.
Jacob Roach / Moyens I/O
Étape 5 : L’installation peut prendre jusqu’à 45 minutes, ne vous inquiétez donc pas si vous le voyez se bloquer brièvement. Cela peut également ralentir votre PC, en particulier lors de la configuration des modèles d’IA. Nous vous recommandons donc de vous éloigner un moment pendant que l’installation se termine.
Étape 6 : L’installation peut échouer. Si c’est le cas, relancez simplement le programme d’installation en choisissant le même emplacement pour les données qu’auparavant. Le programme d’installation reprendra là où il s’était arrêté.
Étape 7 : Une fois le programme d’installation terminé, vous obtiendrez un raccourci vers Chat avec RTX sur votre bureau et l’application s’ouvrira dans une fenêtre de navigateur.
Comment utiliser Chat avec RTX avec vos données
Le gros avantage de Chat with RTX est que vous pouvez utiliser vos propres données. Il utilise ce qu’on appelle la génération augmentée de récupération, ou RAG, pour parcourir les documents et vous donner des réponses basées sur ces documents. Au lieu de répondre à n’importe quelle question, Chat with RTX est efficace pour répondre à des questions spécifiques sur un ensemble de données particulier.
Nvidia inclut quelques exemples de données pour que vous puissiez tester l’outil, mais vous devez ajouter vos propres données pour exploiter tout le potentiel de Chat avec RTX.
Étape 1 : Créez un dossier dans lequel vous stockerez votre ensemble de données. Notez l’emplacement, car vous devrez pointer Chat with RTX vers ce dossier. Actuellement, Chat with RTX prend en charge les fichiers .txt, .pdf et .doc.
Étape 2 : Ouvrez Chat avec RTX et sélectionnez l’icône du stylo dans le Ensemble de données section.
Jacob Roach / Moyens I/O
Étape 3 : Accédez au dossier dans lequel vous avez stocké vos données et sélectionnez-le.
Étape 4 : Dans Chat avec RTX, sélectionnez l’icône d’actualisation dans le Ensemble de données section. Cela régénérera le modèle en fonction des nouvelles données. Vous souhaiterez actualiser le modèle chaque fois que vous ajouterez de nouvelles données au dossier ou que vous sélectionnerez un autre ensemble de données.
Jacob Roach / Moyens I/O
Étape 5 : Une fois vos données ajoutées, sélectionnez le modèle que vous souhaitez utiliser dans la section Modèle IA. Chat with RTX inclut Llama 2 et Mistral, ce dernier étant le modèle par défaut. Expérimentez avec les deux, mais pour les nouveaux utilisateurs, Mistral est le meilleur choix.
Étape 6 : À partir de là, vous pouvez commencer à poser des questions. Nvidia note que Chat with RTX ne prend pas en compte le contexte, donc les réponses précédentes n’influencent pas les réponses futures. De plus, les questions spécifiques donneront généralement de meilleurs résultats que les questions générales. Enfin, Nvidia note que Chat with RTX référencera parfois les mauvaises données lors de la fourniture d’une réponse, alors gardez cela à l’esprit.
Étape 7 : Si Chat avec RTX cesse de fonctionner et qu’un redémarrage ne résout pas le problème, Nvidia indique que vous pouvez supprimer le fichier préférences.json pour résoudre le problème. Celui-ci se trouve à C:\Users\\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\config\preferences.json.
Comment utiliser Chat avec RTX avec YouTube
En plus de vos propres données, vous pouvez utiliser Chat avec RTX avec des vidéos YouTube. Le modèle d’IA s’appuie sur la transcription d’une vidéo YouTube, il existe donc certaines limitations naturelles.
Premièrement, le modèle d’IA ne voit rien qui ne soit inclus dans la transcription. Vous ne pouvez pas demander, par exemple, à quoi ressemble une personne dans une vidéo. De plus, les transcriptions YouTube ne sont pas toujours parfaites. Dans les vidéos dont la transcription est brouillonne, vous risquez de ne pas obtenir les réponses souhaitées.
Étape 1 : Ouvrez le chat avec RTX et dans le Ensemble de données section, sélectionnez le menu déroulant et choisissez YouTube.
Étape 2 : Dans le champ ci-dessous, collez un lien vers une vidéo ou une playlist YouTube. À côté de ce champ, vous trouverez un numéro indiquant le nombre maximal de transcriptions que vous souhaitez télécharger.
Jacob Roach / Moyens I/O
Étape 3 : Sélectionnez le bouton de téléchargement à côté de ce champ et attendez que le téléchargement des transcriptions soit terminé. Une fois le téléchargement terminé, cliquez sur le bouton d’actualisation.
Étape 4 : Une fois la transcription terminée, vous pouvez discuter comme vous l’avez fait avec vos propres données. Les questions spécifiques sont meilleures que les questions générales, et si vous discutez de plusieurs vidéos, Chat with RTX peut se tromper de référence si votre question est trop générale.
Étape 5 : Si vous souhaitez discuter d’un nouvel ensemble de vidéos, vous devrez supprimer manuellement les anciennes transcriptions. Vous trouverez un bouton pour ouvrir une fenêtre Explorer à côté du bouton d’actualisation. Accédez à cette fenêtre et supprimez les transcriptions si vous souhaitez discuter d’autres vidéos.
Soutenez notre effort ❤️
Si vous avez apprécié cet article, pensez à laisser un pourboire pour nous aider à continuer à publier du contenu de qualité.
