L’engouement pour l’IA est tel que la Fondation Raspberry Pi a récemment publié un nouveau module complémentaire AI Hat+. Cela dit, vous n’avez pas besoin de matériel dédié pour exécuter localement des modèles d’IA sur Raspberry Pi. Vous pouvez exécuter de petits modèles de langage sur votre carte Raspberry Pi à l’aide du processeur. La génération de jetons est certes lente, mais il existe de petits modèles comportant un million de paramètres qui fonctionnent assez bien. Sur cette note, allons de l’avant et apprenons comment exécuter des modèles d’IA sur Raspberry Pi.
Exigences
- Un Raspberry Pi avec au moins 2 Go de RAM pour une expérience décente. J’utilise mon Raspberry Pi 4 pour ce tutoriel avec 4 Go de RAM. Certains utilisateurs ont même réussi à exécuter des modèles d’IA sur un Raspberry Pi Zero 2 W avec seulement 512 Mo de RAM.
- Une carte microSD avec au moins 8 Go de stockage.
Installer Ollama sur Raspberry Pi
- Avant d’installer Ollama, configurez votre Raspberry Pi si vous ne l’avez pas fait.
- Après cela, lancez le terminal et exécutez la commande ci-dessous pour mettre à jour tous les packages et dépendances.
sudo apt mise à jour && sudo apt mise à niveau
- Maintenant, exécutez la commande ci-dessous pour installer Ollama sur votre Raspberry Pi.
curl -fsSL https://ollama.com/install.sh | merde
- Une fois Ollama installé, vous recevrez un avertissement indiquant qu’il utilisera le processeur pour exécuter le modèle d’IA localement. Vous êtes maintenant prêt à partir.
Exécutez des modèles d’IA localement sur Raspberry Pi
- Après avoir installé Ollama, exécutez la commande suivante pour installer le Tinyllama Modèle IA sur votre Raspberry Pi. C’est un petit modèle de 1,1 milliard et n’utilise que 638 Mo de RAM.
ollama cours tinyllama
- Une fois le modèle AI installé, entrez votre invite et appuyez sur Entrée. Il faudra un certain temps pour générer une réponse.
- Lors de mes tests, le Raspberry Pi 4 a généré des réponses à une vitesse lente, mais c’est ce que vous obtenez sur un petit ordinateur monocarte.
- Je recommanderais de courir petit qui compte 135 millions de paramètres et ne consomme que 92 Mo de mémoire. C’est un petit LLM parfait pour Raspberry Pi.
ollama court smollm : 135 m
- Enfin, vous pouvez aussi essayer Le modèle Phi de Microsoft qui est un modèle de 2,7 milliards et utilise 1,6 Go de mémoire. Donc si vous possédez un Raspberry Pi 5, vous pouvez essayer ce modèle.
ollama court phi
Voici donc comment exécuter localement des modèles d’IA sur Raspberry Pi. J’aime Ollama parce qu’il est simple à utiliser. Il existe d’autres frameworks comme Llama.cpp, mais le processus d’installation est un peu compliqué. Avec seulement deux commandes Ollama, vous pouvez commencer à utiliser un LLM sur votre Raspberry Pi.
Quoi qu’il en soit, tout cela vient de nous. Récemment, j’ai utilisé mon Raspberry Pi pour créer un dongle Android Auto sans fil, donc si vous êtes intéressé par des projets aussi sympas, consultez notre guide. Et si vous avez des questions, faites-le nous savoir dans les commentaires ci-dessous.
