Suite à l’introduction de Copilot, son dernier assistant intelligent pour Windows 11, Microsoft fait encore progresser l’intégration de l’IA générative avec Windows. Lors de la conférence des développeurs Ignite 2023 en cours à Seattle, la société a annoncé un partenariat avec Nvidia sur TensorRT-LLM cela promet d’améliorer l’expérience utilisateur sur les ordinateurs de bureau et portables Windows dotés de GPU RTX.
La nouvelle version devrait introduire la prise en charge de nouveaux modèles de langage volumineux, rendant ainsi les charges de travail d’IA exigeantes plus accessibles. Il convient particulièrement de noter sa compatibilité avec l’API Chat d’OpenAI, qui permet une exécution locale (plutôt que dans le cloud) sur des PC et des postes de travail dotés de GPU RTX à partir de 8 Go de VRAM.
La bibliothèque TensorRT-LLM de Nvidia a été publiée le mois dernier et devrait contribuer à améliorer les performances des grands modèles de langage (LLM) utilisant les cœurs Tensor sur les cartes graphiques RTX. Il fournit aux développeurs une API Python pour définir des LLM et créer des moteurs TensorRT plus rapidement sans connaissance approfondie de C++ ou de CUDA.
Avec la sortie de TensorRT-LLM v0.6.0, la navigation dans les complexités des projets d’IA générative personnalisés sera simplifiée grâce à l’introduction d’AI Workbench. Il s’agit d’une boîte à outils unifiée facilitant la création, les tests et la personnalisation rapides de modèles d’IA génératifs et de LLM pré-entraînés. La plateforme devrait également permettre aux développeurs de rationaliser la collaboration et le déploiement, garantissant ainsi un développement de modèles efficace et évolutif.
Conscients de l’importance de soutenir les développeurs d’IA, Nvidia et Microsoft publient également des améliorations DirectML. Ces optimisations accélèrent les modèles d’IA fondamentaux tels que Llama 2 et Stable Diffusion, offrant aux développeurs des options accrues de déploiement multi-fournisseurs et établissant de nouvelles normes de performances.
La nouvelle mise à jour de la bibliothèque TensorRT-LLM promet également une amélioration substantielle des performances d’inférence, avec des vitesses jusqu’à cinq fois plus rapides. Cette mise à jour étend également la prise en charge d’autres LLM populaires, notamment Mistral 7B et Nemotron-3 8B, et étend les capacités des LLM locaux rapides et précis à une gamme plus large d’appareils Windows portables.
L’intégration de TensorRT-LLM pour Windows avec l’API Chat d’OpenAI via un nouveau wrapper permettra à des centaines de projets et d’applications basés sur l’IA de s’exécuter localement sur des PC équipés de RTX. Cela éliminera potentiellement le besoin de recourir aux services cloud et garantira la sécurité des données privées et propriétaires sur les PC Windows 11.
L’avenir de l’IA sur les PC Windows 11 a encore un long chemin à parcourir. Alors que les modèles d’IA deviennent de plus en plus disponibles et que les développeurs continuent d’innover, exploiter la puissance des GPU RTX de Nvidia pourrait changer la donne. Cependant, il est trop tôt pour dire s’il s’agira de la dernière pièce du puzzle dont Microsoft a désespérément besoin pour débloquer pleinement les capacités de l’IA sur les PC Windows.
Soutenez notre effort ❤️
Si vous avez apprécié cet article, pensez à laisser un pourboire pour nous aider à continuer à publier du contenu de qualité.
