Nvidia a lancé PAIR (Personal AI Router), un logiciel gratuit et open source qui permet de relier plusieurs ordinateurs domestiques sur un réseau local afin de partager la puissance de leurs GPU pour l’inférence d’intelligence artificielle sans passer par le cloud. L’outil fonctionne comme un équilibreur de charge et est compatible avec Ollama, LM Studio, les cartes GeForce RTX série 20 et supérieures, ainsi que les puces Apple M4 et plus récentes. Un cluster de DGX Spark peut gérer des modèles allant jusqu’à 200 milliards de paramètres lorsque les modèles sont quantifiés. Cette initiative s’inscrit dans la stratégie plus large de Nvidia, baptisée AI Grid, visant à réduire la latence et les coûts du cloud. Pour les fournisseurs de cloud comme AWS, Google Cloud et Azure, ce mouvement représente une menace potentielle, car il déplace une partie de la charge de travail d’inférence vers le matériel grand public.
Source: Lire l’article original
