Mesh LLM est un projet open source soutenu par Jack Dorsey qui regroupe des GPU Nvidia inactifs dans un réseau pair-à-pair décentralisé pour exécuter de grands modèles de langage. Le système utilise un pipeline appelé « Skippy » pour partitionner des modèles massifs comme un modèle Mixture of Experts à 235 milliards de paramètres sur plusieurs machines. Les performances atteignent environ 16 tokens par seconde sur les réseaux locaux et entre 10 et 25 tokens par seconde sur les réseaux étendus. Un projet connexes appelé Meshtrain récompense les fournisseurs de GPU avec des MeshCoin via un registre local pair-à-pair, intégré dans l’application Buzz de Block. L’architecture repose sur une conception sans serveur central qui garantit la confidentialité des données.
Source: Lire l’article original
