Supermicro, IBM et Nvidia ont annoncé le 5 novembre 2026 une plateforme commune de cache clé-valeur destinée aux modèles d’IA à grande échelle. Elle conserve la mémoire de travail des modèles dans un stockage flash partagé afin d’éviter que les GPU ne recalculent les contextes déjà traités. Sur une architecture de référence validée, le délai avant le premier jeton a été réduit jusqu’à 56 fois pour des contextes de 130 000 jetons, tandis que le débit de requêtes simultanées est passé de 0,19 à 4,26 par seconde. Le temps total de traitement d’un lot de 200 requêtes a diminué de 95 %, et le débit atteint 3,6 requêtes par seconde dans un test de charge concurrente. La plateforme combine les serveurs de stockage Petascale de Supermicro, le logiciel IBM Storage Scale, le logiciel d’inférence Nvidia Dynamo et les commutateurs Ethernet Spectrum-X de Nvidia.
Source: Lire l’article original
