Le laboratoire chinois d’intelligence artificielle DeepSeek a rendu open source DeepInfer, son framework d’inférence haute performance, sous licence Apache-2.0 le 20 octobre 2026. L’outil inclut des noyaux personnalisés, un parallélisme distribué et un décodage spéculatif, et il anime les déploiements en production du laboratoire, notamment DeepSeek-V4.1-Flash. Les performances annoncées atteignent un débit de 155 000 milliards de jetons par jour par cluster, une vitesse de génération de 230 jetons par seconde et un taux de 96 % pour le cache d’entrée. Le framework est optimisé pour les GPU NVIDIA SM100 et les processeurs NPU Huawei Ascend 950. DeepSeek a également publié l’outil deepseek-recipe pour la tokenisation et le décodage des jetons.
Source: Lire l’article original
