DeepSeek V4.1 Flash atteint désormais 848 jetons par seconde par agent sur le système Nvidia GB300 NVL72, contre 596 jetons par seconde environ un mois plus tôt, soit un gain de 252 jetons par seconde sans changement de matériel. Cette amélioration provient principalement des ajustements apportés aux logiciels d’inférence, aux noyaux de calcul et au modèle lui-même. Le modèle multimodal à mélange d’experts compte 552 milliards de paramètres au total, dont 8 milliards sont actifs lors de la phase de préremplissage et 16 milliards pendant le décodage. Il accepte des textes et des images, prend en charge une fenêtre de contexte d’un million de jetons et réduit la mémoire de cache KV à environ 890 octets par jeton. Dans des configurations spécialisées, le débit total dépasserait reportedly un million de jetons par seconde par GPU, pour un coût estimé de 0,002 dollar par million de jetons sous les conditions tarifaires des grands fournisseurs de services cloud.
Source: Lire l’article original
