Google a ouvert le code du moteur de service XLA, ou XSE, un environnement d’exécution en C++ qui permet de servir des modèles d’apprentissage automatique compilés sans interpréteur Python. Le moteur, sous licence Apache 2.0, sert déjà plus de six millions de requêtes par seconde dans des produits internes de Google, notamment YouTube Shorts et Google Ads. Selon Google, XSE atteint un débit deux à cinq fois supérieur à celui des serveurs Python les mieux optimisés, jusqu’à 36 fois selon la configuration de référence. Le moteur utilise également 30 à 70 % de CPU en moins par prédiction et environ 75 % de mémoire en moins, tout en permettant de déployer un même artefact sur des processeurs classiques, des GPU NVIDIA ou AMD et des TPU Google Cloud.
Source: Lire l’article original
