AT&T a réduit ses coûts de codage IA de 56 % en redirigeant les requêtes routine vers des modèles open-source moins coûteux via la technologie LiteLLM, avec seulement 2 % de déclin en qualité de performance. Le géant des télécommunications traite environ 45 milliards de tokens par jour sur sa plateforme interne « Ask AT&T » avec une main-d’œuvre d’environ 150 000 employés. Les modèles open-source gèrent actuellement 40 % des requêtes, avec un objectif de 60 à 70 %. Les modèles personnalisés pour le secteur télécommunications ont généré jusqu’à 90 % d’économies sur les coûts d’inférence.
Source: Lire l’article original
