Une analyse d’Arena.ai portant sur plus de 26 000 sessions impliquant 30 agents IA issus de 13 laboratoires indique que les agents les plus performants consomment environ 93 jetons d’entrée en cache ou relus pour chaque jeton qu’ils produisent. Les relectures du contexte représentent 86 % à 96 % de l’utilisation totale des jetons, tandis que les réponses ne représentent que 1 % à 2 %. Les tâches exécutées sans cache coûtent 3,6 fois plus cher que les mêmes tâches avec cache ; un exemple impliquant Claude Fable 5.1 passe de 7,44 dollars avec cache à 27 dollars sans cache. Les entreprises doivent donc évaluer le coût complet des tâches avec cache, tandis que les développeurs doivent conserver un contexte stable et réutilisable pour profiter des remises.
Source: Lire l’article original
