L’article détaille les pratiques de « tokenmaxxing », consistant à optimiser l’utilisation des modèles d’intelligence artificielle pour réduire les coûts. Les modèles les plus puissants coûtent jusqu’à 100 fois plus cher par token que les plus modestes, mais de nombreuses tâches simples comme la rédaction d’e-mails n’exigent pas ce niveau de puissance. Uber a épuisé son budget IA prévu pour 2026 en quatre mois, tandis que Meta aurait dépensé environ 900 millions de dollars en tokens en trente jours selon les tarifs publics. Le traitement de 1 000 factures coûte 100 fois moins cher sur un modèle basique (0,30 dollar) que sur un modèle haut de gamme (30 dollars), ce qui rend le choix du modèle crucial. Parmi les techniques recommandées : utiliser un modèle adapté à chaque tâche, rédiger des prompts clairs pour éviter les allers-retours, démarrer une nouvelle conversation à chaque changement de sujet, et activer la mise en cache pour les instructions récurrentes.
Source: Lire l’article original
