Google DeepMind a publié un article décrivant une technique d’inférence appelée « recirculation » qui réinjecte les activations des couches profondes d’un modèle dans ses couches superficielles pendant la génération de tokens. Testée sur la famille de modèles Gemma3 (1B, 4B et 12B paramètres), cette méthode a permis une réduction de 23% de la perplexité sans nécessiter de réentraînement. La recirculation adaptative surpasse ainsi un ajustement complet (fine-tuning), qui n’atteint qu’une réduction de 21,6%. Sur le benchmark GSM8K de raisonnement mathématique, la même technique a engendré une hausse de 21% en précision relative. Le compromis réside dans un traitement plus coûteux de la phase initiale du prompt, le préfill devenant séquentiel sous recirculation.
Source: Lire l’article original
