Une étude de l’Université Johns Hopkins montre que les faits n’apparaissant qu’une seule fois dans les données d’entraînement, appelés « monofacts », améliorent la capacité des grands modèles de langage à réaliser de nouvelles découvertes scientifiques. Les chercheurs ont testé ce lien en science des matériaux et en génomique réglementaire, avec des matériaux et des séquences d’ADN jamais vus pendant l’entraînement. Lorsque la proportion de monofacts augmentait, le taux de découverte progressait de manière fiable. L’effet persistait avec plusieurs familles de modèles à poids ouverts, différentes stratégies d’échantillonnage et divers budgets de raisonnement, sans pouvoir être expliqué uniquement par la diversité des données. Le transfert entre domaines scientifiques n’était toutefois efficace que lorsque les données d’entraînement contenaient des exemples pertinents au domaine concerné.
Source: Lire l’article original
