Moonshot AI a publié l’intégralité des poids du modèle Kimi K3 ainsi que son rapport technique, rendant accessible aux développeurs et chercheurs ce modèle d’intelligence artificielle de 2 800 milliards de paramètres. Le modèle utilise une architecture mixture of experts comptant 896 experts dont 16 sont sélectionnés pour chaque token traité, pour une fenêtre de contexte dépassant 1 million de tokens. Selon l’entreprise, ces innovations architecturales offrent une efficacité de mise à l’échelle environ 2,5 fois supérieure à celle de Kimi K2. Les poids et le code sont disponibles sur Hugging Face et GitHub sous la licence Kimi K3, via les frameworks Transformers, vLLM et SGLang.
Source: Lire l’article original
