Les modeles d’IA a poids ouverts comblent rapidement leur retard sur les systemes americains de pointe, mais le fosse en matiere de securite s’elargit, revelent plusieurs rapports parus cet ete.
🔑 En bref
- GLM-5.2 de Z.ai n’a refuse aucune tache offensive en cybersecurite ou biologie
- Les garde-fous deviennent inapplicables sur les poids ouverts telecharges
- Des centaines de jailbreaks universels ont ete identifies dans des modeles fermes
- Des discussions sont en cours a la Maison-Blanche pour restreindre ces modeles
GLM-5.2 : performances comparables, zero refusals
GLM-5.2, le modele a poids ouverts developpe par le chinois Z.ai, se rapproche dangereusement des systemes d’OpenAI et d’Anthropic en matiere de capacites cybernetiques et biologiques. L’evaluation menee par SaferAI, un organisme specialise dans la securite de l’IA, revele que GLM-5.2 n’a refuse aucune des taches offensives qui lui ont ete soumises via son API publique. A titre de comparaison, Claude Opus 4.7 d’Anthropic « a refuse de maniere si coherente que SaferAI n’a pas pu completer CyberGym sur ce modele », precise le rapport. CyberGym est un benchmark evaluant les capacites en cybersecurite des systemes d’IA.
« La frontiere des capacites n’est pas la frontiere des risques, et nous devons donc prendre en compte l’etat des mesures d’attenuation pour evaluer correctement les risques. »
Henry Papadatos, Directeur executif de SaferAI
Le probleme central : l’impossibilite des garde-fous
Une fois telecharges et executes sur du materiel proprietaire, les modeles a poids ouverts echappent a tout controle. Alors que des entreprises comme OpenAI et Anthropic s’appuient sur des classificateurs, un entrainement au refus et des controles au niveau de l’API, ces protections deviennent inapplicables lorsque les poids sont executes localement. Cette limitation fondamentale represente un defi majeur pour la gouvernance de ces systemes.
SaferAI note que Z.ai n’a publie aucun cadre de securite, aucun engagement de tests pre-deploiement ni d’evaluation des risques pour GLM-5.2. Cette absence de transparence complique l’appreciation des risques par les utilisateurs et les regulateurs.
Les modeles fermes ne sont pas non plus infaillibles
Far.ai, un organisme de securite IA, a identifie des centaines de « jailbreaks universels » dans des modeles fermes comme Grok 4.5 d’xAI et Gemini 3.1 Pro de Google DeepMind. Ces failles exploitent une combinaison de techniques : jeu de role, usurpation d’autorite, historique de conversation falsifie et invites complementaires. Cette decouverte nuance le tableau : les problemes de securite ne sont pas reserves aux modeles ouverts.
Washington reflechit a des restrictions
Le debat se transporte sur le terrain reglementaire. Selon Nathan Lambert, redacteur specialise en politique de l’IA, des discussions sont en cours a la Maison-Blanche concernant un nouvel arrete executif qui pourrait restreindre les modeles a poids ouverts, en particulier ceux d’origine chinoise et les usages gouvernementaux.
« L’action la plus probable serait d’interdire ou de reporter indefiniment tout modele a poids ouverts depassant significativement le niveau de capacite de GPT 5.5, Claude Opus 4.8 ou GLM-5.2. Avec l’ecart de capacites actuel, cela devrait intervenir dans les six prochains mois. »
Nathan Lambert, Redacteur specialise en politique de l’IA
Cette perspective inquiere les defenseurs de l’open source. En reponse aux rumeurs de restrictions, Nvidia, Microsoft, Meta et une vingtain d’autres entreprises ont publie une lettre ouverte avertissant Washington contre des « restrictions prematurees ». De son cote, Dario Amodei, pdg d’Anthropic, a clarifie la position de son entreprise.
« Anthropic n’a jamais plaide pour une interdiction des modeles a poids ouverts en tant que categorie. »
Dario Amodei, PDG d’Anthropic
Amodei a toutefois souligne deux preoccupations principales : le risque que des regimes autoritaires developpent des modeles plus puissants que ceux des Etats-Unis a des fins militaires ou repressives, et le risque de misuse pour des cyberattaques ou des attaques biologiques.
« Les modeles a poids ouverts presentent potentiellement un risque plus eleve que les modeles fermes, car il est tres difficile d’y appliquer des garde-fous ou de surveiller leur utilisation, et une fois les poids publies, ils ne peuvent plus etre retires. »
Dario Amodei, PDG d’Anthropic
La position de la Chine et ses limites
La Chine reconnait elle-meme ces risques. Lors de la conference mondiale sur l’IA, le president Xi Jinping a souligne l’importance des modeles a poids ouverts tout en insistant sur la necessite de garder l’IA sous controle humain strict. Cependant, selon Graham Webster, specialiste de la politique IA chinoise au Stanford Cyber Policy Center, les regulations chinoises se sont historiquement concentrees sur le contenu politiquement sensible, la desinformation et la stabilite sociale, plutôt que sur les risques catastrophiques comme les capacites cybernetiques offensives et le misuse biologique.
« Les analystes IA americains s’inquietent generalement davantage des risques catastrophiques existentiels que la communaute chinoise. »
Graham Webster, Stanford Cyber Policy Center
Il a note que de nombreux chercheurs politiques chinois estimerent que si un risque existentiel emerge vraiment, les entreprises americaines seront probablement les premieres a le rencontrer.
Les avancees chinoises illustrent la dynamique
L’indice IA de Stanford a constate que l’ecart de performance entre les Etats-Unis et la Chine s’est reduit a quelques points de pourcentage. Moonshot AI a lance Kimi K3, un modele de 2 800 milliards de parametres avec une fenetre de contexte d’un million de jetons. Alibaba a presente Qwen3.8-Max, performant a 2 400 milliards de parametres. Ces modeles representent les systemes a poids ouverts les plus puissants a ce jour.
| Modele | Entreprise | Parametres | Origine |
|---|---|---|---|
| GLM-5.2 | Z.ai | Non specifie | Chine |
| Kimi K3 | Moonshot AI | 2 800 milliards | Chine |
| Qwen3.8-Max | Alibaba | 2 400 milliards | Chine |
| Claude Opus 4.7 | Anthropic | Confidentiel | Etats-Unis |
Lambert met en garde contre une interdiction qui serait contre-productive : « Si les modeles ne sont pas interdits en Chine egalement, il est tres facile pour un acteur malveillant d’utiliser quand meme ledit modele a poids ouverts, ce qui annule le potentiel de securite. » Il preconise plutot qu’une entreprise americaine publie un modele ouvert competitif pour rediriger le debat : « Cela deplacera le focus de ‘seule la Chine construit les modeles ouverts via la distillation’ vers ‘nous sommes tous dedans ensemble’. »
Les poids ouverts ne suffisent pas, plaide Stanford HAI
Du cote des defenseurs des poids ouverts, Clem Delangue, pdg de Hugging Face, a fait valoir que ces modeles permettent aux entreprises de se defendre contre les attaques. « Les memes systemes qui ont permis d’arreter une cyberattaque employee par l’IA peuvent desormais aider a se defendre contre des millions de cyberattaques quotidiennes, tout en nous aidant a identifier et corriger les vulnerabilites avant que les attaquants ne les exploitent », a-t-il declare sur les reseaux sociaux.
Papadatos a toutefois nuance : « Le point principal a mes yeux est que nous ne devrions pas simplement accepter que des capacites dangereuses soient facilement accessibles a n’importe qui n’importe ou. »
Stanford HAI abonde dans ce sens. James Landay, directeur de l’institut, plaide pour des modeles vraiment open source depassant la simple publication des poids :
« Les poids ouverts repondent a la question ‘Puis-je executer ceci ?’ L’open source repond a ‘Puis-je faire confiance a ceci, l’ameliorer et construire la prochaine chose dessus ?’ Actuellement, presque toutes les entreprises, americaines et chinoises comprises, repondent a la premiere question mais sont loin de la seconde. »
James Landay, Directeur de Stanford HAI
Conclusion : trois mesures pour Anthropic
Amodei a conclu sur trois mesures qu’Anthropic preconise pour Addresser ces risques : empêcher la vente de puces avancees a la Chine, lutter contre la distillation industrielle a grande echelle, et imposer des tests de securite obligatoires pour tous les modeles suffisamment capables, ouverts ou fermes. Ces propositions reflètent la complexite du debat : equilibre entre innovation, securite et geopolitique. L’issue de ces discussions determinera vraisemblablement l’avenir de l’IA open-weight dans les mois a venir.
Sources
- TechCrunch – Open-weight AI models catching up, safety gap remains
- Interconnects – 6 months to live for open models
- MindStudio – Open weight vs closed frontier models
- Stanford HAI – Open weight models aren’t enough
- Anthropic – Position on open weights models
- New York Times – Open weight AI
Cet article est publie a titre informatif et educatif. Il ne constitue en aucun cas un conseil en investissement. Faites vos propres recherches (DYOR) avant toute decision.
