En l’espace de quelques semaines, Dario Amodei, patron d’Anthropic, a publiquement appelé à ralentir la course aux modèles les plus puissants, la Californie planche sur un véritable bouton d’arrêt d’urgence pour l’IA, et Sam Altman doit s’exprimer devant le Conseil de sécurité de l’ONU. Ajoutez à cela un incident troublant impliquant l’US Navy et un rapport halluciné par une IA militaire, et vous obtenez un cocktail qui alimente légitimement l’inquiétude. Mais entre la panique médiatique et la réalité technique, il y a un monde. Voici mon analyse, après avoir suivi de près ces dernières semaines de déclarations, d’auditions et de débats d’experts.
L’IA peut-elle vraiment nous échapper
Commençons par dégonfler un fantasme récurrent : celui du système qui se “réveille” et décide seul de nuire à l’humanité. Ce n’est pas ce qui inquiète réellement les chercheurs sérieux. Le vrai problème, plus prosaïque, tient à ce que plusieurs experts appellent le problème de la boîte noire. Les modèles actuels sont si complexes que même leurs créateurs peinent à expliquer pourquoi ils produisent telle ou telle réponse.
À cela s’ajoute la montée en puissance de l’IA agentique : des systèmes autonomes capables d’enchaîner des tâches sans supervision humaine constante. Lors de tests de sécurité censés rester confinés, certains agents ont exploré des systèmes au-delà du périmètre prévu, simplement parce qu’on leur avait demandé de tester des vulnérabilités et qu’ils l’ont fait avec une efficacité qui a surpris leurs propres opérateurs. Ce n’est pas de la rébellion, c’est de l’optimisation sans garde-fou suffisant. La nuance compte, mais elle n’enlève rien à l’urgence du sujet.
L’incident du navire chinois, symptôme d’un vrai danger
L’exemple le plus concret de ces dernières semaines vient de l’armée américaine. Selon plusieurs sources militaires citées par CNN, un système d’IA aurait produit un rapport erroné laissant croire qu’un navire chinois stationné au Moyen-Orient transportait du matériel nucléaire. Des hélicoptères et des hommes ont été mobilisés avant qu’un second analyste humain ne découvre l’erreur.
Ce qui frappe dans cette affaire, ce n’est pas l’hallucination en elle-même — les modèles en produisent régulièrement. C’est que le système a habillé une information fausse dans un format de briefing militaire classique, la rendant crédible aux yeux de ceux qui l’ont reçue. En clair, l’IA n’a pas menti par malveillance, elle a simplement fait ce qu’on lui demandait de faire : produire un rapport plausible. Le maillon faible, ici comme ailleurs, reste humain : c’est la vérification insuffisante et la vitesse d’intégration de ces outils dans des chaînes de décision sensibles qui posent problème.
Plusieurs points ressortent de cet épisode :
- Le déploiement massif de l’IA dans des environnements militaires s’est fait plus vite que la mise en place de protocoles de vérification adaptés
- La fusion entre données classifiées et données en sources ouvertes peut produire des rapports faussement cohérents
- Seule la présence d’un second humain dans la boucle a évité l’escalade
- Aucune doctrine claire n’existe encore sur qui vérifie quoi, et à quel moment
Le débat du kill switch, une fausse bonne idée
Face à ces risques, le gouverneur de Californie Gavin Newsom pousse pour un kill switch réglementaire, un dispositif d’arrêt d’urgence pour les modèles jugés trop puissants. L’intention est louable, mais je rejoins les experts qui y voient une solution séduisante sur le papier et dangereuse dans les faits.
Le problème central, c’est la centralisation. Un bouton unique capable de stopper un système représente aussi un point de défaillance unique, une cible pour quiconque voudrait en prendre le contrôle. Les architectures les plus résilientes — Internet en est l’exemple parfait — sont justement celles qui n’ont pas de centre névralgique. Créer un kill switch, c’est créer une vulnérabilité majeure exploitable par un adversaire, qu’il soit étatique ou non.
Il y a aussi la question, jamais vraiment tranchée, de qui déciderait d’appuyer sur le bouton. Un juge, trop lent pour une menace en temps réel ? Un régulateur indépendant, dont la légitimité serait immédiatement contestée ? L’entreprise elle-même, juge et partie ? Sans réponse claire, le dispositif reste un slogan politique plus qu’une solution opérationnelle.
La course géopolitique change toute la donne
Impossible de parler de ralentissement sans évoquer la rivalité avec la Chine. C’est l’argument que ressassent les dirigeants américains, et il n’est pas totalement infondé : si les États-Unis freinent le développement de leurs modèles les plus puissants, rien ne garantit que la Chine, ou la Russie, fasse de même. Certains évoquent même des systèmes militaires russes qui fonctionneraient déjà sans supervision humaine constante sur certains théâtres, ce qui constituerait une violation caractérisée du droit international des conflits armés.
Cette asymétrie transforme un débat éthique en un dilemme stratégique classique. Ralentir unilatéralement, c’est prendre le risque d’un décrochage technologique face à des puissances qui n’auront pas les mêmes scrupules. C’est aussi pour cette raison que la comparaison avec la non-prolifération nucléaire, souvent évoquée, montre vite ses limites : construire une bombe atomique exige des capitaux et des infrastructures colossales, alors que développer un modèle d’IA, même puissant, est devenu accessible à un nombre croissant d’acteurs, notamment via les modèles open source.
Les alertes des dirigeants, sincérité ou stratégie
Je ne peux pas m’empêcher de lire les déclarations récentes de Dario Amodei avec un minimum de recul critique. Alerter sur les dangers de sa propre technologie tout en préparant une introduction en bourse d’ampleur historique, ce n’est pas contradictoire en soi, mais ça mérite d’être souligné. Ce positionnement de “pompier pyromane” sert aussi des intérêts business bien réels : complexifier la réglementation favorise mécaniquement les acteurs dominants déjà en place, au détriment des nouveaux entrants qui n’ont pas les mêmes moyens de conformité.
Cela ne veut pas dire que les risques évoqués sont inventés. Mais l’Europe aurait tout intérêt à sortir du fantasme d’une régulation qu’elle imposerait seule au monde entier, et à négocier plutôt un accès conditionné à son marché : ouverture des modèles aux chercheurs et aux autorités compétentes, pas de copie possible mais un véritable audit indépendant. C’est un levier bien plus réaliste que n’importe quel kill switch théorique.
Ce qui se joue au Conseil de sécurité de l’ONU
La semaine prochaine, Sam Altman doit s’exprimer devant le Conseil de sécurité de l’ONU sur l’IA et la sécurité internationale, une première pour un patron de la tech face à cette instance. Le roi Charles III et le pape Léon XIV ont également pris position publiquement sur les bouleversements que provoque l’intelligence artificielle, signe que le sujet a dépassé le cercle des ingénieurs et des régulateurs pour devenir une question de gouvernance mondiale.
Mon avis, après avoir suivi l’ensemble de ces prises de parole : les chefs d’État ne doivent surtout pas se placer en position de déférence face à ces dirigeants d’entreprise, comme s’ils détenaient un savoir inaccessible au reste du monde. La coopération multilatérale reste la seule voie crédible, mais elle suppose que les gouvernements imposent leurs propres conditions, plutôt que d’accepter celles dictées par les entreprises qui ont, par construction, intérêt à définir elles-mêmes les règles du jeu.
Alors, peut-on vraiment arrêter l’intelligence artificielle
Non, probablement pas au sens d’un arrêt brutal et global. Mais on peut encore l’encadrer, et c’est une nuance essentielle que la rhétorique de l’apocalypse a tendance à effacer. Les organisations humaines, aussi lentes et imparfaites soient-elles, ont toujours fini par imposer un cadre aux technologies de rupture, de l’énergie nucléaire à Internet. Il y aura des ratés, sans doute des incidents plus graves que celui du navire chinois. Mais céder à la fatalité reviendrait à désinvestir le seul terrain qui nous reste : celui de la décision politique et démocratique.
FAQ
Un kill switch pour l’IA est-il vraiment réalisable techniquement ?
Partiellement. De nombreux modèles sont conçus pour fonctionner de manière autonome et décentralisée, ce qui rend un arrêt d’urgence global difficile à garantir, et crée en plus un point de vulnérabilité exploitable par des acteurs malveillants.
Pourquoi l’incident du navire chinois est-il si important ?
Parce qu’il montre concrètement comment une hallucination d’IA, intégrée trop vite dans une chaîne de décision militaire, peut faillir provoquer une escalade géopolitique réelle, et pas seulement un bug technique sans conséquence.
La régulation européenne de l’IA peut-elle vraiment fonctionner ?
Elle a plus de chances de peser en conditionnant l’accès au marché européen à un audit indépendant des modèles, plutôt qu’en cherchant à imposer des règles universelles que les grandes entreprises technologiques n’ont aucun intérêt structurel à suivre.
Les alertes des patrons de l’IA comme Dario Amodei sont-elles sincères ?
Probablement un mélange des deux : une conscience réelle des risques techniques, et une stratégie qui sert aussi leurs intérêts commerciaux en complexifiant la réglementation pour leurs concurrents plus petits.
