Pharmakon

Lu dans la revue de presse de Perplexity :

La ministre australienne des Affaires étrangères, Penny Wong a averti le Conseil de sécurité de l’ONU, le 26 septembre, que « les décisions de vie ou de mort ne doivent jamais être déléguées aux machines », soulignant que l’utilisation potentielle de l’IA dans les armes nucléaires « met en péril l’avenir de l’humanité ». Wong a soutenu que la guerre nucléaire a été limitée par le jugement et la conscience humains, mais que l’IA n’a pas ces préoccupations et ne peut être tenue responsable, avertissant que ces armes « menacent de transformer la guerre elle-même et risquent de provoquer une escalade sans avertissement ». Le Secrétaire général de l’ONU, António Guterres a partagé ces préoccupations, déclarant au Conseil de sécurité que « le destin de l’humanité ne peut être confié à un algorithme » et réitérant son appel à une interdiction mondiale des systèmes d’armes létales autonomes d’ici 2026.

Loin des fantasmes de singularité technologique qui saturent le débat public, les avertissements de Penny Wong et António Guterres au Conseil de sécurité de l’ONU rappellent les véritables dangers de l’intelligence artificielle. Quand la ministre australienne affirme que “les décisions de vie ou de mort ne doivent jamais être déléguées aux machines” et que le Secrétaire général déclare que “le destin de l’humanité ne peut être confié à un algorithme”, ils identifient le paradoxe fondamental que la mystification de l’intelligence artificielle générale nous empêche de voir : le danger ne vient pas d’une IA trop brillante mais de systèmes profondément stupides auxquels on confie des décisions critiques.

Cette stupidité constitutive, loin d’être rassurante, représente précisément la menace existentielle. Un système d’arme autonome n’a aucune compréhension de ce qu’est la guerre, la mort, ou la souffrance humaine. Il ne sait pas reconnaître un geste de reddition, distinguer un hôpital d’une caserne, comprendre qu’un enfant n’est pas un combattant. Il ne fait qu’optimiser des fonctions mathématiques selon des paramètres prédéfinis, sans aucune appréhension du contexte ou des conséquences. Cette absence totale de compréhension, couplée à une capacité d’action létale et à une vitesse d’exécution qui dépasse la réaction humaine, crée les conditions d’une catastrophe potentielle.

L’histoire nous a déjà montré à quel point cette combinaison peut être dangereuse. En septembre 1983, le système soviétique d’alerte avancée a détecté ce qu’il interprétait comme cinq missiles balistiques intercontinentaux américains en approche. Le protocole exigeait une riposte immédiate. C’est uniquement parce que l’officier de garde, Stanislav Petrov, a choisi de ne pas croire le système – qui avait confondu des reflets de nuages avec des missiles – qu’une guerre nucléaire a été évitée. Le système était stupide, incapable de contextualiser ses données, de reconnaître l’improbabilité de son interprétation. Mais que se passerait-il aujourd’hui si la décision de riposte était entièrement automatisée, sans Petrov dans la boucle ?

Le scénario cauchemardesque que Wong et Guterres tentent de prévenir n’est pas celui d’une intelligence artificielle malveillante qui déciderait consciemment de détruire l’humanité, mais celui d’une cascade d’erreurs automatisées s’enchaînant trop rapidement pour toute intervention humaine. Dans un environnement militaire moderne où de multiples systèmes autonomes interagissent – défense antimissile, cyber-défense, drones de reconnaissance et d’attaque, systèmes de commandement et de contrôle – une erreur d’interprétation dans un système peut déclencher une réaction en chaîne catastrophique. Les experts militaires parlent déjà de “flash war”, une guerre qui pourrait commencer et se terminer en quelques minutes, entièrement menée par des algorithmes, sans qu’aucun être humain n’ait eu le temps de comprendre ce qui se passait, encore moins d’intervenir.

La course aux armements autonomes amplifie dramatiquement ces risques. Chaque puissance militaire se sent obligée de développer ses propres systèmes autonomes pour maintenir sa capacité de réponse face à des adversaires potentiels équipés de technologies similaires. Cette logique de la dissuasion automatisée crée un dilemme du prisonnier à l’échelle planétaire où la rationalité stratégique individuelle mène inexorablement vers un résultat collectivement catastrophique. Plus les systèmes deviennent rapides et autonomes pour obtenir un avantage tactique, plus ils éliminent le temps de réflexion humaine, ce moment crucial où quelqu’un peut dire “attendez, vérifions” ou simplement reconnaître l’absurdité d’une situation.

L’opacité de ces systèmes aggrave encore le problème. Les algorithmes d’apprentissage profond prennent des décisions selon des logiques que même leurs concepteurs ne comprennent pas entièrement. Un drone autonome pourrait décider d’attaquer une cible sur la base de corrélations statistiques absurdes enfouies dans ses millions de paramètres, des corrélations qu’aucun humain ne pourrait anticiper ou expliquer. Cette boîte noire algorithmique, armée et déployée sur un champ de bataille, représente l’abdication ultime de la responsabilité humaine.

C’est précisément pourquoi Wong insiste sur le fait que la guerre nucléaire a été jusqu’ici limitée par “le jugement et la conscience humains”. Ces qualités humaines ne sont pas des luxes philosophiques mais des garde-fous existentiels. La capacité humaine à hésiter, à douter, à reconnaître l’horreur, à éprouver de la compassion, à comprendre les conséquences – toutes ces “faiblesses” que les systèmes automatisés éliminent au nom de l’efficacité – sont en réalité ce qui nous a protégés de l’autodestruction. Les machines n’ont pas ces “préoccupations”, comme le souligne Wong, et c’est précisément cette absence qui les rend si dangereuses.

L’appel de Guterres pour une interdiction mondiale des systèmes d’armes létales autonomes d’ici 2026 reconnaît l’urgence réelle de la situation. Contrairement aux prophéties vagues sur l’intelligence artificielle générale en 2027 ou 2028, il s’agit d’une échéance concrète pour une action politique immédiate face à des systèmes qui existent déjà et se déploient actuellement. Cette distinction est cruciale : pendant que les prophètes de la Silicon Valley nous font débattre de consciences artificielles hypothétiques, des systèmes stupides mais létaux sont intégrés dans des arsenaux militaires réels.

La préoccupation de Wong concernant la désinformation générée par IA et cette “disparition totale de la vérité” s’inscrit dans la même logique. Il ne s’agit pas de craindre une super-intelligence manipulatrice mais de reconnaître que des systèmes relativement simples de génération de contenu peuvent déjà saturer l’espace informationnel de faussetés indiscernables de la réalité, sapant les fondements mêmes du débat démocratique. Là encore, c’est la stupidité proliférante, non l’intelligence transcendante, qui menace nos sociétés.

En ramenant l’attention sur les systèmes actuels, sur leur bêtise constitutive et leur potentiel destructeur immédiat, Wong et Guterres accomplissent de fait le travail de démystification que tant de chercheurs et d’experts ont abdiqué. Ils nous rappellent que le véritable enjeu n’est pas de se préparer à l’avènement hypothétique d’une IA générale, mais de maintenir fermement le contrôle humain sur des systèmes qui, précisément parce qu’ils ne comprennent rien à ce qu’ils font, peuvent nous entraîner dans l’abîme.​​​​​​​​​​​​​​​​

[texte co-écrit avec Claude]