Les paradoxes de l’intelligence artificielle appliquée aux systèmes d’armes autonomes

En juillet 2021, l’US Air Force envisage de faire s’affronter, lors de vols réels, un avion de combat piloté par un homme, contre un autre, « dronisé », entièrement piloté par une intelligence artificielle (IA). Cette expérimentation est la suite logique des essais qui ont été réalisés sur simulateur de vol où une IA a battu un pilote présenté comme expérimenté (la qualité de la prestation du pilote ne relève toutefois pas du meilleur niveau[1]). C’est bien là une des applications majeures de l’IA : donner une plus grande indépendance d’action aux systèmes de combat autonomes. Jusqu’ici, dans la majorité des cas, les robots ou les drones à usage militaire sont surtout des machines télépilotées qui ne disposent que de relativement peu d’autonomie propre (scénarios L0 et L1[2]). C’est un des points qui a motivé les forces russes à doter leurs robots de combat d’IA plus autonome, suite aux différents retours d’expérience en Syrie lorsque leur robot URAN-9 avait souffert de la perte régulière de la liaison de données à cause des problèmes de propagation radio en milieu urbain.

Deux paradoxes majeurs

Outre sa capacité à mieux prendre en compte des données contextuelles reçues par les capteurs de la machine, l’IA permet aussi d’être beaucoup moins dépendant des liaisons de données et une plus grande vitesse de prise de décision. Seulement, dans le même temps, pour des questions éthiques, morales et dans un souci d’acceptabilité, afin de s’assurer que les décisions prises sont bien les bonnes, on cherche à rendre les IA compréhensibles. C’est-à-dire que l’on veut comprendre comment une IA en est arrivé à prendre une décision en fonction des données dont elle disposait ; on veut, d’une part, vérifier le bien-fondé des décisions prises – identification des paramètres qui ont le plus pesé dans la décision – et, d’autre part, s’assurer que des systèmes identiques prennent bien les mêmes décisions dans les mêmes circonstances. Cela va bien plus loin que la simple « interprétabilité[3] » des résultats qui se contente de calculer, a posteriori, des indicateurs d’importance mais qui ne peut pas prédire, a priori, le résultat. Ce dernier point peut interroger étant donné que « l’explicabilité » d’un algorithme d’IA est, d’une certaine façon, antinomique avec la notion d’intelligence telle qu’elle est définie pour le monde du vivant. Sachant qu’il n’y a rarement qu’une seule solution à un problème, rendre les IA prédictibles, c’est aussi se priver d’options et cela offre à l’adversaire la possibilité d’anticiper plus facilement les réactions des machines, s’il a pris le temps de les étudier suffisamment. D’une certaine manière, plus l’explicabilité de l’IA sera importante et moins cette IA sera « intelligente » et plus elle ressemblera à un algorithme classique d’automatisation de certaines tâches. C’est là le premier paradoxe.

Le second paradoxe est la conséquence des considérations éthiques et morales. Il est de plus en plus admis que l’homme devra rester dans la boucle, d’une manière ou d’une autre (scénarios L0 à L4), si une arme doit être mise en œuvre. Le cadre juridique international de la mise en œuvre d’armes relevant exclusivement d’une IA pose de sérieux problèmes. Pourtant, si on revient sur l’expérimentation que va faire l’USAF en 2021, il est difficile d’imaginer que l’humain puisse rester dans la boucle au moment du tir. Le moment où le drone sera dans une position favorable pour le tir ne durera parfois que quelques fractions de secondes. Si, à ce moment, le drone de combat doit attendre la validation de sa décision par un humain, cela réduira à néant l’avantage opérationnel offert par l’IA. C’est un cas de figure très courant, dans le feu de l’action, dans des environnements très changeants – combat en milieu urbain par exemple. Le problème reste globalement identique, dans le cas où une autorisation de destruction est donnée dès le contact avec la cible, avant même que le système soit en position de tir, car le temps entre ces deux étapes – prise de contact et position de tir – peut être aussi extrêmement court. De la même manière, si l’IA est vue comme un moyen de rendre plus résilientes des plateformes autonomes dans une ambiance de guerre électronique intense, cet avantage disparaîtra également si les plateformes sont contraintes de maintenir une liaison de données pour obtenir les autorisations de tir. Dans ce cas, au lieu d’améliorer la résilience, cela aura l’effet exactement inverse, en rendant les armées encore plus dépendantes des liaisons radiofréquences. L’adversaire serait alors en mesure de bloquer toute action offensive, juste en empêchant les plateformes robotisées de recevoir les validations de tir. Garder l’homme dans la boucle des IA prive les robots/drones de combat de deux avantages majeurs offerts par les IA qui sont la rapidité de décision dans des environnements complexes et la moindre dépendance envers les liaisons de données.

Les conséquences opérationnelles

Ces deux paradoxes ne posent pas encore de problème tant que l’on est dans la recherche, l’expérimentation et les essais ; mais des choix devront être faits dans le cadre d’une réflexion opérationnelle. Cela donne clairement les différentes orientations probables quant à l’utilisation de l’IA sur des plateformes de combat.

Le premier cas serait une utilisation de l’IA afin de limiter la charge mentale des équipages des plateformes de combat. Cela permettra de bénéficier de sa capacité d’analyse des importants volumes de données mais cela n’augmentera pas significativement la capacité de réaction des équipages, particulièrement au cœur de l’action. L’apport de l’IA sera une aide majeure dans l’automatisation de certaines tâches et dans la compréhension de l’environnement, mais cela ne révolutionnera pas fondamentalement l’emploi des forces et, surtout, on continuera à exposer des équipages humains. Ce serait plus une évolution naturelle vers une automatisation croissante de certaines fonctions comme c’est déjà le cas depuis plusieurs décennies.

Le deuxième cas serait une utilisation de l’IA dans des drones/robots de combat qui permettra de limiter l’empreinte logistique actuelle de ces matériels. Aujourd’hui, la mise en œuvre d’un drone Reaper demande plus de personnel (pilotage, exploitation des capteurs, maintenance et entretien) que la mise en œuvre d’un appareil ISR léger et a une empreinte logistique beaucoup plus lourde[4]. Toutefois, cela n’améliorera en rien la résilience des plateformes en ambiance de guerre électronique intense, les systèmes restant entièrement dépendants des liaisons de données pour la mise en œuvre des armements. Là encore, l’apport de l’IA ne sera qu’une évolution des systèmes existant (scénarios L0 à L3).

Le troisième cas serait une utilisation de l’IA afin de réaliser des plateformes de combat entièrement ou presque entièrement autonomes (scénarios L4 et L5). Ce dernier cas est celui où les avantages de l’IA seraient le plus exploitées : résilience, vitesse de réaction face aux menaces et besoin de peu de personnel. Seule cette utilisation peut réellement être un Game Changer sur le champ de bataille. Toutefois, les IA sont encore peu matures, elles souffrent de nombreuses failles et elles peuvent être trompées[5]. Le risque d’erreur doit être considéré comme élevé, ce qui fait que leur acceptabilité éthique et morale est encore loin d’être acquise auprès de l’opinion publique et donc des décideurs politiques.

*

Les implications éthiques et morales posent un réel problème de fond quant à l’utilisation d’IA sur des plateformes de combat. On veut de l’IA pour améliorer la réactivité et l’autonomie, sans exposer de personnel humain, mais, en même temps, on veut que les décisions prises par ces IA soient prévisibles (explicabilité), reproductibles et validées par un humain. On se prive donc des principaux avantages apportés par les IA – si on fait abstraction de leurs limites actuelles. Les questions éthiques et morales entrent donc en conflit direct avec la notion d’efficacité opérationnelle. Or, il n’est pas du tout certain que tous les Etats fassent les mêmes choix. Il est possible, et même très probable, qu’un certain nombre de nations privilégie l’efficacité opérationnelle face aux questions éthiques. Le pire est que ces choix ne seront probablement pas ouvertement assumés et, comme il sera impossible de connaître à l’avance l’étendue de l’autonomie qui sera accordée aux IA par tel ou tel Etat, il sera aussi impossible de connaître la réalité de la menace. Dans un monde où certains états auront fait le choix de développer des Système d’Armes Létales Autonomes (SALA), et compte tenu des avantages opérationnels potentiels que cela leur procurera, les considérations éthiques et morales pourront-elles encore avoir leur place dans les conflits du futur ? En conséquence, est-il opportun de prendre en compte les considérations éthiques dans la recherche sur les IA, au risque de se priver de machines du même niveau que celles de nos adversaires potentiels ? Ou au contraire, faut-il faire fi de ces considérations pour être certain de rester au même niveau qu’eux ? Ces questions sont complexes et devront être tranchées relativement rapidement ; on ne pourra pas continuer longtemps en faisant semblant d’ignorer les paradoxes de l’argumentation actuelle sur les avantages potentiels qu’offrent les IA alors que se profilent à l’horizon des champs de bataille avec de plus en plus de plateformes robotisées.

[1] https://www.youtube.com/watch?v=v4PNGkif1nw

[2] Les systèmes d’armes létaux autonomes (rapport parlementaire N°3248 du 22 juillet 2020)

[3] https://perso.math.univ-toulouse.fr/mllaw/home/statisticien/explicabilite-des-decisions-algorithmiques/

[4] https://www.franceculture.fr/emissions/le-monde-des-espions-saison-2-les-nouveaux-corsaires/les-auxiliaires-prives-du-renseignement-francais-avec-bernard-barbier-0

[5] Cf. Olivier Dujardin, « Applications de l’IA au domaine militaire, perspectives et risques », Défense et sécurité internationale, Hors série n°73, août 2020.