position de thèse - Université Paris

Ecole doctorale V
Concepts et langage
Unité de Recherche
Rationalités Contemporaines
Membre de l’Académie Louvain
Ecole doctorale
de philosophie (ED1)
près le FNRS
Cotutelle Internationale de Thèse
En vue de l’obtention du grade de Docteur en Philosophie
Intitulée
Problèmes éthiques posés par le remplacement de l'humain
par des robots.
Le cas des systèmes d'armes autonomes.
Présentée par :
Marie-des-Neiges RUFFO de BONNEVAL de la FARE des COMTES de SINOPOLI de CALABRE
Sous la direction des:
Professeur Jean-Michel BESNIER, Université Paris-Sorbonne, Paris IV, France
et
Professeur Dominique LAMBERT, Université de Namur, Belgique
Membres du jury :
Professeur Jean-Michel BESNIER, Université Paris-Sorbonne, Paris IV, France
Professeur Nathalie COLETTE-BASECQZ, Université de Namur, Belgique
Professeur Jean-Gabriel GANASCIA, Université Pierre et Marie Curie, Paris VI France
Professeur Dominique LAMBERT, Université de Namur, Belgique
Professeur Alain RENAUT, Université Paris-Sorbonne, Paris IV, France
Professeur Renaud RONSSE, Université Catholique de Louvain, Belgique
Paris, Université Paris-Sorbonne, 19 janvier 2016.
1
Fin 2014, les journaux s’alarment. D’après une étude de Roland Berger, 3 millions
d’emploi devraient disparaître en France d’ici 2025. En cause : l’usage des robots. La
progression écrasante de leur usage tend à rendre l’humain obsolète sur le marché du travail.
Tant la rapidité de l’évolution technologique que les craintes de ses effets sur l’humain
nécessitent que l’on s’interroge sur les rapports entre l’homme et la machine : sont-ils
adversaires, concurrents, complémentaires, subordonnés l’un à l’autre, indifféremment
substituables, ou nécessairement interdépendants? Face aux affirmations des prédicateurs de
la Singularité et du transhumanisme, l’homme et la machine semblent avant toute chose en
compétition : qui, de la créature ou de son créateur, dépassera l’autre ? Pour certains la
question n’est guère « qui » mais bien plutôt « quand ». Depuis Deep Blue battant Kasparov
aux échecs jusqu’à Watson remportant le Jéopardy, la machine joue sur le terrain des humains
et l’emporte. Est-ce à l’homme de s’incliner à son tour, non plus devant la force physique de
la machine mais devant ce qu’il considéra pendant des millénaires comme son exclusive
singularité, l’intelligence de celle-ci ?
Plutôt que d’envisager une reddition immédiate de la race humaine, nous pouvons
pointer la représentation du champ dans lequel s’inscrit la relation entre l’homme et la
machine afin de déterminer quel type de rapport serait préférable, puisque les robots font déjà
partie de notre monde. Le remplacement de l’humain par une machine pourrait s’avérer être
une bonne chose. Par exemple, si l’on considère la conquête spatiale, il est plus indiqué de
remplacer l’homme par le robot s’il s’agit d’explorer Mars sans oxygène.
En l’an 2000, le Congrès américain prenait la décision qu’un tiers des véhicules
terrestres de l’armée américaine devaient être inhabités en 2015. Alors que cette échéance est
là, quels types de robots existent-ils, quelles conséquences cette robotisation du champ de
bataille a-t-elle sur la manière de mener la guerre et plus encore de la gagner ? Est-ce pour un
mieux ? On espère beaucoup des capacités robotisées aujourd’hui, mais les robots sont-ils
déjà prêts à être autonomes ? Entre science-fiction et réalité, quel est l’état de l’art
aujourd’hui ? Dotés de capacités de visées supérieures par exemple, on attend des robots
qu’ils soient plus efficaces qu’un sniper. Privée d’affects, leur programmation devrait les
rendre plus respectueux des règles d’engagements et du droit de la guerre que ne le seraient
des humains soumis au stress.
Les automates ou « robots » ont progressivement soulagé les hommes de la
pénibilité du travail ; aujourd’hui c’est du danger de mourir à la guerre en montant en
première ligne qu’ils le préservent, garantissant au soldat qu’il sera hors de portée de
l’ennemi. Dès lors que nous armons des robots, que l’on redoute que les machines ne soient
un jour capables de nous dépasser jusqu’à provoquer notre extinction, penser dès maintenant
comme Nick Bostrom à les programmer à être « amicales » envers nous semble en effet une
sage précaution. Dans cette optique, doter les machines de programmes leur permettant d’agir
moralement est un projet urgent.
Cette urgence procède pourtant d’une révolution. S’il est manifeste que les objets
techniques possèdent un degré d’habileté supérieur à l’humain sur bien des plans, c’est
aujourd’hui d’un nouveau champ de compétences que l’on tente de doter les systèmes
autonomes en adjoignant à leurs effecteurs des programmes d’aide à la décision. Il s’agit non
plus d’une habileté « physique » supérieure, mais bien de la question de la qualité d’une
action. Qualité qui dépend non seulement de la bonne réalisation, mais aussi de l’adéquation
de l’action choisie à la situation donnée. S’il est ici toujours question d’efficacité et de
sécurité selon le contexte, la science reine en ce qui concerne la qualité d’une action reste
l’éthique. C’est donc notamment sur l’aspect de l’efficacité et en particulier de l’efficacité
éthique, que se porte notre attention. Quelles conséquences le remplacement de l’humain par
un robot peut-il avoir sur la morale et son respect ? Le robot sera-t-il un soldat plus vertueux
que sa version biologique ? Ceci implique que nous justifiions la pertinence du lien entre
2
conduite éthique et action militaire, la simple existence de « l’éthique militaire » semblant à
certains n’être qu’un oxymore. Mais d’une machine ou d’un humain, lequel est effectivement
le plus moral, d’une part dans son comportement, d’autre part dans l’évaluation qui peut être
faite de sa présence sur le terrain ?
La question du jugement et de la prise de décision dans le cadre spécifique de la
guerre constitue un « cas limite » d’application de la toute-puissance des machines. Le choix
du militaire est aussi celui d’un agent pour qui la prise de décision implique parfois la vie ou
la mort. Pas simplement la mort qu’il donne ou la vie qu’il laisse, mais bien la vie ou la mort
de ses hommes qui dépendent de la pertinence de sa décision. Pour cet agent, la question du
choix, de la décision qu’il faut bien prendre au risque sinon de mourir certainement, et surtout
de la responsabilité qui en découle, n’est pas cruciale, elle est vitale. Nous opérerons un
rapprochement entre l’agissement de cet agent et le jugement prudent chez Aristote.
Au demeurant, si les systèmes d’armes létaux autonomes (ou SALA) sont capables
de décider de tirer, et par conséquent de remplacer le soldat sur le champ de bataille pour
certains, il reste à prouver que l’humain doive en être évacué. Il s’agit justement du jugement
moral, de l’application de l’éthique. Nous entendons par « éthique » la conduite d’une action
qui ne se limite pas au seul respect des règles de droits qui s’y appliquent, à savoir ici le droit
de la guerre international et les règles d’engagements qui diffèrent suivant les juridictions
nationales. Ce respect du droit, même scrupuleux, ne constitue pas une éthique mais un simple
légalisme. La position du Professeur Ronald Arkin, « roboéthicien » américain, soutient
pourtant que les robots militaires peuvent être plus éthiques que les humains en vertu de leur
application inconditionnelle du droit. Puisque l’éthique n’est pas le droit, comment un
homme, ici, le soldat, et particulièrement l’officier, peut-il prendre des décisions,
éventuellement différemment d’une machine, si tant est qu’elle en soit capable ?
En guise de « champ clos » où nous arbitrerons s’il existe une différence entre
décision humaine ou robotique, nous avons opté pour le champ d’honneur, terme exact à la
fois moral et guerrier puisque les deux doivent être associés, et comme champions en lice les
officiers d’une part contre les SALA. L’enjeu du duel concernait leur droit à décider et à agir,
mais toujours moralement. Ayant déterminé un contexte, un objet technologique et un type
d’homme dans l’arène, nous avons pu analyser les problèmes éthiques posés par le
remplacement de l’humain par des robots. En un mot comme en cent, peut-il être moral de
remplacer l’humain par des robots, particulièrement à la guerre ?
Une telle joute ne pouvait se faire en une seule manche, la thématique du
remplacement de l’humain par des robots, même plus particulièrement en contexte militaire,
ne saurait être envisagée dans tous ses aspects moraux sans croiser différents angles d’attaque.
Cette diversité s’avérait nécessaire car la dimension saisissante des « robots tueurs », comme
les journalistes les présentent, si elle n’était traitée engendrerait une frustration
compréhensible au lecteur qui chercherait une réflexion d’éthique appliquée. Tandis qu’à
celui qui souhaiterait une réflexion méta-éthique sur les robots moraux, la dimension
appliquée ne suffirait guère. C’est pourquoi d’une part il nous fallait établir un état des lieux
de la robotique militaire récente et préciser les difficultés langagières et conceptuelles
qu’induisent ces technologies. D’autre part, l’aspect moral et éthique de ces robots présuppose
une réflexion ontologique sur les qualités requises pour bénéficier d’un statut moral et pour
être reconnu tel un agent moral. Pour le dire autrement, nous avons déployé notre
problématique en nous attachant aux liens existants entre robotique et éthique. La première
étape visait à répondre à la question si « le robot pouvait-il être moral ? », c'est-à-dire dans un
premier temps s’il pouvait être un agent moral. Une fois les capacités robotiques comparées à
ces exigences, nous pouvions considérer de clore notre recherche, mais c’eût été oublier la
question pratique à laquelle certains auteurs tels qu’Allen et Wallach tentent de répondre
indépendamment de l’analyse ontologique, à savoir : « pouvons-nous construire un robot
3
moral ? », sous-entendu indépendamment de sa nature, peut-on reproduire le jugement moral
dans un robot ?
Ces deux questions, ontologiques et pratiques, une fois traitées nous disent encore
fort peu du contexte d’application particulier qui nous intéresse : le cadre militaire. Ce dernier
est régi juridiquement par un ensemble de lois et une longue tradition éthique issue de la
théorie de la guerre juste et de l’enseignement des officiers en France notamment, que nous
avons dû présenter dans leurs grandes lignes. Ceci permettait de répondre en substance au
troisième temps de notre analyse, à savoir « comment un soldat peut-il être moral à la
guerre ? ».
Il était enfin temps d’envisager les effets de l’irruption de ces technologies à la
guerre, autrement dit ce qui advient au point de vue éthique lorsque le robot remplace
l’humain, et ce qui pourrait en résulter à l’avenir. Aucune technologie n’est neutre, et nous
avons analysé la mutation politique qui en est issue en suivant l’herméneutique donnée par
Grégoire Chamayou à ce propos. L’analyse éthique et pratique des robots actuels, avec les
drones en particulier et à venir avec les SALA, nous a permis de juger s’il était permis
d’utiliser des robots à la guerre. Toutes ces voies ayant été explorées, nous avons finalement
pu analyser comparativement les actions des hommes ou des robots à la guerre, et ce qui peut
être dit du projet de création de « robot moral » dans son ensemble.
S’il était nécessaire de se garder des clichés de la science-fiction, la question de la
bonne ou mauvaise action poursuivie par un robot dépourvu d’une supervision humaine et
doté d’une prétendue « autonomie » se posera toujours. Si les robots acquièrent une
« autonomie » ce sera d’abord grâce aux programmeurs humains plutôt que par l’émergence
d’une volonté propre, comme le pensent les partisans de la Singularité, même si rien
n’indique que la Singularité aura, ou n’aura pas, lieu. La programmation du robot constitue un
enjeu moral et éthique dès l’instant où nous ne pouvons plus intervenir directement sur son
fonctionnement. Implicitement, la démarche de Ronald Arkin de programmer les règles
d’engagement et le droit international relatif aux conflits laissait supposer que cette voie était
la seule possible pour éviter deux maux sur les champs de bataille. Sa proposition devait
constituer une solution au dilemme entre devoir utiliser soit un robot sans supervision
« éthiquement aveugle », soit un humain sanguinaire et fragile. Cependant, la manière dont
Arkin présentait son projet ne nous semblait pas neutre dans ses prémisses. Nous nous
sommes donc attachés à reprendre les éléments techniques, éthiques, moraux, mathématiques,
légaux, politiques, psychologiques et méta-éthiques impliqués dans le projet de créer des
robots « moraux » afin d’en mesurer les effets avant de suggérer de faire un choix radical
entre « le robot ou le roseau »1 à la guerre.
Nous avons vu l’importance du phénomène de la robotisation, brièvement au point
de vue civil et plus particulièrement au point de vue militaire. Nous avons vu les modèles
robotiques existants, en quoi consistait leur autonomie, et pourquoi cette dernière devrait
continuer de s’accroître. Nous avons exposé que l’autonomie robotique recouvre des tâches
différentes, qu’elle est à situer graduellement - la pleine autonomie n’étant pas encore réalisée
voire réalisable - et qu’elle présuppose du robot des senseurs, des capteurs, des actionneurs et
donc une certaine mobilité, ce qui ne disait encore rien de la supervision humaine des
systèmes. L’importance de la supervision humaine efficace dans le débat laisse entendre que,
plus que l’autonomie prétendue des robots, l’enjeu sous-jacent à toute l’évolution technique et
robotique à venir concernera l’attribution du pouvoir de décision. Si jusqu’ici les machines
pouvaient produire mieux, plus vite, et moins cher, désormais, remplacer l’humain dans sa
capacité de décision entraînera des enjeux éthiques importants, notamment l’attribution de la
1
Expression de Mireille Delmas-Marty extrait du titre d’une de ses conférences au Collège de France.
4
responsabilité. C’est pourquoi, une fois les aspects techniques évoqués, nous avons pu nous
consacrer à la moralité des robots.
Nous sommes confrontés à une difficulté majeure dans l’analyse actuelle des robots
moraux. En effet, l’objet que nous cherchons à étudier est absent, ou, du moins, seuls les
fragments qui, mis ensemble, permettront peut-être de le construire, s’offrent à nos yeux.
Opposants et adversaires à cette réalisation en sont réduits à des hypothèses sur les capacités
réelles et les effets qui seront produits par un robot qui « déciderait à notre place ». Il nous a
fallu contourner ce « lieu vide » -ou du moins flou-, source de tous les fantasmes, en adoptant
une interrogation ontologique sur ce qui serait nécessaire à un robot pour avoir d’une part un
statut moral, c’est-à-dire des droits, et d’autre part les qualités requises pour être un agent
moral. Nous avons dû nous rendre à l’évidence : le robot a irréductiblement une valeur
d’usage pour nous. Son « existence » n’est qu’une durée d’exploitation. Ce dernier terme luimême détermine encore à quel point le robot demeure servile et asservi à nos propres fins.
Quant à sa capacité à être un agent moral « comme nous », l’objection de Searle demeure un
horizon indépassable, le robot échoue à comprendre le sens de son action, élément
indispensable pour l’attribution de la responsabilité. Pour la même raison, il serait difficile à
un robot d’opérer un jugement qui tiendrait pleinement compte du contexte. Un contexte non
pas entendu comme la simple variation de données empiriques mesurables par la machine,
mais une situation porteuse d’une signification particulière qui modifie par exemple le blâme
encouru pour une mauvaise action. Le robot n’a accès à aucun sentiment, indépendamment
des tentatives pour lui faire simuler des comportements « empathiques ». Sa programmation
rend stérile tout espoir de liberté, en dépit de la confusion langagière que nous avons décriée
sur sa prétendue autonomie. L’imagination et la créativité, éléments nécessaires à l’homme
prudent pour répondre aux situations imprévues et aux défis éthiques découlant de facto de la
confrontation des règles avec la réalité, fait cruellement défaut au robot. Comme Ada
Lovelace l’avait déjà montré, le robot ne peut rien produire de radicalement neuf qui ne lui
soit pas donné par sa programmation. Contrairement à l’esclave antique, le robot ne peut
« s’affranchir » de sa servitude. La qualité de « full moral agent » demeurera ainsi
inaccessible au robot tant que la quasi mythique Singularité qui le dotera d’une conscience ne
se sera pas produite. La possibilité de lui faire endosser une protomorale comme les animaux
ne s’est pas avérée plus concluante, le robot n’étant pas - jusqu’ici - un être vivant dont la
survie lui imposerait de suivre cet ensemble de règles pour résister à la pression de la
sélection naturelle. En résumé, pour qu’un robot soit un agent moral, il aurait dû être.
Puisqu’en dépit de la simulation perfectionnée de nos comportements le robot ne
peut pas nous imiter au niveau de notre être, il s’ensuivrait qu’il ne peut pas agir moralement
et donc nous remplacer. Mais Colin Allen et Wendell Wallach proposaient de prendre acte de
cette impossibilité ontologique. Tout comme les ordinateurs sont dotés d’une intelligence
artificielle, autrement dit simulée, le robot devait seulement être considéré comme un « agent
moral artificiel » selon eux. Si le but de la machine est d’imiter, peu importe ce qu’elle est, il
lui suffit de savoir faire. La mesure de ce savoir-faire serait le Moral Turing Test, ou sa
version plus complète, le comparative Moral Turing Test. Ce point de vue induisait un
questionnement pratique sur la programmation de la morale et du raisonnement éthique. Nous
avons dès lors évoqué différentes possibilités de programmation morale, le kantisme,
l’aristotélisme, l’utilitarisme, la programmation du droit et des règles d’engagement dans
l’architecture proposée par Arkin, les principes de Constant, et enfin les trois lois de la
robotique d’Asimov. Chacune de ces propositions se heurtait au constat que tout comme
« traduire, c’est trahir », programmer, c’est réduire. En l’absence de robots agissant d’après
ces principes, nous n’avons pas même pu leur faire passer le cMTT. Nous nous sommes donc
attachés à décrire les difficultés qui continueront à peser sur leur réalisation.
5
Tout d’abord, le projet de programmer des robots moraux suppose une attente de
fiabilité totale de ces systèmes. L’affirmation préalable qu’ils feront « mieux » que les
humains ne s’avère pas cohérente avec la nécessité de demeurer réaliste sur les bugs
probables de la machine. Or, si ces systèmes ne sont pas fiables, quelle justification morale
peut-il y avoir en faveur de leur remplacement de l’humain ? Ensuite, le projet de formaliser
logiquement la morale se heure aux mêmes difficultés que celles rencontrées par l’individu
qui doit appliquer des règles préétablies dans un contexte où elles s’avèrent incomplètes,
contradictoires ou contre-productives à plus long terme. Outre qu’une programmation ne
saurait relever que de la syntaxe, d’où nous extrayons nous-mêmes une signification, elle ne
saurait que marginalement tenir compte de son contexte d’application. Le robot peut établir
des mesures environnementales, mais nous ne pouvons le doter d’une compréhension du
contexte moral dans lequel il évolue. Ceci rejoint l’argument de Searle. Un robot pourrait
peut-être mettre à jour son modèle-monde et ses règles de comportement pour intégrer
quelques exceptions dans le cadre d’une programmation logique non-monotone, mais cette
mise à jour ne saurait être le fait que de son programmateur. Il semble douteux que, sans
humain pour guider son action, un robot sans supervision puisse saisir l’essence d’une
situation et choisir la meilleure action à adopter. Nous disions choisir, ce qui est déjà une
réduction de ce qui serait demandé à un agent moral traditionnel qui doit mémoriser, créer,
lister, imaginer ou exclure lui-même les options d’action qu’il pourrait adopter ou non, bref
faire usage d’un jugement prudent en restant conscient de la finalité recherchée. Enfin, une
programmation morale se heurterait à une limite mathématique : n’importe quel processus
d’optimisation et de choix de décision en conséquence ne peut être traduisible en une règle
fixe qui consisterait en un algorithme calculable en un temps raisonnable. Les derniers
obstacles au projet de programmer la morale relevaient d’une réflexion méta-éthique que nous
avons laissée pour la fin.
Si les robots moraux n’existent pas encore, nous n’avons cependant pas omis les
questions d’éthique appliquée qui s’adressent à la robotique militaire déjà existante. Nous
avons exposé les problèmes éthiques actuels posés par les drones téléopérés et la possibilité
que les systèmes autonomes militaires sans supervision soient contre-productifs à terme,
particulièrement s’ils sont dotés d’armes létales. Préalablement nous avions abordé l’éthique
militaire traditionnelle à travers la triple approche de la guerre juste et son cadre juridique, des
apports de la pratique militaire (Clausewitz, Krulak, Desportes, Royal, etc.) et enfin de la
phronèsis aristotélicienne. Cette connaissance nous a permis d’analyser comment les robots
militaires contribuent et témoignent d’une mutation profonde de la guerre, depuis la manière
de la définir, jusqu’à la manière de la gagner, en passant par la façon de la mener en suivant
en cela l’approche de Chamayou. Le zéro mort apparaissait tel une nouvelle norme à intégrer.
L’avènement du robot transforme le soldat sur le terrain en une fragilité politique, sans
compter le risque -toujours encouru jusqu’ici- qu’il transgresse l’éthique militaire
traditionnelle, malgré tous les meilleurs garde-fous. Faut-il alors laisser les robots faire la
guerre à notre place ? Plutôt que d’arriver à faire du soldat un robot n’obéissant qu'aux ordres,
donner au robot les normes et l’éthique du soldat semblait théoriquement plus approprié. La
perspective d’implémenter des règles de comportements fixes, en conformité avec l’éthique,
dans les robots et systèmes autonomes militaires semblait prometteuse. La nouvelle norme du
« zéro mort de notre côté » devenait envisageable, et l’éthique traditionnelle y gagnait une
assurance jamais atteinte. L’enjeu eut été d’élaborer des systèmes robotisés qui intégreraient
le cadre juridico-éthique existant de la guerre, tout en répondant à cette nouvelle norme du
« zéro mort », un projet qui correspondait en tout point à celui d’Arkin.
Cependant nous avons vu que confier le respect de la morale au robot n’était pas
satisfaisant. En outre, cela provoquerait des questions légales sur l’attribution de la
responsabilité en cas de dommages collatéraux ou d’erreurs. Enfin, la « robolution » comme
6
certains l’appellent ne suffisait pas à modifier certaines données empiriques de la guerre, telle
que l’existence du brouillard de la guerre. Les robots ne sont pas infaillibles et les hommes
non plus. Alors qui, de l’homme ou de la machine habilement programmée est encore le plus
adapté à la guerre ?
Il ne suffit pas de robotiser le champ de bataille en en excluant tous les combattants
de chair et d’os portant nos uniformes pour satisfaire aux critères de l’éthique militaire. Si le
« zéro mort » apparaissait telle une nouvelle norme éthico-politique, autrement dit imposée
par le politique dans la pratique des militaires, les mutations qu’elle provoque notamment sur
l’impératif du sacrifice suprême, ne rendent pas caduques les leçons de l’éthique militaire
traditionnelle, et encore moins les codes juridiques se rapportant à la guerre. En particulier les
exigences de la proportionnalité, de la protection des civils, et de l’action militaire comme
ultime recours demeurent.
Les défenseurs de la programmation éthique se présentent comme des réalistes : les
drones et les robots existent. En dépit des demandes de moratoires ils représentent un marché
croissant pour l’industrie et constituent une manière de mener la guerre à moindre coûts en
période de restriction budgétaire. Dès lors que la suppression de la supervision humaine est
techniquement possible, le « gouverneur éthique » d’Arkin lui semble l’ultime rempart contre
l’absence totale d’éthique, même si sa solution est mince. Quelle position fallait-il adopter ?
Fallait-il, sous couvert de « réalisme », préconiser le moindre mal vis-à-vis de la poussée des
va-t-en guerre technologiques ? Ceci revient à poser la question du rôle de la réflexion
philosophique ; doit-elle être un « garrot éthique » contre l’hémorragie du sens moral ou
mettre le doigt sur le problème et identifier son remède profond ? C’est au philosophe qu’il
revient de prendre le temps de l’analyse éthique, et aux décideurs politiques et militaires
d’adopter la conduite de leur choix en conséquence, en souhaitant qu’elle soit vertueuse. Les
décideurs ont besoin pour être phronimos d’informations, de réflexions, pour poser le meilleur
acte possible. Si le philosophe peut aider cette démarche, c’est en livrant le fruit de ses
réflexions objectives, afin que le décideur politique et militaire puisse faire un choix éclairé,
en toute conscience.
Nous ne pouvons dégager qu’un fait unique de notre analyse du robot et du militaire,
tant au point de vue moral qu’au point de vue pragmatique : aucun des deux n’est exempt de
défauts ni de problèmes éthiques potentiels. Ainsi, il est devenu clair que nous n’étions pas en
présence d’un « match » entre les performances présumées mirobolantes des uns ou celles des
autres comme le présentaient les tenants de la Singularité. En fait, ce qui constituait un
préjugé de départ, d’après lequel soit l’homme, soit le robot devait être supérieur à l’autre, et
qui aurait justifié le remplacement de l’un par l’autre, s’effondre. Ce qui est premier n’est pas
tant de démontrer sa supériorité que de faire aveu de faiblesse. Pour une réflexion dont le
cadre est l’action militaire, cela confine à l’ironie. Faut-il placer sur le champ de bataille des
soldats risquant leur vie, leur intégrité physique, leur santé psychique, avec tous les risques
qu’ils « craquent » et cèdent alors à la vengeance et à des actes de folie passagère ?
L’alternative du robot létal soumis aux aléas des bugs et au piratage n’est guère meilleure, car
ce qui s’offre à nous dans l’état actuel des réalisations robotiques est de placer soit un robot
« éthiquement aveugle », soit un robot qui intégrerait certains « fusibles éthiques » sur le
terrain, mais qui serait encore bien loin de satisfaire à toutes les attentes morales. On le voit,
ni l’officier ni la machine ne sont infaillibles. Mais au fond, si l’homme est un être dont la
spécificité est d’être faillible avant tout, est-ce si surprenant que sa créature, la machine,
toujours produite par son créateur, conserve cette caractéristique ?
La question qui se posait à nous, à savoir s’il faut remplacer l’humain par le robot dans
la conduite de la guerre, est ainsi à envisager d’une manière différente de ce que nous avions
anticipé. La réflexion de Ronald Arkin partait du constat que, tôt ou tard, des systèmes
robotisés seront dotés d’une décision de tir autonome, que l’homme sera in fine « éjecté de la
7
boucle » (Out-of-the-loop). Dès lors, le « gouverneur éthique » lui semble, à défaut d’une
solution idéale, un moindre mal. Cependant, qu’une situation puisse être vue comme
inéluctable ne suffit pas à en faire quelque chose de bon, ou plus exactement une chose à
l’encontre de laquelle il ne serait plus justifié de signaler son inadéquation morale. Cesseraiton de lutter contre la criminalité parce que ses chiffres sont en hausse constante ? Cette
réponse-là ne nous semble donc pas moralement suffisante.
Une partie de la réponse possible à notre question se trouve dans l’analyse de
Chamayou et de Walzer entre autres ; conduire une guerre cynégétique à l’aide de robots
(indépendamment de leur programmation éthique ou non) lourdement armés avec la logique
exclusive « que l’autre meure » est foncièrement inéthique. Mais il est une réponse récurrente
dans le domaine de l’éthique de la technique : ce n’est que rarement l’objet technologique luimême qui est problématique mais bien plus souvent l’usage qui en est fait. Partant de ce
constat, il est possible d’avoir une bonne utilisation de la robotique militaire autonome ainsi
que de la programmation « morale ».
Prenant acte d’un double aveu de faiblesse, nous avons évoqué les prouesses et les
échecs de la robotique militaire et des programmes d’aide à la décision. Nous avons exposé
les exigences de l’éthique militaire, les quatre axes de danger selon Royal et surtout certaines
atrocités perpétrées en temps de guerre par des soldats, pour nous garder de tout angélisme.
Nous avons vu que, même au sein de ces horreurs, pouvaient briller quelques actes de
bravoure. Hélas le robot, lui, ne peut s’affranchir de sa programmation pour devenir héroïque,
ni dépasser le droit, le juste, pour faire preuve de miséricorde et épargner une vie. Autant
d’éléments qui lui auraient permis de faire barrage à l’escalade de la violence.
Que retenir de l’ambivalence du comportement humain ? La violence des uns
côtoyant le meilleur des autres, il est possible de trouver en l’homme des résistances fortes
aux comportements in-éthiques pourvu que les conditions soient remplies (notamment éviter
les conditions qui mènent au désinvestissement moral). Il est donc possible d’influencer le
comportement moral à la guerre en portant attention à ces conditions extérieures au soldat luimême. Le pire et le meilleur de l’homme se côtoient. On affirmera sans doute que l’on
connaît davantage de massacres et qu’ils marquent davantage les esprits que les
comportements moralement héroïques. Ce ne serait plus une objection tenable si les
comportements héroïques pouvaient être rapportés aussi aisément que les comportements inéthiques.
En dehors des faits de cruauté, que restait-il pour évaluer « le pire » de l’humain ? Les
erreurs et les morts de civils non-combattants. On se souviendra de ce soldat français qui tira
par erreur à balles réelles sur la foule à Carcassonne lors d’une démonstration, croyant tirer à
blanc. Cependant les erreurs humaines possèdent leur équivalent robotique et portent alors le
nom de « bugs ». En ce qui concerne les morts de civils non-combattants découlant
pudiquement des « dégâts collatéraux », nous avons vu qu’ils peuvent être le fait aussi bien
des robots que des humains. L’analyse de Chamayou sur les conséquences du « remote
killing » par rapport à la conduite d’une guerre traditionnelle tend à démontrer en outre que le
type d’armes dont sont dotés les drones conduisent inévitablement à des dégâts
disproportionnés par rapport au résultat qu’auraient pu obtenir des hommes seuls sur le
terrain, même si cela aurait représenté plus de risques pour eux. S’il fallait choisir entre
l’humain et le robot, l’humain semble ainsi mieux équipé pour correspondre au critère de
Foerster - que nous avons complété - d’augmenter les choix possibles pour diminuer la
violence.
Etant donné que l’homme et le robot ont tous deux des faiblesses, quoique différentes,
nous avons envisagé un type de rapport homme-machine qui ne serait plus de domination de
l’un sur l’autre pour concilier le meilleur des robots et des humains.
8
Il s’avère qu’en faisant le choix d’étudier le projet de remplacer l’humain par le robot
nous sommes passés un peu rapidement sur la collaboration possible entre l’homme et la
machine. Dans l’état de l’art nous avions vu que les capacités de contrôle des machines par
des humains demandaient une charge cognitive importante, ce qui tendait à plaider pour une
autonomie d’action accrue pour les robots. En nous focalisant sur le remplacement de
l’humain par un robot, nous avons négligé toutes les tentatives de faire du soldat lui-même un
robot, ou plus exactement un cyborg. Ce type d’option appartient au courant transhumaniste
que nous avons évoqué comme partisan de l’émergence de la Singularité. Son argument
principal est que lorsque les robots nous auront remplacés il nous faudra devenir
« augmentés » pour survivre. Cette fusion de l’homme et de la machine peut être une manière
de ne pas opérer un choix entre les deux et d’y voir une collaboration. Cependant cette fusion
elle-même produit une masse considérable de difficultés éthiques que nous ne pouvions
aborder. Compte tenu de ces difficultés, la question reste posée s’il est préférable d’envoyer
un humain, un cyborg ou un robot à la guerre.
Quelle collaboration pouvait encore exister sans fusion ? Pouvions-nous encore
espérer bénéficier des atouts de la robotique militaire sans subir ses effets néfastes, tout en
respectant l’éthique jusqu’à l’héroïsme propre à l’humain, mais sans dénaturer ce dernier ? En
ce qui concerne l’humain, nous avons vu que les conditions qui mènent au désinvestissement
éthique doivent être combattues en amont pour éviter l’apparition de comportements
immoraux. Envoyer sur le terrain un soldat dont le caractère n’a pas intégré le respect de
l’éthique et du droit n’est pas digne d’une nation démocratique. En ce qui concerne les robots,
il semble manifeste que pour les tâches relevant pleinement des 3D, leur collaboration soit
une bonne chose. Nul ne nierait qu’autonomiser davantage les tâches de reconnaissance en
milieu hostile ou même la recherche et la destruction d’IED par des Packbots avec les
précautions d’usage pour éviter les dégâts collatéraux (pas de présence humaine à une
distance de sécurité) soient d’excellentes choses. Le contexte d’emploi est significatif au
niveau moral. L’usage de robots sans supervision dotés exclusivement de contre-mesures non
létales (tel que le lâcher de leurres) dans des contextes où l’homme est préalablement exclu ne
nous semble pas moralement condamnable. Nous désignons par là des cyber-guerres, des
guerres sous-marines entre systèmes robotiques ennemis, etc. En revanche, doter les robots,
même télé-opérés, de capacités létales pour un usage dans des guerres asymétriques et
potentiellement en contexte urbain encourage la violence et empêche d’obtenir une paix
durable, nous l’avons vu. Nous voyons mal comment la libération de ces mêmes systèmes
d’armes létaux de leur supervision humaine en les dotant de quelques « fusibles éthiques »
pourrait inverser cette tendance.
Le critère complété de Foerster nous a permis d’envisager que les drones et autres
robots soient dotés d’armes non létales pour augmenter la gamme de réponses possibles. Il est
évident qu’un drone, même autonome, qui ne serait doté que de capacités strictement non
létales telles que l’émission de gaz lacrymogènes, haut-parleurs émettant des sons
désagréables, etc. ne provoqueraient pas les mêmes effets désastreux que les drones de
combat et constituerait un progrès. La meilleure solution est sans doute celle rêvée par John S.
Canning d’un robot capable de désarmer physiquement un adversaire en neutralisant son
arme. Une telle réalisation ferait progresser le respect de l’éthique militaire sur le champ de
bataille tout en assurant la sécurité de nos soldats et des populations civiles, mais elle demeure
malheureusement un rêve à ce jour.
La programmation éthique de la robotique de son côté pourrait être poursuivie avec
fruit pour le respect de la morale, même si une telle programmation n’aurait pas vocation à
être utilisée sur le terrain, à cause de son incomplétude par nature. Elle pourrait directement
contribuer à la formation éthique des soldats si elle était utilisée à la manière des simulateurs
de vols pour les pilotes. En présentant un ensemble de situations qui se sont déjà produites,
9
une simulation virtuelle placerait le soldat dans la situation de devoir choisir les meilleures
options au cours de séances d’entraînement du jugement éthique.
De cette manière, au lieu de déléguer à la machine le soin de penser et d’agir à sa
place, ce qui appauvrirait encore la capacité de délibération éthique de l’individu et ferait
croître le désengagement moral, elle le formerait à faire usage de cette capacité. La
programmation éthique utilisée comme simulateur pourrait donc entraîner les bons habitus
chez le soldat, l’entraîner à pratiquer sa vertu de phronèsis. Ce faisant, on pourrait voir surgir
des comportements humains inédits pour répondre à des situations éthiques complexes. La
créativité humaine dans la prise de décisions innovantes face à des situations complexes
pourrait s’appliquer sans risquer sa propre vie. Nous pourrions apprendre davantage sur les
mécanismes de prise de décision morale puisque ces « entrainements éthiques » auraient lieu
dans des conditions qui sont tout autant des exercices que des expériences.
Nous savons que nous apprenons par renforcement, l’éthique n’échappe pas à cette
règle, un « simulateur d’éthique » à l’image du « simulateur de vol » ne remplacera pas le
soldat sur le terrain comme il n’a pas supprimé le pilote sur les avions de ligne. Certaines
fonctions simples et répétitives dans les situations qui ne sont pas des « crises » ont été
automatisées. De même les fonctions « techniques », « sales, répétitives et dangereuses » en
dehors des situations de crises doivent pouvoir bénéficier des bienfaits de la technologie, mais
en conservant toujours une supervision humaine au cas où justement une crise se présenterait.
Si l’humain peut légitimement être « au dessus » de la boucle en temps normal pour ces
tâches « 3D », il devrait tout autant légitimement pouvoir rentrer dans la boucle en cas
d’incident.
L’automatisation de l’éthique ne permettra pas à une machine d’être un agent moral
autonome qui satisfera toutes nos attentes morales, mais nous pouvons programmer un
simulateur éthique pour entraîner l’individu à acquérir une virtuosité éthique avec un
minimum de risque pour sa propre vie. Voilà comment la robotique militaire éthique
permettrait de manière optimale de protéger les populations des dommages collatéraux et à
nos Etats de gagner une guerre asymétrique. C’est là où l’informatique pourra déployer toute
sa puissance, pour reproduire des situations déjà présentées et mémoriser quelle aurait été
l’attitude optimale à adopter, et à quel moment. Créons des robots enseignant aux humains les
meilleurs comportements éthiques qu’ont pu présenter leurs semblables.
Enfin, il est un élément qui résume peut-être notre recherche de la moralité à la guerre,
pour déterminer qui doit prendre la décision du tir létal, qui est en mesure de contrôler sa
force pour ne pas tomber dans la violence. Un officier devrait être capable de raconter les
souvenirs de ses actions à ses petits-enfants sans en avoir honte. Cette ligne de conduite
regroupe la responsabilité, la capacité de dire « je », l’accès au sens, la dimension sociale de
la morale et la difficulté du jugement éthique. Pour qu’il y ait morale, l’individu en fait un
récit, nous l’avons vu notamment avec Whitby et Parthemore. Or, le récit de l’action s’inscrit
dans un contexte global, il nécessite un auteur de l’action, un narrateur, un message doté de
sens, un auditoire pour l’interpréter, et surtout une motivation qui donne sens à la volonté de
conserver une conduite droite en toute circonstance. Nous retrouvions tout cela dans ce bon
sens issu du témoignage d’un officier à Benoit Royal. Plutôt que de s’en remettre à des
processus algorithmiques restreints, peut-être est-ce à ce genre d’homme doté d’une
conscience bien formée à qui il convient de confier le droit d’user de la force létale en
conformité avec les valeurs démocratiques qui l’envoient.
10