Conférence : « Éthique, défense, sécurité et agents artificiels

Conférence : « Éthique, défense, sécurité et
agents artificiels autonomes », Jean-Gabriel
Ganascia (Paris 6), Jeudi 24 Avril 2014
Remplacer les soldats par des robots « éthiques »
Rationnellement moins de morts (point de vue utilitariste)
Effrayant (machines de mort), mais que le début
Organismes non gouvernementaux : veulent un moratoire sur les drones
Développement :
Les états : ne savent pas de quoi la guerre sera faite
Ils ne veulent pas ce moratoire parce qu’ils ne veulent pas être empêchés
d’utiliser des armes dans le futur.
Une machine intelligence ?
On peut fabriquer des machines qui vont interpréter des ensembles de
normes (p.q. les normes sont faciles à appliquer)
Théorie de la guerre + principe de distinction
Possible avec une machine ?
- Capteurs
- Représentation
- Décision => Problème : construire la représentation
DGA : gens qui sont sur un théâtre d’opérations. Le pilote qui voit des
gens, est-ce qu’il voit des armes ? Par exemple la kalachnikov peut ne pas
être une arme
par son principe même, la théorie pêche. Notamment : application
des systèmes de normes de la guerre juste + principe de
proportionnalité
Au niveau de la technique informatique de la décision :
se demander jusqu’à quel point on peut formaliser la décision
Argumenter la décision pour voir si l’ensemble des procédures a été
respecté.
Questions : origine et application des normes éthiques => conflit.
L’application n’est pas indépendante des normes elles-mêmes
Origine des normes : Comment formaliser les choses ?
Conflits -> mensonge
Il y a une opposition entre les philosophes sur le mensonge. St Augustin,
Kant VS Constant
On peut aussi avoir d’autres types de questions éthiques :
Le suicide : est-ce moral ? Jean Moulin s’est suicidé par exemple, mais on
ne lui a pas reproché, alors qu’on le reproche à d’autres…
Il faut des acteurs qui doivent arbitrer
On ne peut pas avoir une norme éthique qui dit qu’il est possible de
mentir…

John McCarthy 1955 : intelligence artificielle, théorie des jeux. A écrit une
nouvelle de science-fiction. Montre que des règles générales à un moment
donnée peuvent être confrontées à une réalité qui peut les mettre en
échec.
Utilisation domestiques
Robots peuvent être un traumatisme psychologique pour les enfants -> ils
ne doivent pas s’attacher aux robots.
Pourtant : si l’enfant va mourir, il y a un dilemme entre s’approcher de
l’enfant et le sauver, ou bien le laisser mourir. A ce moment là, le robot
surpasse la règle et nourrit l’enfant.
Lois d’Asimov
Questions sur la morale des robots
Conflit de règles.
Logiques modales = on ne considère pas que les règles, mais aussi une
modalité
Déontique => modalité = obligation
Définition de fonction monotone
Axiome => théorème
Systèmes non monotones : il faut plus d’axiomes, et moins de théorèmes
Benjamin Constant : point de départ. P.q. des règles générales ne sont pas
applicables à des drones => on n’a pas découvert le principe interne.
Il faut formaliser les différents types de systèmes éthiques
- Ensemble de réponses
- Interprétations de Bertrand
Modélisation des agents artificiels :
(p (père), s (situation) , b (budget), a (action) )
1. Volonté
2. Contrainte
Volonté = autonomie
Bonne : si c’est une action dont les conséquences ne sont moins pires que
celles sans
Mauvais : Inverse
Mensonge : On pose une question et on peut répondre par la vérité ou le
mensonge
si on cache qqn chez nous et que des meurtriers viennent le
chercher, on peut leur cacher la vérité
Toute action est meilleure que tuer quelqu’un – si on ajoute une
relation on obtient un ensemble de normes
Développer les critères : il faudrait formaliser les notions d’altruisme,
d’hédonisme en matière d’information

Logiques déontiques -> machine Kantienne ?
Pour Kant, on choisit les maximes de sa volonté. C’est une caractérisation
éthique de la maxime universalisable.
« Agis de telle sorte que la maxime de ta volonté puisse être érigée en loi
universelle. »
Pourquoi ça pose problème ? Critère méta éthique
pas de société dans laquelle tout le monde puisse mentir.
Il faut développer cette idée sur différents critères
Principes de Constant :
je ne dois pas dire la vérité à quelqu’un qui ne la mérite pas (rythme
ternaire)
Rythme de Kant : binaire
Systèmes qui soient capables de représenter des ensembles de normes et
de les construire
Projet ETICAA (Ethique des agents autonomes)
- recherche l’existence de normes et de procédures
Il y a une certaine multiplicité des acteurs pour prendre une décision chez
les militaires
Il ne s’agit pas d’automatiser la décision, mais de trouver la place de
l’agent artificiel à l’intérieur d’une décision.
Applications militaires / autonomie morale
- Comment un robot peut-il agir sur un champ de bataille ?
- Problèmes en termes de Jus in Bello
Questions des doctorantes :
Un robot (ou agent autonome) se définit par :
- Une capacité d’action
- Une perception du monde
- Un but / des désirs
Si on parle du drone, est-il un robot ? Et le robot, est-il différent d’un AAA ?
Pour le drone, les deux premières caractéristiques sont présentes. LE
problème c’est : quels sont les buts d’un drone qui est autonome ?
Eliminer ? Traiter des informations ? Obéir aux ordres ? Et si il n’y a pas
d’opérateurs ?
intentionnalité = pierre angulaire de la responsabilité.
Comment penser la responsabilité du drone en zone d’action ?
Jus in Bello -> l’utilisation de drones renforce l’esprit asymétrique de la
guerre
problème d’égalité morale entre les combattants (droit de tuer p.q.
moi aussi je prends le risque de mourir)
Autonomie demande de travailler : la notion de responsabilité, et le droit
appliqué pour les robots.

Travail sur l’éthique de la guerre : il y a ceux qui l’élaborent et ceux qui
sont contre
débat entre le drone Terminator et la vision idyllique du robot
Question : pour avoir une guerre juste, faut-il éradiquer l’humain ?
- L’homme est irrationnel, sujet à la fatigue => peut faire des
entorses au droit de la guerre
- Avocats : pas assez d’informations pour décider quoi faire
(législation, responsabilité)
- Les robots sont-ils utilisés pour des questions d’intelligence ?
Le développement des robots se fait-il pour la surveillance ?
Si on avait un robot avec une éthique parfaite, aurait-on une guerre juste ?
Question du sacrifice : l’homme fait des actes héroïques, pas possible pour
un robot.
Robots tueurs / Robots qui aident : problématiques parce qu’ils permettent
aux conflits de se prolonger (ceux-ci s’arrêtent quand il y a eu trop de
pertes humaines, mais si on envoie des robots, ils ne s’arrêteront plus… Il
suffit de fabriquer plus de robots…)
Comment arrêter la guerre ?
Penser au Jus post bellum -> c’est à ce moment qu’on juge si une guerre a
été juste ou pas…
La guerre devient scindée en deux. Il faudrait un droit de la guerre plus
exigeant.
Problématique : Machette contre drone -> est-ce-que ça va faire
s’effondrer le droit de la guerre ?
Réponse de Ganascia :
Responsabilité : Question centrale
Personne morale associée à cette hypothèse ? Si la responsabilité
est pénale, il y a une sanction, mais quelle sanction ?
Quel est le devenir de la responsabilité quand on a à faire à des
robots ?
Complexe : ni le possesseur ni le constructeur ne peuvent tout
maîtriser
il y a une part d’imprévisibilité
On est tous, techniciens ou citoyens, désemparés devant les évolutions
actuelles. LA science fiction est devenue actuelle !!!
Autres questions posées : que dire du rapport entre guerre juste et robots
éthiques ? Cela n’a pas de sens, il faut penser aux dissymétries.
Il y a des parties qui se sentent tous les droits parce qu’elles sont
écrasées par la technologie.
Il faut penser aussi que le drone est très bon marché

Il y a plusieurs gammes de drones (surveillance, localisation, action
à distance…)
Les guerres dans le cyber espace sont de nouvelles formes de guerre qui
se mettent en œuvre.
Notion de sacrifice : on a une guerre démocratique, plus chevaleresque
(reconduction d’une question plus ancienne datant de 1914)
on a voulu créer une nouvelle décoration militaire pour les
manipulateurs de drone
Réaction : contre p.q. insulte à tous les morts de guerre
Question de la frontière :
- Equiper sensoriellement les robots pour qu’ils soient capables de
distinguer les migrants/trafiquants ?
- Consortium ?
Postulat d’universalité : militaires différents des civils
Automatisation de la décision dans un processus collectif ? Ou est-ce-que
c’est pas précisément pour éliminer ça qu’on automatise ?
Automatisation du champ de bataille ? (plus de questions morales que
d’éthique…)
Il faut savoir choisir => systèmes de recommandations multiples
Sur la vie privée :
questions d’images centrales : certifier des logiciels d’automatisme
Notion de vie privée en train de changer
Trilemne : transparence, sécurité, vie privée ?
Autre question sur l’automatisme : il y a un moment où l’automate doit
être capable d’arrêter l’homme (accidents de bateaux provenant de
mauvaises décisions humaines)
La discrimination entre civils et militaires n’est pas facile, et les lois de la
guerre sont inapplicables car la reconnaissance des formes est très difficile
L’arme atomique a mis fin à la 2e GM
La robotique n’a pas cet objectif
Il y a aggravation de la dérégulation -> bombe dans l’édifice ?
Conflits morale / éthique : réfléchir à l’éthique avec des outils moraux
Danger : créer des frustrations dans les populations
Afghanistan drones de surveillance très mal perçus
Tradition de la guerre juste illusoire en ce moment :
temps qui manque
ne pas remettre en question le système traditionnel, car ce serait
une remise en question de l’armée
Le droit de la guerre n’est pas de l’éthique
Responsabilité collective