Dialogue homme-robot

L’altérité dans un dialogue hommerobot
Jean Caelen
Laboratoire d’Informatique de
Grenoble
Plan
Partie I : L’altérité dans le
dialogue humain
Partie II : L’éthique dans
l’interaction humain-robot
Partie III : Modélisation de
l’interaction humain-robot
2
Partie I : L’altérité dans le dialogue
humain
3
L’altérité comme fondement du dialogue
Le dialogue est un Faire à deux ou à plusieurs qui prend racine
dans le soi et permet de construire une action commune en
vue d’un but qui constitue la visée du dialogue ou de
l’interaction
L’altérité maintient et fonde le dialogue comme processus de
co-construction de valeurs et de signes à travers l’action
conjointe.
Dans le dialogue humain l’altérité fonde l’intersubjectivité
4
L’altérité chez Paul Ricoeur

Deux significations majeures de l’identité personnelle
◦ Au sens idem = le même
Traits de permanence dans le temps qui fait que l’on s’identifie comme soi,
notamment par la mémoire
◦ Au sens ipse = le soi-même
Mobile, se maintient par réflexivité à travers l’altérité

Se manifeste dans trois types de relation
Soi/monde, soi/autre, soi/soi (conscience) à travers
diverses facettes +être, +avoir, +conjoint
5
Les 8 facettes Je-Tu-Monde
+être
+être(soi) le regard sur soi, dans un jugement
réflexif,
Monde
+être(soi-même) ce que je ressens de moi à travers
l’autre
+être(autre) attention du Tu vers le Je
+avoir(commun)
+avoir
+avoir(soi) ce que je possède
+avoir(monde)
+avoir(autre) ce qui m’est transmis par l’autre
(connaissance, information, objet),
+avoir(autre)
Je
+être(soi)
+avoir(soi)
+être(commun)
+être(soi-même)
+être(autre)
Tu
+avoir(monde) ce que je reçois du monde ou d’une
institution, d’un groupe, médié par l’autre
+conjoint
+avoir(commun) un bien indivisible
+être(commun) force du lien : de haine (--),
méfiance (-), indifférence (0) à empathie (+),
connivence (++), amour (+++), etc.
Le dialogue est un jeu interactionnel basé
sur la notion d’intérêt
Un dialogue est un jeu au cours duquel chaque participant joue
des « coups » à l’aide d’actes de langage pour atteindre son but.
Un dialogue se présente comme une suite d’échanges (actions,
transactions), les échanges visant à résoudre des sous-buts ou
des pré-conditions et à faire progresser des gains (valeurs ou
utilités)
Le dialogue se maintient par l’intérêt des acteurs
Intérêt individuel / intérêt conjoint = gains sur les valeurs
d’altérité
7
Dialogue D = (I, Bi, A, Gi, T)
I = ensemble des interlocuteurs {i} ayant chacun son système de
valeurs
Bi = buts des interlocuteurs i
A = ensemble des actes de dialogue {FA, FF, FS, FFS, FD, FP}
Gi = ensemble des gains des interlocuteurs i avec les notations
GE = gain espéré, GC = gain conjoint
T = type de jeu (répété ou non, à connaissances incomplètes, à
somme nulle ou non, etc.)
8
Hypothèse
les locuteurs sont seulement capables de savoir si leur gain augmente
ou diminue au cours du jeu de dialogue. Ils règlent leur dialogue de
manière opportuniste en fonction de l'évolution des gains à
l'intérieur même de la finalité du dialogue (leurs buts). Pour cela ils
ne font pas de calculs autres que des comparaisons.
9
Algorithme
BeginDialogue
DJ : Initialization of the game D = (B(i), A, I, Gi,T)
If T = repeated game Then
Initialize gains Gi with those of previous stage game
Else Gi = 0
Endif
Opening of Dialogue by phatic acts
Let i is the first speaker :
Compute goal B(i), expected gain GEi which produces Speech Act Fip
While  GE > 0 do
For each j ≠ i  I do
j analyses Fip according to T
j computes his acquired gain GAj and the joint gain GC
j evaluates his goal B(j) and expected gain GEj
End For each
If  k  I : GEk > GAk + GC then
i=k
i produces the speech act Fip aiming to increase his gain
Endif
EndWhile
If D = new game Then go to DJ
EndDialogue
10
Application : dialogue entre un mendiant et un
passant
M (Mendiant) : une pièce svp...
P (Passant) : tu ferais mieux de travailler plutôt que de mendier !
M : j'étais au chômage et je n'ai pas trouvé d'emploi
P : ouais, moi aussi j'ai été au chômage...
M : alors ! vous me comprenez…
P : va te faire voir avec ta pièce !
M : bon, ça va !
11
+avoir
+avoir
+avoir
+être
+être
(monde)
(autre)
(soi)
(soi)
(soi-même)
M : une pièce svp...
FF(x) : pièce(x) ; BM = obtenir(x)
0
GEM
+argent
+favorable
D
P : tu ferais mieux de travailler plutôt que de mendier F (Travailler) ; BP = 0
+vertueux
GEP
+conforme à ses
principes
A
0
-favorable
G M
M : j'étais au chômage et je n'ai pas trouvé d'emploi
+argent
GEM
0
0
GAM
M : alors vous me comprenez… FS(expressif)
GEM
GAP
P : va te faire voir avec ta pièce FS(x)
GEM
0
GAP
0
GC
+compassion
+empathie
0
-méfiance
FS(y) : histoire(y) BM est maintenu ; BM = obtenir(x)
+justification
+tolérance
+conforme
GAP
S
P : ouais, moi aussi j'ai été au chômage... F (z) : histoire(z), z = y
+conforme
GEP
GAM
+être
(autre)
+convaincu
+0
-déni
0
+pitié
-
0
0
+
-
-
-
Partie II : L’éthique dans l’interaction
humain-robot
13
Ethique et robotique

Le robot « autonome » (par ex. drones militaires)
◦ Limitation des capteurs et de la perception de l’opérateur via les
interfaces du robot et travail déporté dans l’interaction
◦ Responsabilité du robot ? (car il agit de plus en plus en lieu et place de
l’humain)

Le robot « partenaire » (par ex. robot compagnon)
◦ Limitation des bonnes intentions du robot
◦ Responsabilité du robot ? (car il peut induire de mauvais comportements
de l’usager)
14
Responsabilité


Incombe à l’opérateur ou au fabricant en cas de nonconformité
Mais…
◦ L’opérateur n’a pas le contrôle total du robot (surtout s’il est autonome)
ou il peut en avoir une confiance démesurée
◦ Les réseaux d’acteurs diluent la responsabilité
◦ Il y a une dimension émotionnelle dans la prise de décision
◦ La complexité du robot est croissante (on ne maîtrise pas le logiciel qui
peut avoir des bugs ou des comportements inattendus)
D’où perte du sens de la responsabilité chez l’opérateur
et diminution de la vigilance
15
Ethique incarnée dans le robot ?
Cette incapacité à prendre en compte l’ensemble des
facteurs est une cause d’erreur pouvant engendrer des
drames, comme dans le cas de l’opération conduite en
novembre 2001 contre le chef des opérations militaires
d’Al-Qaïda dans les alentours de Kaboul : les deux
missiles tirés depuis un Predator ont effectivement
atteint leur but, mais au moment de l’impact, la voiture
de la cible croisait un car scolaire, faisant de
nombreuses victimes parmi les enfants.
L’homme présente donc deux grandes failles entre sa
sensibilité émotionnelle et ses limites physiologiques,
notamment cognitives, que les machines, plus fiables,
devraient pouvoir combler, à condition de pouvoir y
implémenter un comportement éthique.
16
L’éthique des robots
Isaac Asimov (1920-1992). Dès 1942, dans son roman de sciencefiction Runaround, avait énoncé ses Trois lois de la robotique :
 1. Un robot ne peut porter atteinte à un être humain ni,
restant passif, permettre qu’un être humain soit exposé au
danger.
 2. Un robot doit obéir aux ordres que lui donne un être
humain, sauf si de tels ordres entrent en conflit avec la
première loi.
 3. Un robot doit protéger son existence tant que cette
protection n’entre pas en conflit avec la première ou la
seconde loi.
17
Droit des robots
Entre 2006 et 2007, le gouvernement de la Corée du Sud et le Réseau de
recherche européen sur la robotique (Euron) posent la possibilité d’établir
une charte du droit des robots.
Le robot « sujet » car autonome et « intelligent » a des droits : il ne doit pas
nuire à l’humanité et l’humain ne doit pas lui nuire.
« Tout comme a été créée la notion de personne morale, il devrait être possible de
créer une personne robot afin de lui reconnaître des droits et obligations qui
l’assimileront à une personne physique. Enfin, il conviendrait de lui attribuer une
identité, avec par exemple un numéro identifiant, et de la doter d’un patrimoine,
englobant tous les biens représentatifs inhérents au fonctionnement du robot. » A.
Bensoussan
« Aussi, il nous semblerait plus pertinent d’intégrer dans le protocole régissant le
comportement du robot un ensemble de lois qu’il ne peut enfreindre, et d’établir un
cadre juridique international strict concernant leur usage. » O. Sarre
18
Difficultés d’implémentation





Un robot est-il capable d’évaluer complètement une situation
et les conséquences de ses actions ?
A-t-il toutes les informations nécessaires ?
A-t-il toutes les règles de droit, principes et normes
nécessaires ?
Quel est la limite à trouver entre risque et sécurité ?
Le robot n’a pas de stress positif appelé intelligence
émotionnelle et ne pourrait donc pas non plus utiliser ses
« émotions » comme paravent
19
Les robots sont amoraux
Que les machines soient capables de réagir
conformément à des règles dites « éthiques »
préprogrammées est une chose, mais cela n’en fait
pas des agents capables de raisonnements éthiques
ou moraux pour autant. Les robots, comme toute
machine, ne sont ni moraux ni immoraux mais
amoraux, c’est-à-dire qu’on ne peut pas leur prêter de
morale : c’est l’utilisation qui en est faite, sous-jacente
à des décisions humaines, qui déterminera si leur
emploi est ou non éthique
20
Ethique de la discussion
Jürgen Habermas Théorie De L’agir Communicationnel, tente de ramener dans l’éthique
kantienne les intérêts et le bien-être des personnes. Il s’agit de permettre au processus
interne induit par l’impératif kantien (la réflexion par rapport à la maxime de l’action et à sa
possible universalisation) de se sortir du sujet pour prendre le terrain de la discussion,
pratique, externe. Une discussion est éthique si elle ressemble autant que possible à une
situation de liberté de parole absolue et de renoncement aux comportements « stratégiques »
Karl-Otto Apel Éthique De La Discussion, s'appuyant en partie sur l'œuvre d'Habermas, cherche
dans l’éthique de la discussion une fondation rationnelle de l'éthique…
L’éthique de la discussion répond à deux principes :

(U) Seules peuvent prétendre à la validité les normes qui pourraient trouver l’accord de tous
les concernés en tant qu’ils participent à une discussion pratique [principe d’universalité]

(R) Dans le cas de normes valides, les conséquences et les effets secondaires qui d’une manière
prévisible découlent d’une observation universelle de la norme dans l’intention de satisfaire les
intérêts de tout un chacun doivent pouvoir être acceptés sans contrainte par tous [principe de
rationalité]
21
Critique et limites


Activité morale « idéale » – Recherche de la vérité universelle (sincérité et
objectivité à travers l’intersubjectivité)
Activité stratégique – Jeu des intérêts (rationalité instrumentale)
incompatible avec l’activité morale « idéale »
« Les acteurs, en se mettant d’accord sur quelque chose, émettent des exigences de validité ou plus
précisément des exigences de vérité, de justesse ou de sincérité selon qu’ils se réfèrent à quelque chose
qui se produit dans le monde objectif (en tant qu’ensemble des états-de-chose existants), dans le
monde de la communauté sociale (en tant qu’ensemble des relations interpersonnelles légitimement
établies au sein du groupe social) ou dans le monde subjectif personnel (en tant qu’ensemble des
expériences vécues auxquelles chacun a le privilège d’accéder). Mais alors que dans l’activité
stratégique l’un influe sur l’autre empiriquement (que ce soit en le menaçant d’une sanction ou en lui
faisant miroiter des gratifications) afin d’obtenir la continuation escomptée de l’interaction, dans
l’activité communicationnelle, chacun est motivé rationnellement par l’autre à agir conjointement et ce
en vertu des effets d’engagements illocutoires inhérents au fait que l’on propose un acte de parole. »
22
Libéralisme : John Rawls
Remplace la notion d’éthique par celle de justice ou d’équité dans une vision
libérale revisitée de la société :
 Chaque personne a droit à un système pleinement adéquat de libertés de
base égales pour tous, compatible avec un même système de liberté pour
tous [principe d’universalité]
 Les inégalités sociales et économiques doivent satisfaire à deux
conditions [principe d’équité] :
◦ Elles doivent d’abord être attachées à des fonctions et à des positions ouvertes à
tous, dans des conditions de juste égalité des chances.
◦ Elles doivent procurer le plus grand bénéfice aux membres les plus désavantagés
de la société.
Théorie de la Justice, 1971
23
Les courants pragmatistes
Les communautariens : Michaël Walser, Alaisder McIntyre, Charles Taylor, Stanley
Cavel
◦ La morale n’est pas universelle mais un standard au sein de nations ou de sociétés particulières
même si ce standard peut s’étendre à d’autres nations par un processus de réitération
(McIntyre)
◦ L’état de guerre ne justifie pas l’absence d’éthique, une guerre menée de manière juste ne doit
pas attaquer directement et intentionnellement des non combattants (Walser)
◦ L’éthique passe par la reconnaissance intersubjective des identités (Taylor)
◦ La tâche de la rationalité est de découvrir les critères qui guident nos jugements (Cavel), elle
établit la supériorité locale d’une solution sur une autre et défend sa validité d’après des
critères d’amélioration progressive (Taylor)
◦ L’articulation n’est pas une simple exposition du soi de l’agent mais ce qui dans la position de
l’agent se réclame du lien social (ce que l’agent reconnaît comme effort incontournable de
« faire société » avec les autres)
◦ Il s’agit de rendre explicites les engagements mutuels des agents, de manière à les
obliger à assumer leurs responsabilités
24
Application homme-robot
La vérité des faits reste contextuelle et découle d’une délibération
collective : il n’y a que des normes communautaires et non universelles
 La responsabilité des agents est basée sur leur engagement, non sur une
quelconque rationalité
Ce qui conduirait pour une relation homme/robot à :

1.
Délibérer avant la mission/session pour définir des normes ou des règles
et engager tous les acteurs dans leurs responsabilités
2.
Fixer des normes ou des règles au robot et notamment lui demander
de fournir des « faits » au retour de mission (sorte de boîte noire)
3.
Examiner ces faits au regard des règles établies à la fin de la mission, les
justifier et les juger dans un souci d’amélioration progressive
25
Partie III : Modélisation de
l’interaction humain-robot
26
Interaction H-R = Dialogue
Est un « faire » conjoint
 Orienté vers un but
C’est donc un dialogue
Dialoguer ou interagir avec un robot = Même
Que doit être l’altérité du robot ? (pour appliquer le même
modèle qu’en dialogue humain) = le robot n’a pas les mêmes
intérêts, en particulier :
+avoir(soi) = 0
+avoir(soi-même) = 0

27
Modélisation


1.
2.
3.
Le même modèle s’applique en modifiant les gains pour le
robot
L’utilisation en sera « éthique » si :
Un dialogue préalable établit les règles ou normes
comportementales du robot entre agents concernés
L’opérateur et/ou l’usager reste présent et engagé dans
l’interaction
Les règles sont réajustées dans un souci d’amélioration
permanente
28
Dialogue D = (I, Bi, A, Gi, T, R)
I = ensemble des interlocuteurs {i} ayant chacun son système de
valeurs
Bi = buts des interlocuteurs i
A = ensemble des actes de dialogue {FA, FF, FS, FFS, FD, FP}
Gi = ensemble des gains des interlocuteurs i avec les notations
GE = gain espéré, GC = gain conjoint
T = type de jeu (répété ou non, etc.)
R = règles comportementales du robot
29
BeginDialogue
Define Rules R (deliberation + comittment)
EndDialogue
BeginInteraction
DJ : Initialization of the game D = (B(i), A, S, I, Gi,T, R)
If T = repeated game then
Initialize gains Gi with those of previous stage game
Endif
Opening of Dialogue by phatic acts: i is the first speaker
Compute goal B(i), expected gain GEi which produces Speech Act Fip
While  GE > 0 do
For each j ≠ i  I do
j analyses Fip according to T and R
j computes his acquired gain GAj and the joint gain GC
j evaluates his goal B(j)
End For Each
If  k  I : GEk > GAk + GC then
i= k
i produces the speech act Fip aiming to increase Gi + GC
Endif
EndWhile
If D = new game Then go to DJ
EndInteraction
MissionAnalysis
Debriefing
Reiteration
Algorithme
30
Exemple
Discussion de la mission
Règle = FA(tirer) si et ssi !x : cible(x) viseur(x) (= cible unique dans le
champ de vision)
Interaction
(…)
Opérateur = « qu’est-ce que tu détectes ? »
Robot =
« c’est un pick-up »
Opérateur = « tire »
Robot =
« il y a aussi un bus, que faire ? »
Opérateur =
« OK, attends »
Ou Opérateur =
« tire »
Robot =
FA(tirer)  FS(je fais un rapport)  FA(rapport)
31
Conclusion




Extension de la théorie des jeux au dialogue comme à
l’interaction homme-robot
Altérité : dissymétrique, doit être compensée par l’éthique
(règles externes)
Ethique : résulte alors d’une discussion préalable sur les
missions et comportement du robot ainsi que sur la
responsabilité de l’opérateur
Contrairement au dialogue humain, un niveau d’éthique doit
être introduit dans l’interaction homme-robot
32