Communication pictographique bidirectionnelle: du pictogramme au

Communication pictographique bidirectionnelle:
du pictogramme au texte et inversement
Maryvonne Abraham
Institut TELECOM : TELECOM-Bretagne
PRES Bretagne ; laboratoire LaLIC Paris4 -Sorbonne
CS 83818
F 29238 Brest cedex
33(0)229001098
[e-mail]
Résumé- Nous avons proposé une véritable écriture pictographique
de la langue, à destination de personnes qui n’ont pas, pas encore, ou
plus, accès à l’écriture alphabétique ordinaire. Le logiciel (Axelia
1
)
permet à ces personnes d’écrire le texte qu’elles désirent et de
l’envoyer en courriel par internet ou à une synthèse vocale.
Inversement, ces personnes souhaitent lire du courrier textuel
traduit en écriture pictographique. Nous développons ici ce
changement d’écriture d’un point de vue linguistique et cognitif,
dans une présentation qui met en relief les pictogrammes désignant
des mots, décorés des opérations grammaticales qu’ils subissent dans
la phrase.
Mots-clés : Communicateurs, communication alternative et augmentée,
dispositifs d’assistance pour la restauration ou l’amélioration des
fonctions perceptives sensorielles et cognitives, troubles langagiers,
structure de la langue, écriture pictographique de la langue,
pictogrammes.
I. PROBLEMATIQUE DE LA PALLIATION
DES TROUBLES DE LA PAROLE
Depuis quelques années, [[1], [2], [3], nous élaborons une
« machine à communiquer à partir de pictogrammes », destinée
au départ à des enfants infirmes moteurs cérébraux (I.M.C.) sans
parole et paralysés. Notre objectif est de les aider dès leur plus
jeune âge à penser dans leur langue, sans inventer un langage de
communication particulier, mais en leur donnant accès à la
langue de tous (qu’ils acquièrent passivement par l’audition) à
partir de pictogrammes qui représentent des mots, et non des
concepts. L’idée est de sélectionner et de disposer dans l’ordre
de la langue une suite d’images de mots et de traduire cette suite
en texte
2
. envoyé à une synthèse vocale à partir de texte, à une
imprimante ou à une messagerie électronique.
Dans la figure 1, l’émetteur 1 écrit un texte à partir de
pictogrammes pour un récepteur 2 lisant du texte. C’est à la
démarche inverse que nous nous intéressons ici.
1
Ce logiciel est le résultat d’un transfert de technologie de nos travaux
en faveur des enfants infirmes moteurs cérébraux vers la société RDI+.
2
La partie « Traduction » de 1 vers 2 de la figure 1 est actuellement
réalisée par le logiciel Axelia dont la présentation de la figure 8 fait
apparaître diverses fonctionnalités du produit, repérées par des couleurs.
Fig.1. Schéma d’une communication entre deux
procédés d’écriture d’une même langue.
La traduction d’une suite de pictogrammes en texte est moins
simple qu’il n’y paraît[10]. Aligner des étiquettes ne constitue
pas une phrase. De plus, que représentent ces étiquettes ? Des
concepts ou bien des mots ? Toutes les langues ont besoin d’une
grammaire pour affecter les mots d’indications sémantiques et
pour indiquer le rôle interprétatif de ces mots dans une phrase.
Voulant donner le maximum de possibilités de communication
aux enfants I.M.C., nous avons souhaité mettre à leur disposition
une machine à écrire dans laquelle les mots sont remplacés par
des pictogrammes, qui en constituent alors une écriture globale.
Pour les scripteurs, la structure de la langue est respectée, et
permettra plus facilement le passage à l’écriture alphabétique.
D’un point de vue linguistique, il s’agit de résoudre un problème
d’écriture de la langue, puisque les pictogrammes lexicaux
doivent d’une part représenter des entités, ce qui pose le
problème de leur « dessin » dans un contexte de polysémie, et
d’autre part, porter en contexte l’indication de flexions ou de
mutations résultant des opérations grammaticales. Reconstruire
un texte à partir de ces pictogrammes nécessite donc de proposer
aussi d’indiquer les opérations grammaticales par des
pictogrammes.
Nous résumons dans une première section l’essentiel du produit
auquel nous sommes arrivés. Ce produit nous a été demandé
pour un grand nombre de personnes sans parole, porteuses de
troubles de langage dûs à différentes causes. Si ces personnes ne
peuvent pas lire et ne communiquent qu’à partir de
pictogrammes traduits en texte, leur envoyer du courrier écrit ne
leur permet pas d’avoir accès par elles-mêmes au contenu de ce
courrier. Il devrait être traduit en pictogrammes pour qu’elles
puissent le lire. Un problème inverse se pose donc: si les
personnes peuvent écrire avec des pictogrammes, il faut leur
Émetteur
Récepteur
Récepteur
Traduction
Pictogrammes Texte
1 2
Émetteur
Émetteur
Récepteur
Récepteur
Traduction
Pictogrammes Texte
1 2
Émetteur

donner à lire des textes
3
« écrits en pictogrammes », c’est-à-dire,
traduire en écriture pictographique un document écrit en écriture
alphabétique. Nous avons donc étudié le problème inverse qui ne
se révèle cependant pas réellement inverse [8], [9].
II. DES PICTOGRAMMES AU TEXTE
A . Écrire avec des pictogrammes
En réalisant les prototype qui ont abouti à la machine Axelia,
nous avons voulu aider d’abord les enfants I.M.C. sans parole
qui n’avaient pas de problèmes mentaux, afin qu’ils rejoignent le
plus rapidement possible la communauté des enfants
alphabétisés. A cette fin, les outils pictographiques actuels qui
considèrent les pictogrammes comme représentant des concepts
et non des mots n’aboutissent qu’à un nouveau langage aux
structures floues et non à l’écriture de la langue. Ce passage par
un langage intermédiaire au moment de l’apprentissage est
susceptible d’induire de mauvaises conceptions de la langue,
difficiles à corriger par la suite. Nous pensons qu’il est mieux
pour l’enfant de faire des fautes (on voit alors où sont les
problèmes) que de « camoufler » sa dysorthographie par une
machine qui lui permet de s’exprimer avec un « à peu près » qui
n’est pas satisfaisant pour lui s’il sait qu’il veut dire autre chose
que ce qu’une machine lui fait dire.
Notre projet veut respecter la structure de la langue afin que le
passage à l’écriture alphabétique, s’il est réalisé, ne soit pas
l’apprentissage d’un nouveau langage mais seulement l’écriture
des mots, puisque les structures du français n’auront pas été
biaisées par un premier apprentissage.
B . Catégorisation des pictogrammes
Les pictogrammes sont plus que la représentation d’un désigné.
Ils représentent le lexique
4
auquel il faudra ajouter des
pictogrammes de grammaire ainsi que des pictogrammes de
gestion. La machine à écrire comportera donc plusieurs
catégories de pictogrammes, qu’il faudra repérer rapidement. A
condition de n’avoir par de problème pour voir les couleurs, un
repérage coloré permettra d’accéder facilement à la catégorie
souhaitée. Pour la présentation, nous avon retenu un petit
nombre de catégories principales : noms, adjectifs, verbes,
opérations, et phrases d’urgence. Le dessin d’un mot n’est pas
suffisant pour associer un mot à un pictogramme. Une opération
de catégorisation permet de situer ce mot dans une catégorie
syntaxique ou dans une catégorie sémantique.
Nous donnons ici quelques grandes indications concernant la
représentation des pictogrammes dans l’organisation de la
machine.
La figure 2 représente trois animaux correspondant
respectivement à trois mots (des noms) qui les désignent. Ce sont
des animaux, mais comment désigner un animal ? L’animal est
un nom de catégorie qui peut désigner chacun des trois animaux.
Nous représentons donc le mot animal par un pictogramme qui
regroupe les trois exemplaires précédents. Le mot est atteint par
3
La demande nous a effectivement été faite par des foyers de vie.
4
Avec les problèmes de polysémie que cela suppose ; nous les avons
déjà traités par ailleurs.
l’opération cognitive de comprendre ce qui réunit ces animaux
[4].
Fig.2. Pictogrammes de mots.
Mais nous souhaitons aussi construire une catégorie sémantique
« animal » qui permettra d’accéder à une page qui contiendra des
animaux. Ce pictogramme représentera aussi les mêmes
animaux, mais « en défonce », sur fond bleu (couleur de
catégorisation des noms) ; le même pictogramme « en défonce »
sur fond rouge (couleur catégorisant les verbes) donnerait accès
à une page de verbes propres aux animaux (nicher, barrir, braire,
...)
Fig.3. Pictogrammes de catégories sémantiques.
Un même dessin peut se retrouver dans plusieurs catégories
syntaxiques. Il n’aura pas la même signification dans chacune de
ces catégories, puisqu’il peut alors désigner soit un nom, soit un
verbe ou un adjectif suivant la catégorie dans laquelle il se
trouve. Par exemple, un livre dans la catégorie des noms
désignera bien le mot livre , mais, placé dans la catégorie des
verbes, il signifiera lire et placé dans la catégorie des adjectifs,
il pourra signifier lisible.
Fig. 4. Pictogrammes de catégories syntaxiques.
Les remarques précédentes permettent à un lecteur d’avoir accès
à des mots et à des opérations de grammaire pour construire les
séquences textuelles qu’il souhaite exprimer. Nous donnons
figure 6 un exemple d’écriture pictographique de la phrase Nous
avons fait des châteaux de sable et des courses sur le bord de la
mer.

LIRE SANS SAVOIR LIRE : DU TEXTE AUX
PICTOGRAMMES
La démarche inverse de celle que nous venons de présenter nous
a été demandée par des foyers de résidants : convertir l’écriture
textuelle en pictogrammes. En effet, la personne qui ne sait pas
lire peut écrire du texte à partir de pictogrammes, mais elle ne
pourra pas lire le texte de réponse de son correspondant. Si dans
le sens pictogramme vers texte, il ne suffit pas d’aligner les
pictogrammes de mots pour construire un texte, c’est encore vrai
pour comprendre une suite de pictogrammes lexicaux; des
pictogrammes de grammaire doivent pouvoir donner un
minimum d’indication pour comprendre le rôle interprétatif des
mots. Nous remarquons dans la phrase de la figure 6 les mots du
lexique et des mots grammaticaux. La production de la phrase
suit l’ordre de la pensée du scripteur, mais la relecture de la suite
de pictogrammes lexicaux et grammaticaux n’est pas très
intuitive; elle l’est encore moins si nous enlevons les sous-titres
de chaque pictogramme. Nous proposons donc de présenter la
traduction du texte vers les pictogrammes comme sur la figure 7
où les mots sont placés dans un fond qui indique leur catégorie
syntaxique et où apparaissent en indices les opérations
grammaticales que ces mots reçoivent. C’est une manière de
faire porter aux pictogrammes les indications grammaticales
données par les transformations morphologiques de l’écriture
alphabétique.
C . L’analyse syntaxique
Dans la traduction des textes vers les pictogrammes, l’analyse
syntaxique doit au minimum aboutir à une lemmatisation des
mots rencontrés, pour retrouver leur catégorie syntaxique et le
pictogramme associé dans le dictionnaire. Les opérations
grammaticales doivent, nous l’avons vu, être indiquées.
Quelques remarques s’imposent :
Dans la phase de traduction de l’écriture pictographique en
écriture textuelle , pour réduire les efforts d’écriture, l’article
défini est inséré par défaut; est-il alors judicieux de l’indiquer
dans la traduction inverse ?
La construction du dictionnaire a bien fait apparaître que le
genre d’un mot est une donnée attachée au lexique
5
et non à
l’entité que ce mot désigne. Le genre d’un nom se propage sur
l’article et les adjectifs qui l’accompagnent, par des
modifications morphologiques. Faut-il rendre compte, dans notre
présentation, du genre et du nombre au niveau de chaque
pictogramme ou bien au niveau d’un syntagme nominal?
Pour l’expression les belles fleurs jaunes et les gros chats
blancs, la présentation actuelle est donnée figure 4, où le groupe
syntaxique est indiqué par un encadrement coloré, qui fait bien
apparaître que les opérations de mise au pluriel et au féminin des
mots affecte un groupe nominal en son entier :
PLURIEL(FEMININ(ADJ
1
(ADJ
2
(NOM))))
5
La même entité n’a pas le même genre d’une langue à l’autre (le soleil
en français, die Sonne en allemand, etc…) ; dans une même langue, la
même entité peut recevoir les deux genres selon les mots qui la
désignent : le vélo, la bicyclette.
Fig. 4. Deux syntagmes nominaux au pluriel .
D . Types syntaxiques des pictogrammes
Le lexique et les opérateurs grammaticaux sont rangés dans une
base de données XML qui contient la liste des pictogrammes de
mots et de grammaire, assortis de leurs attributs indiquant leur
catégorie syntaxique, leur genre. La catégorisation syntaxique
visible par les utilisateurs est moins complète que celle qui est
utile à l’analyse syntaxique. Pour l’analyse syntaxique, une
grammaire catégorielle retient des catégories syntaxiques plus
fines que celles des grammaires de langue habituelles, et permet
de vérifier la bonne correction syntaxique d’une phrase.
Dans une grammaire catégorielle [5], [6], [7], la concaténation
syntagmatique d’unités linguistiques élémentaires n’est pas
l’opération fondamentale comme dans les grammaires de
réécriture de Chomsky. C’est l’application d’un opérateur à un
opérande qui est l’opération constitutive des unités linguistiques
complexes. Chaque catégorie syntaxique est alors représentée
par un type fonctionnel, ou par un type d’opérateurs. Un tel type
exprime des restrictions de l’opération d’application ; il spécifie
quels sont les opérandes possibles sur lesquels un opérateur d’un
certain type peut s’appliquer. Plus précisément, un type
représentant une catégorie indique : (i) comment la catégorie
d’une unité est construite à partir de catégories plus
élémentaires ; (ii) quelles sont les propriétés communes des
opérateurs qui sont les éléments constitutifs de la catégorie ; (iii)
le type de l’unité construite par l’application d’un opérateur à un
opérande. L’analyse syntaxique devient ainsi un véritable calcul
qui opère non pas sur les unités agencées selon l’ordre
syntagmatique mais sur les types des unités agencées par
l’opération d’application.
Des types de base sont attribués à certaines unités : N
pour entités nominales, N* pour syntagmes nominaux complets
(ou clos), S pour entités phrastiques ; les autres unités reçoivent
des types d’opérateurs. L’ensemble des types syntaxiques est
alors défini comme suit à l’aide de l’opération ‘O’de formation
des types d’opérateurs:
1. les types de base sont des types N, N*, S ;
2. SI X et Y sont des types alors OXY est un type.
Une unité de type OXY agit comme un opérateur qui attend une
unité de type X pour construire une unité de type Y.
L’analyse syntaxique vérifie la bonne formation des
agencements des unités linguistiques par un calcul analogue à
celui des propositions. La vérification s’assure les types sont
réductibles, au moyen de règles d’élimination, associées
directement à l’opération d’application, à un type de la catégorie
S des phrases.
Le tableau ci-dessous donne les types syntaxiques des différentes
catégories syntaxiques retenues dans la langue française :

TABLEAU I
TYPES SYNTAXIQUES DES MOTS DU FRANÇAIS
Catégorie syntaxique Type
syntaxique
Exemples
Noms N Chaise, chaussée, …
Syntagmes nominaux
clos
N* Jean, le chat, …
phrases S Le chat dort
Verbes intransitif ON*S courir
Verbes transitifs ON*ON*S sortir quelque chose
Articles ONN* le, la , les, un
Adjectif ONN petit, blanc
Adverbe (déterminant
de verbe)
OON*SON*S lentement
Adverbe (déterminant
de phrase)
OSS malheureusement
Conjonction de
phrases
OSOSS et, parce que
Conjonction de
syntagmes nominaux
ON*ON*N* et, ou
Conjonction d’adjectifs ONONN et, ou
Prépositions
(transpositions)
ON*OON*SO
N*S
sur, vers, dans
E . Calculs sur les types syntaxiques
La correction syntaxique d’une phrase est donnée par un calcul
sur les types syntaxiques. Vérifions-le sur les exemples déjà
cités:
Les belles fleurs jaunes et les gros chats blancs
Ce groupe nominal clos doit être de type N* :
Les belles fleurs jaunes
ONN* ONN N ONN
------------------
N
---------------------------
N
--------------------------
N*
On vérifie par un calcul identique que le groupes les gros chats
blancs est de type N*.
L’expression entière reliée par et, conjonction de syntagmes
nominaux de type ON*ON*N* donne bien comme résultat N*.
Nous voyons que la conjonction et porte une surcharge de types
syntaxiques suivant les groupes syntaxiques qu’elle relie.
C’est la présentation des pictogrammes pour une meilleure
lisibilité de la phrase correspondante que nous visons. Les
pictogrammes lexicaux sont mis en évidence, indicés par
certaines des opérations qui les affectent (genre et nombre pour
les groupes nominaux de premier niveau). Dans la figure 4, nous
avons fait apparaître deux syntagmes nominaux clos séparés par
la conjonction et. Nous n’avons pas mis visuellement en
évidence le syntagme nominal clos résultant de la conjonction.
Est-il pertinent pour la compréhension de le faire, ou bien est-il
plus clair de laisser la séparation par la conjonction qui peut
relier des expressions de plusieurs types ? Nous choisissons de
ne pas faire apparaître trop d’emboîtements qui pourraient
devenir trop importants sur l’espace de présentation, atténuant
finalement la lisibilité du message.
Nous pouvons refaire un calcul de correction syntaxique pour
l’exemple Nous avons fait des châteaux de sable et des courses
sur le bord de la mer :
des châteaux de sable
ONN* N ONONN* N
On vérifie que ce groupe vaut: N*
et des courses
ON*ON*N* ONN* N
ce groupe vaut ON*N*, et legroupe complet est de type N*.
calculons le type de l’expression
Nous avons fait
N* ON*ON*S
Ce groupe vaut ON*S : le verbe transitif attend un complément
de type N*.
La phrase est bien correcte, et correspond au découpage que
nous présentons au lecteur figure 7. Dans cette figure, nous
avons choisi d’indiquer les types sémantiques des pictogrammes
affichés, faisant apparaître les syntagmes nominaux clos de
premier niveau
6
affecté de leurs opérateurs immédiats, et des
opérateurs lexicalisés: le verbe, la conjonction, la préposition.
Fig. 5. La même phrase produite par la traduction
pictogramme vers texte et texte vers pictogramme.
Les critères de décoration d’un mot dans une phrase peuvent
s’exprimer par un certain nombre de règles :
1. Si un ou plusieurs mots renvoient à une entité plurielle,
alors le groupe de mots doit être affecté du pictogramme
PLURIEL. Par exemple, les chats renvoie à une pluralité,
6
Les syntagmes nominaux de niveau supérieur comportant un nom et
son complément de nom on été « surencadrés ».

donc, le pictogramme CHAT est placé dans un cadre qui
contiendra le pictogramme PLURIEL (figure 4).
2. Si un ou plusieurs mots renvoient à une entité féminine,
alors ces mots sont placés dans un cadre qui contiendra
l’indication FEMININ (figure 4).
Si nous nous intéressons maintenant aux opérateurs verbaux,
dans la grammaire catégorielle, l’opérateur de négation,
idempotent, portera plusieurs types suivant qu’il agit sur un
verbe transitif, intransitif, ou sur d’autres unités syntaxiques
(noms ou adjectifs, par exemple non-voyant, …). L’opérateur de
négation, qui ne porte que sur le prédicat verbal, décorera le
cadre du verbe (figure 5).
III. CONCLUSION
Notre objectif, dans cette traduction du texte vers les
pictogrammes, est de donner à voir le plus clairement possible le
sens du texte initial, en affectant les images des mots du lexique
des opérations grammaticales que ces mots subissent dans leur
mise en texte. Nous avons voulu justifier notre démarche
d’analyse syntaxique par une grammaire catégorielle, qui retient
des syntagmes nominaux clos à plusieurs niveaux, et des
opérateurs. La lisibilité et l’interprétation du « texte » doivent
être possibles à des lecteurs de niveaux différents. Un lecteur
sensible seulement au lexique lira les pictogrammes lexicaux, les
plus visibles, en construisant une interprétation moins riche que
le lecteur qui tiendra compte des indications grammaticales. Si
nous prenons l’exemple de la lexie châteaux de sable, dans
laquelle sable spécifie le château, il est important de marquer
cette spécification. Dans la figure, nous avons ajouté un cadre
pour marquer cette lexie, alors que l’indication représentant le
complément de nom pourrait suffire. Nous visons une
compatibilité avec la langue : la compatibilité des opérations
syntaxiques propagées comme celles du genre et du nombre est
respectée dans cette présentation. Les temps verbaux sont
indiqués, ainsi que la négation du prédicat verbal si elle est
présente.
Le calcul catégoriel que nous venons de présenter, illustré par
l’écriture pictographique, dégage les mots-opérateurs de la
langue, les mots-opérandes (les noms), et les syntagmes
nominaux clos. Il fait bien apparaître la structure
opérateur/opérande de la langue, structure qu’il faut respecter
pour construire un texte à partir de pictogrammes et dont on ne
peut pas faire l’impasse dans un véritable apprentissage.
L’évaluation de ce logiciel se fait en continu et en boucle, par
des professionnels participant de près à ce projet, et aussi par des
personnes volontaires qui ont demandé à le tester. Les remarques
sont étudiées et contribuent à en faire évoluer les facilités
d’emploi. La seule véritable contrainte que nous nous imposons
est de ne pas nous écarter du système de la langue, en inventant
un nouveau langage. Proposer l’accès à la langue ne signifie pas
l’imposer. Qui peut le plus peut le moins : l’utilisateur n’est en
aucune façon tenu de respecter la grammaire si l’utilité de cette
grammaire lui échappe. Sa production sera alors plus simple ;
elle permettra de connaître son style d’expression et ses
possibilités réelles et pourra parfois imposer à ses interlocuteurs
un effort de compréhension.
Si l’utilisateur en a les capacités cognitives, il pourra construire
du texte véritable et s’insérer ainsi dans les pratiques de
communication de notre société.
REFERENCES
[1] Abraham, MY, « les télécommunications pour les handicapés », in
Annales des télécommunications, Santé et technologies de
l'information, 876 : 889, t. 58 N° 5-6, G.Cazuguel, B. Solaiman,
2003.
[2] Abraham M.Y.,” How can be the language written for a palliative
vocalized communication?”, AMSE, 95:105, 2002.
[3] Abraham, MY, Journal Européen des Systèmes Automatisés
(JESA) vol 34, n°6-7, Handicap 2000 – Assistance technique aux
personnes handicapées – « Reconstruction de phrases oralisées à
partir d’une écriture pictographique », 883 :901, Hermès Sciences,
2000.
[4] Cordier, F. & Labrell, F. « L’enfant et la catégorisation. Le
traitement des propriétés des objets. » Psychologie française, 45(2),
2000.
[5] Desclés, J.-P., 1990, Langages applicatifs, langues naturelles et
cognition, Paris : Hermès.
[6] Desclés J.P. 1987– Recherches et Développements dans les
industries de la langue « Tendances de la linguistique
contemporaine : différentes notions de la grammaire universelle ».
pp. 55 – 113. INRIA, 1987, Paris.
[7] Desclés – Culioli– Traitement formel des langues naturelles :
première partie : mise en place des concepts à partir d’exemples.
Mathématiques et Sciences Humaines, N° 77, 1982, pp. 93 – 125,
1982b
[8] Gineste, M.-D., Le NY, J.-F., Psychologie cognitive du langage, de
la reconnaissance à la compréhension, Dunod, Paris, 2002.
[9] Le NY, J.-F., Comment l’esprit produit du sens, Odile Jacob, Paris,
2005.
[10] Tsimba, V., Deneuville, A. (1996) "La valse des étiquettes : étude
de la syntaxe mise en oeuvre dans les tableaux de communication"
Ann. Réadaptation Med Phys (1:6), Elsevier.