Cours 5 Systèmes maximalistes Systèmes minimalistes vs maximalistes (1) Les systèmes minimalistes sont intéressants, parce qu'ils sont très simples, mais ils sont aussi très limités. Dans certains cas, il est nécessaire d'aller plus loin dans la compréhension..... Systèmes minimalistes vs maximalistes (2) Plan du cours Par exemple, que doit faire un correcteur pour corriger cette phrase? Comment structurer ? Comment comprendre ? Cette feuille, je l'ai mis quelque part Un exercice... Des choses plus concrètes : les correcteurs et les systèmes de TA Et celle-ci ? La banque a interdit de les fiancer Comment structurer ? Analyse de surface (robuste) Deux méthodes : • Analyse de surface (robuste) On part du résultat de la désambiguisation et on applique des règles pour déterminer les fonctions grammaticales des mots, par exemple le groupe nominal à gauche du verbe est un sujet. • Analyse complète Fumer Verb nuit Noun à Prep la Det santé N GN objet GP complément Quels sont les problèmes ? Analyseur complet • On fait une analyse complète de la phrase avec une grammaire, de manière à déterminer si elle est grammaticalement correcte ou pas. Mais : • Comment va-t'on décrire les structures correctes pour une machine ? • Est-il possible d'écrire une grammaire que la machine pourra comprendre ? Comment va-t'on décrire les structures correctes pour une machine ? (1) • Il faut décrire comment une phrase est construite à partir des mots. • Les systèmes exploitent souvent la notion de structure des constituants (Chomsky) • Celle-ci rend compte du fait que la phrase n'est pas une simple succession de catégories syntaxiques. Au contraire, celles-ci se combinent pour former des syntagmes, qui, à leur tour, forment la phrase. Comment va-t'on décrire les structures correctes pour une machine ? (2) Représentation de la structure des constituants P Par exemple: SN la vigie voit la Det N V Det DET SN SV bouée N V SN N SN la vigie voit DET N le bateau SV Phrase Exemple d'arbre syntagmatique Pourquoi recourir à la structure des constituants ? Exemple de grammaire (dite de réécriture) (1) Permet de décrire les structures syntaxiques possibles avec des règles très compactes, sans les énumérer et en généralisant. Grammaire : A la place des règles suivantes: P -> det n v det n (la vigie voit le bateau) P -> det adj n v det n (la belle vigie voit le bateau) P -> det adj n v det adj n P -> SN SV verbal SN -> Det N et un nom ##Une phrase se réécrit en un syntagme nominal et ##Un syntagme nominal se réécrit en un déterminant SV -> V SN ##Un syntagme verbal se réécrit en un verbe et un syntagme mominal (la belle vigie voit le grand bateau) .... On peut simplement décrire la structure de constituants. Donc : Lexique : V -> {voit} Det -> {le, la} N -> {vigie, bouée, bateau} Exemple de grammaire (dite de réécriture) (2) Exemple de grammaire (dite de réécriture) (3) P -> SN SV 1. P -> SN SV SN -> Det N 2. SN -> Det N SV -> V SN 3. SN -> Det N SP 4. SV -> V SN Comment développer cette première grammaire pour traiter: 5. SV -> V la vigie mange 7. SP -> prep SN la vigie mange sur le bateau 8. V -> {voit, mange} la vigie de la proue voit le bateau ? 10. N -> {vigie, bouée, bateau, proue} 6. SV -> V SP 9. Det -> {le, la} 11. Prep -> {sur} Quelle est la propriété de cette grammaire ? Premier avantage de ces grammaires pour le TAL (1) Premier avantage de ces grammaires pour le TAL Ces règles peuvent facilement être utilisées par un ordinateur pour déterminer si la phrase est correcte ou pas, par exemple : Essayez de montrer que : la part est incorrect pour cette grammaire: P P SN SV (règle 1) SN SV Det N SV (règle 2) Det N SV la N SV (règle 9) la la vigie SV la vigie V SN la vigie regarde SN (règle 10) etc. la vigie regarde DET N la vigie regarde le N la vigie regarde le bateau part SV Second avantage de ces grammaires pour le TAL Structure de constituants 1 Permet d'attribuer aux phrases un arbre syntagmatique, qui représente le sens de la phrase et, éventuellement, leur ambiguïté: • • P SN SV J'ai trouvé ce livre intéressant -> I found this interesting book/ I found this book interesting SN Sa femme préfère le café au lait -> His wife prefers the coffee with milk/ His wife prefers coffee to milk Si un système de TA arrive à choisir la bonne solution, il pourra ensuite traduire correctement la phrase. Quelle est la bonne structure pour: Il mange un avocat avec une cuiller (cf. cours 2) Structure de constituants 2 SN Pron V il Det mange un N Prep Det avocat avec une N cuiller Dernier avantage de ces grammaires pour le TAL P SN SP La structure des constituants reste l'un des moyens les plus sûrs pour identifier les fonctions grammaticales jouées par les mots: SV SN SP a sujet = syntagme qui précède le verbe dans une phrase active et déclarative; b objet = syntagme qui suit le verbe ; SN Pron V il Det mange un N Prep Det avocat avec une N c tête = l’élément le plus important dans le syntagme, càd le verbe dans le syntagme verbal, le nom dans le syntagme nominal, etc. cuiller d complément = constituants facultatifs, ex. je pars à la mer Exemple (simplifié) de grammaire étendue (avec les fonctions grammaticales) Exemple (simplifié) de grammaire étendue (avec les fonctions grammaticales) P -> SN{1} SV P -> SN{sujet} SV{tete} SN -> Det N SN -> Det N SN -> Det N SP SN -> Det N SP SV -> V SN{2} SV -> V{tete} SN{objet} SV -> V SV -> V{tete} SV -> V SP{3} SV -> V{tete} SP{complément de ...} SP -> prep SN SP -> prep SN Exemple de représentation exploitable par un correcteur Avantage d'une analyse syntaxique complète versus analyse de surface / analyse minimaliste la vigie voit le bateau • Permet de voir si une phrase est correcte ou pas : je mange avocat le • Evite les fautes typiques de l'analyse minimale : fumer nuit à la santé / le grand bien qu'il m'a fait est évident / etc. sujet = det = la nom = vigie objet = det = le nom = bateau tete = voir Que va-t'il se passer si un correcteur se base sur une analyse robuste et est confronté à la faute suivante : fumer nuits à la santé? • Vérifier que le sujet s'accorde avec la tête, que le det s'accorde avec le nom, etc. Représente l'ambiguïté des phrases syntaxiquement ambigües, comme: Le pilote ferme la porte, je parle à ma femme de ménage, etc Problèmes liés à l'analyse syntaxique complète • Couverture : est-il possible d'énumérer toutes les règles ? Possible pour des corpus limités, mais difficile à grande échelle. Construire une bonne grammaire prend énormément de temps. • Pas facile de déterminer a priori si une phrase est correcte ou pas. Il y a des cas où ça dépendra de l'application. Un correcteur peut-il se baser sur une analyse complète ? • Comment choisir la bonne structure syntaxique : si l'analyseur syntaxique n'a pas de connaissances sémantiques/pragmatiques, le choix entre les différentes structures est très difficile... Peut-on utiliser les statistiques?