Langages rationnels et ingénierie linguistique

Langages rationnels et ingénierie linguistique
Matthieu Constant
Université Paris-Est Marne-la-Vallée, LIGM

Introduction Langages Rationnels Applications
Langages rationnels et ingénierie linguistique
Langages rationnels
◮Expressions rationnelles
◮Automates finis
Application au Traitement Automatique des Langues (TAL)
◮En général, pour les tâches présyntaxiques
◮Exemples : tokenisation, analyse lexicale, chunks

Introduction Langages Rationnels Applications
Plan
Introduction
Quelques rappels sur les langages rationnels
Langages rationnels
Expressions rationnelles
Automates finis
Transducteurs finis
Transducteurs finis
Quelques applications à l’ingénierie linguistique
Tokenisation
Représentation de dictionnaires
Reconnaissance d’expressions
Indexation de documents d’une collection

Introduction Langages Rationnels Applications
Langages Rationnels
Eléments de base
◮Un alphabet Σde "lettres"
◮Deux opérateurs : union (|) et concaténation (.)
◮Un langage rationnel est un ensemble de mots générés à
partir de l’alphabet et des opérateurs
◮On peut définir les langages rationnelles récursivement sur
le principe de leur stabilité par les opérateurs
Exemple :
◮Σ= {a,b,....,z}
◮L = b.o.n.(ε|n.e).(ε|s) = {bon,bons,bonne,bonnes}
avec εle symbole vide

Introduction Langages Rationnels Applications
Expressions rationnelles
Définition informelle
◮Motifs qui permettent de reconnaitre des séquences
appartenant à un langage rationnel
◮Peuvent se définir récursivement comme les langages
rationnels
Exemple :
◮Σ= {a,b,....,z}
◮Regexp = ajout(e|e(s|z|nt)|ons)