Université de Bouira - Département d’Informatique Année 2017-2018
Module : Systèmes de Recherche d’Information 3ème année ISIL
Série TD N° 1 : Indexation
Exercice 1 : Méthode d'indexation automatique
Le but de l'indexation automatique est de transformer les documents en substituts capables de
représenter le contenu de ces documents. Cette méthode utilise deux approches : l'approche statistique
(distribution des mots) ou le traitement automatique du langage naturel (TALN).
Nous considérons, dans cet exercice, l'approche statistique. Cette dernière est réalisée suivant les étapes
suivantes :
1. Étape 1 : Extraction de mots simples comme suit :
Extraction des termes (tockenization) : Un terme est une suite de caractères séparés par
(blanc, signe de ponctuation ou caractères spéciaux,…)
Suppression des mots « vides » (stoplist / Common Words removal)
2. Étape 2 : Normalisation des mots extraits par l'une des techniques suivantes :
Lemmatisation (radicalisation) ou (stemming) : Processus morphologique permettant de
regrouper les variantes d’un mot.
Exemple : économie, économiquement, économiste, économ
Utilisation de règles de transformations : règle de type : condition action
Exemple : condition = si mot se termine par s action= supprimer la terminaison
Analyse grammaticale : utilisation de lexique (dictionnaire)
Exemple : Tree-tagger (gratuit sur le net)
Troncature : Tronquer les mots à X caractères : Tronquer plutôt les suffixes
Exemple : troncature à 7 caractères : économiquement : écomoni
3. Étape 3 : Statistique sur les occurrences :
Pour chaque mot, on doit faire la statistique de sa fréquence d'occurrence dans le document. Ainsi, à
chaque nouvelle occurrence d'un mot, on ajoute 1 dans sa fréquence.
4. Étape 4 : Construction du fichier inverse et pondération des mots
Une fois les documents indexés le résultat est que chaque document aura donc un descripteur ou
une représentation (liste de mots, fréquence de chaque mot). Ces mots sont ensuite stockés dans une
structure appelée fichier inverse. La pondération consiste à caractériser les termes importants dans
un document ou plusieurs documents c.à.d. que les termes importants doivent avoir un poids fort.
Plusieurs approches sont utilisées pour pondérer les mots comme :
Tf, IDF (approche plus répandue)
Pourvoir discriminatoire d’un terme
Considérons les documents suivants :
Doc1 : "La mesure R-précision est pertinente pour la mesure de la précision moyenne."
Doc2 : " Les modèles de recherche les plus efficaces sont le modèle de langage et le modèle vectoriel."
Doc3 : "L’efficacité de la recherche est mesurée par la précision moyenne."
Doc4 : " Apparition du modèle booléen et l’élaboration de petites expérimentations sur des petites
collections de documents. "
Doc5 : " L'indexation est un processus permettant de construire un ensemble d’éléments « clés » permettant
de caractériser le contenu d’un document / retrouver ce document en réponse à une requête."
Question :
1. Réaliser l'indexation de ces documents on considérant la troncature à 7 caractères.
Par Dr. A. ABBAS Site web : https://sites.google.com/a/esi.dz/a-abbas/
1
/
1
100%
