Prétraitement des données

Prétraitementdesdonnées
Piét it ldé?
1
•
P
ourquo
i
pr
ét
ra
it
er
l
es
d
onn
é
es
?
•Nettoyagedesdonnées
•
Intégration et transformation
Intégration
et
transformation
•Réductiondesdonnées
•Discrétisationet
g
énérationdehiérarchiesde
g
concepts

Pourquoiprétraiterlesdonnées?
é é
2
•Donn
é
esr
é
ellessouvent
incomplètes :valeurs manquantes données
incomplètes
:
valeurs
manquantes
,
données
simplifiées
bruitées:erreursetexceptions
ihét d
i
nco
hé
ren
t
es:nommage,co
d
age
•Résultatsdelafouilledépendentdelaqualitédes
données

Principalesétapesdansleprétraitementdesdonnées 3
•Nettoyage
•Intégration
Data cleaning
Data integration
•Transformation
•Réduction
Data transformation
Data reduction attributes attributes
A1 A2 A3 ... A126
2, 32, 100, 59, 48 0.02, 0.32, 1.00, 0.59, 0.48
s
A1 A3 ... A115
•Discrétisation
A1 A2 A3 ... A126
T1
T2
T3
T4
...
tra
nsactions
transaction
s
A1 A3 ...
T1
T4
...
T1456
A115
...
T2000
tra

Donnéesmanquantes
é
4
•Donn
é
esnondisponibles
certains attributs n
’
ont pas de valeur
certains
attributs
nont
pas
de
valeur
•Causes:
mauvaisfonctionnementdel’équipement
incohérencesavecd’autresdonnéesetdonc
supprimées
supprimées
nonsaisiescarnonoumalcomprises
considéréespeuimportantesaumomentdela
ii
sa
i
s
i
e
•
Ces données doivent être inférées
Ces
données
doivent
être
inférées

Commentremplirlestrous?
I l tl
5
•
I
gnorer
l
e
t
up
l
e
peuefficacequandlepourcentagedevaleursmanquantesestélevé
Clé ll ldé
•
C
omp
lé
termanue
ll
ement
l
es
d
onn
é
es
Laborieuxouinfaisable
•Utiliseruneconstanteglobale
ex:« inconnue »,unenouvellecatégorie?
•Utiliserlamoyennedel’attribut
•Utiliserlamo
y
ennedel’attribut
p
ourlamêmeclasse
y p
mieux
•
Utiliser la valeur la plus probable
Utiliser
la
valeur
la
plus
probable
formuleBayésienneouarbrededécision