Les Data WareHouse - LITIS

Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Les Data WareHouse
Claude Duvallet
Université du Havre
UFR Sciences et Techniques
25 rue Philippe Lebon - BP 540
76058 LE HAVRE CEDEX
[email protected]
http://litis.univ-lehavre.fr/∼duvallet/
Claude Duvallet — 1/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Plan du cours
Introduction et définition
Pourquoi un Data Warehouse ?
Mettre en œuvre un Data Warehouse
Modélisation et implémentation
Conclusion
Claude Duvallet — 2/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Introduction et contexte
En français : les entrepôts de données.
En anglais : les Data Warehouse.
Définition d’un entrepôt de données selon Inmon (1992) :
L’entrepôt de données (ED) est une collection de données
thématiques, intégrées, non volatiles et historisées, organisées
pour le support d’un processus d’aide à la décision.
Principe :
Base de Données utilisée à des fins d’analyse.
Caractéristiques :
orientation sujets (« métiers »),
données intégrées,
données non volatiles,
données datées.
Claude Duvallet — 3/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Caractéristiques des données d’un entrepôt de données
Orientées sujet : un ED rassemble et organise des données
associées aux différentes structures fonctionnelles de
l’entreprise, pertinentes pour un sujet ou thème et nécessaire aux
besoins d’analyse.
Intégrées : les données résultent de l’intégration de données
provenant de différentes sources pouvant être hétérogènes.
Historisées : les données d’un ED représentent l’activité d’une
entreprise durant une certaine période (plusieurs années)
permettant d’analyser les variations d’une donnée dans le temps.
Non-volatiles : les données de l’ED sont essentiellement
utilisées en interrogation (consultation) et ne peuvent pas être
modifiées (sauf certains cas de rafraîchissement).
Claude Duvallet — 4/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Data Warehouse : définition
Entrepôt de données :
Ensemble de données
historisées variant dans le temps,
organisées par sujets,
consolidées dans une base de données unique,
gérées dans un environnement de stockage particulier,
aidant à la prise de décision dans l’entreprise.
Trois fonctions essentielles :
Collecter des données de bases existantes et les charger,
Gérer des données dans l’entrepôt,
Analyser les données en de la prise de décision.
Magasin de données (Data Mart) :
C’est un sous-ensemble de l’entrepôt de données qui contient les
données pour un secteur particulier de l’entreprise.
Exemple : un département, une direction, un service, une gamme
de produit,...
Claude Duvallet — 5/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Caractéristiques des magasins de données
Ils contiennent une portion du contenu d’un entrepôt de données.
Ils se focalisent sur un seul sujet d’analyse tel que, par exemple,
les ventes de produits ou leur livraison mais pas les deux.
Ils servent à faire des analyses simples et concentrées.
Le nombre de sources est limité et provient la plupart du temps
d’un même département.
L’extraction et le transfert de données rudimentaires sont souvent
fait par transfert de fichiers ou par du code propriétaire.
Le même processus de conception que les entrepôts de données
est utilisé mais il nécessite moins de ressources.
Claude Duvallet — 6/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Comptoirs des données opérationnelles (1)
En anglais : Operational Data Store.
Caractéristiques :
Ils intègrent et consolident des données de sources hétérogènes
dans le but de faciliter certaines opérations de l’entreprise.
Ils peuvent servir de sources à des systèmes opérationnels ou un
entrepôt de données.
Utilisations :
Ils servent à régler des règles d’affaires complexes impliquant des
données de plusieurs sources.
Ils permettent d’analyser des données consolidées quasiment en
temps réel.
Ils simplifient le processus ETL (Extraction, Transformation et
Chargement) d’un entrepôt de données.
Claude Duvallet — 7/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Comptoirs des données opérationnelles (2)
Comptoirs des données versus Entrepôts de données :
Ils contiennent rarement des données historiques.
Ils mettent à jour les données au lieu de les ajouter.
Ils effectuent les changements presque instantanément au lieu de
les faire en lots.
Ils ne remplacent pas les entrepôts de données.
Exemples d’applications :
Dans le domaine Bancaire, on peut valider en temps réel la
solvabilité d’un client demandant un prêt bancaire, lorsque les
comptes, les placements, et les dossiers de gestions de risques
sont gérés par des applications différentes.
Dans le domaine des Télécommunications, on peut suggérer un
nouveau forfait à un client, en se basant sur des statistiques
récentes d’utilisation.
Claude Duvallet — 8/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Les méta-données (1)
Définitions :
Ce sont des informations qui définissent et décrivent les
structures, opérations et le contenu du système d’informatique
décisionnelle.
Il existe trois types de méta-données : technique, d’affaire et de
processus.
Méta-données techniques :
ETL (Extract-Transform-Load) : ce sont les sources et les cibles
pour les transferts de données, les transformations, les règles
d’affaires, etc.
Stockage : Ce sont les tables, les champs, les types, les indexes,
les partitions, les dimensions, etc.
Présentation : Ce sont les modèles de données, les rapports, les
privilèges d’accès, etc.
Claude Duvallet — 9/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Les méta-données (2)
Méta-données d’affaires :
Elles décrivent le contenu de l’entrepôt de données dans des
termes compréhensibles par les utilisateurs d’affaires.
Exemples : les descripteurs des tables et des champs.
Méta-données de processus :
Elles décrivent le résultats de diverses opérations du système
d’informatique décisionnelle.
Exemple : Les logs "ETL" (début, fin, écritures disques, ...), les
statistiques sur les requêtes, etc.
Les méta-données permettent :
de découpler la dépendance entre la technologie et son utilisation.
de contrôler l’état et la performance de la solution reposant sur le
système d’informatique décisionnelle.
de fournir de la documentation pour le système.
de déterminer l’impact d’un changement.
⇒ Dans l’idéal, il faudrait avoir un seul répertoire pour les
méta-données, partagé toutes les composantes de l’ED.
Claude Duvallet — 10/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Définitions
Data Mining : Fouille de données
Le forage de données a pour but de mettre en évidence des
corrélations éventuelles dans un volume important de données
afin de dégager des tendances.
OLAP : On-Line Analytical Processing
Le but de l’OLAP est de permettre une analyse
multidimensionnelle sur des bases de données volumineuses afin
de mettre en évidence une analyse particulière des données
(Cubes OLAP).
Claude Duvallet — 11/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Motivations des entreprises
Besoin des entreprises :
accéder à toutes les données de l’entreprise.
regrouper les informations disséminées.
analyser et prendre des décisions rapidement (OLAP).
Exemples d’applications concernées :
Grande distribution : marketing, maintenance, ...
produits à succès, modes, habitudes d’achat.
préférences par secteurs géographiques.
Bancaire : suivi des clients, gestion de portefeuilles
mailing ciblés pour le marketing.
Télécommunications : pannes, fraudes, mobiles, ...
classification des clients, détection fraudes, fuites de clients.
Claude Duvallet — 12/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Les bénéfices (1)
Une meilleur capacité d’analyse :
Il est possible de découvrir ainsi des tendances cachées.
On possède une vue d’ensemble.
On peut prendre de meilleures décisions.
Une augmentation de la productivité des employés :
On peut générer des rapports au niveau des usagers.
On a une meilleure synthèse de l’information et un temps
d’extraction réduit.
On utilise une définition commune des données.
Une diminution des coûts :
Il y a moins de rapports Ad Hoc pour les technologies de
l’information.
Il y a donc aussi une baisse du coût d’accès à l’information.
Claude Duvallet — 13/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Les bénéfices (2)
Une augmentation des revenus :
De l’information non disponible via le ERP est désormais
disponible.
Il existe une meilleure communication entre les services.
Il existe de meilleures analyses du marché et donc, des décisions
stratégiques peuvent être prises.
L’intégration des données sur une plateforme unique.
L’accent est mis sur le client :
Les données concernant les clients sont disponibles et
accessibles par tout le monde.
Il est possible d’effectuer des ventes croisées.
Claude Duvallet — 14/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Concevoir le Data Warehouse
Export de données des sources :
Hétérogènes et variées.
Fichiers, BD patrimoniales, Web,...
Définition des vues exportées.
Définition d’un schéma global :
Il intègre les données utiles.
Il s’appuie sur le modèle relationnel.
Nécessité d’une gestion des méta-données pour :
la description des sources,
la description des vues exportées,
la description du schéma global.
Claude Duvallet — 15/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Acquisition des données
Trois étapes :
Déterminer et recenser les données à entreposer : recherche des
données dans les sources de données de l’entreprise
Nettoyage des données :
conversions de données,
filtrages,
intégration
Alimentation :
Incrémental ou total,
Hors ligne ou en ligne,
Fréquence de chargement : chaque nuit, 1/mois...
Détermination de la taille de l’historique (5 ans, 10 ans...).
Réalisée généralement par des outils dédiés (e.g. Powermart, Info
Suite...)
Claude Duvallet — 16/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Nettoyage et stockage des données
Nettoyage des données :
Il s’agit par exemple d’uniformiser les unités de mesures utilisées
dans différentes données.
Il aussi s’agit d’uniformiser les formats de dates.
On peut aussi agréger des données présentes dans plusieurs
bases de données afin de réduire la redondance des données.
Choix de l’implémentation :
MOLAP,
ROLAP,
HOLAP.
Implémentation du modèle en étoile et/ou des cubes et/ou des
vues matérialisées.
Définition des indexes.
Stockage des données.
Claude Duvallet — 17/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Restitution des données
C’est le but du processus d’entreposage des données.
Elle conditionne souvent le choix de l’architecture du DW et de sa
construction.
Elle doit permettre toutes les analyses nécessaires pour la
construction des indicateurs recherchés.
Les outils de restitution des données :
Les requêteurs et les outils d’analyse.
Les outils de data mining.
Exemples : Cognos PowerPlay, Impromptu (rapports), DBminer
(Data Mining).
Claude Duvallet — 18/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Les concepts d’un entrepôt de données
Claude Duvallet — 19/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Les obstacles
Les coûts d’implantation :
Technologie onéreuse.
Les coûts cachés (matériel, logiciels, prestations de consultant,
maintenance, mise à jour, administration, ...)
Les forces contradictoires : les méta-données sont tiraillés dans
des sens opposés entre les aspects intégration, consistance et
uniformité d’un côté, et l’autonomie des usagers de l’autre côté.
Les sources de données incompatibles.
La nécessité d’obtenir un rendement immédiat.
Claude Duvallet — 20/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Mesure de qualité d’un entrepôt de données
Qualité d’affaires : Est-ce que cela aide à atteindre les buts
organisationnels ?
Qualité d’information : Est-ce que les usagers savent quand et
comment l’entrepôt de données peut les aider pour prendre de
meilleures décisions économiques ?
Qualité technique : Est-ce que l’entrepôt de données satisfait
les usagers en terme de contenu d’information ?
Trois types de succès :
Succès économique : L’entrepôt de données possède un impact
positif sur les résultats financiers.
Succès politique : L’entrepôt de données est utilisé par les
usagers.
Succès technique : Il s’agit du plus facile à accomplir. La
technologie est appropriée pour la tâche requise et elle
fonctionne correctement.
Claude Duvallet — 21/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Les facteurs de succès
Une définition commune des données.
Des règles de transformation des données bien définies.
Une formation des usagers adéquate.
Des attentes organisationnelles bien communiquées aux
usagers.
Une implication des usagers.
Une implication de la hiérarchie.
L’équipe d’implantation possède les bonnes connaissances
techniques.
L’échéance du projet est réaliste.
Les bons outils ont été choisi (exemples : OLAP - MOLAP ROLAP).
Claude Duvallet — 22/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
La structure multi-dimensionnelle
Les BD relationnelles ne sont pas adaptées à l’OLAP car :
Pas les mêmes objectifs.
Pas les mêmes données : Les données nécessaires à l’OLAP
sont multi-dimensionnelles (i.e. ventes par vendeur, par date, par
ville...). Les tables en représentent une vue aplatie.
Pas les mêmes traitements et requêtes : Non seulement perte de
performances mais aussi nécessité pour les utilisateurs de savoir
comment trouver les liens entre les tables pour recréer la vue
multi-dimensionnelle.
Il est donc nécessaire de disposer d’une structure de stockage
adaptée à l’OLAP, i.e. permettant de :
représenter les données dans plusieurs dimensions,
manipuler les données facilement et efficacement.
Claude Duvallet — 23/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
L’implémantation d’un entrepôt de données
Trois méthodes :
1
Relational OLAP (ROLAP)
Les données sont stockées dans un SGBD relationnel.
Un moteur OLAP permet de simuler le comportement d’un SGBD
multi-dimensionnel.
2
Multidimensional OLAP (MOLAP)
Structure de stockage en cube
Accès direct aux données dans le cube
3
Hybrid OLAP (HOLAP)
Les données sont stockées dans SGBD relationnel (données de
base).
La structure de stockage en cube (données agrégées).
Claude Duvallet — 24/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
ROLAP
Idées :
Données stockées en relationnel.
La conception du schéma est particulière : schéma en étoile,
schéma en flocon.
Des vues (matérialisées) sont utilisées pour la représentation
multidimensionnelle.
Les requêtes OLAP (slice, rollup...) sont traduites en SQL.
Utilisation d’index spéciaux : bitmap.
Administration (tuning) particulier de la base de données.
Avantages/Inconvénients :
Souplesse, évolution facile, permet de stocker de gros volumes.
Mais peu efficace pour les calculs complexes
Claude Duvallet — 25/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
MOLAP
Idées :
Modélisation directe du cube.
Ces cubes sont implémentés comme des matrices à plusieurs
dimensions.
Le cube est indexé sur ses dimensions.
Avantages/Inconvénients :
rapide.
formats propriétaires.
ne supporte pas de très gros volumes de données.
Claude Duvallet — 26/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
HOLAP
Idées :
MOLAP + ROLAP.
Les données sont stockées dans des tables relationnelles.
Les données agrégées sont stockées dans des cubes.
Les requêtes vont chercher les données dans les tables et les
cubes.
Claude Duvallet — 27/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Les entrepôts de données
Implémentation :
ROLAP
MOLAP
HOLAP
Structure de la base de données :
Les données sont redondantes et normalisées.
Cela permet de faciliter l’utilisation et d’améliorer les
performances lors de l’analyse des données.
Modèle de représentation :
Cubes.
Étoile et Flocon.
Constellation de faits.
Claude Duvallet — 28/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Hyper Cube
Base de données multi-dimensionnelle
Axes : dimensions (date, type de produits, région).
Chaque cellule de l’hypercube contient une valeur calculée (vente
de produits).
Principe de base : ce sont les analyses des indicateurs qui
intéressent l’utilisateur.
Le modèle multidimensionnel contient 2 types d’attributs : les
dimensions et les mesures.
Les mesures sont les valeurs numériques que l’on compare
(exemple : montant_ventes, quantite_vendue) :
Ces valeurs sont le résultat d’une opération d’agrégation des
données.
C’est un élément de donnée sur lequel portent les analyses, en
fonction des différentes dimensions (Exemple : coût des travaux,
nombre d’accidents, ventes).
Claude Duvallet — 29/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Schémas en étoile, en flocons et en constellation de faits
Schéma en étoile :
Une table de faits centrale et plusieurs tables de dimensions
dénormalisées.
Les mesures sont stockées dans la table de faits.
Il existe une table de dimension pour chaque dimension avec tous
les niveaux d’agrégation.
Schéma en flocon
Version normalisée du schéma en étoile.
Traitement explicite des hiérarchies de dimension (chaque niveau
est représenté dans une table différente).
Plus facile à maintenir, plus lent lors de l’interrogation.
Schéma en constellation de faits :
La modélisation en constellation consiste à fusionner plusieurs
modèles en étoile qui utilisent des dimensions communes.
Un modèle en constellation comprend donc plusieurs tables de
faits et des tables de dimensions communes ou non à ces tables
de faits.
Claude Duvallet — 30/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Modélisation en étoile ou en flocons
Modélisation conceptuelle BD : entité et relation.
Modélisation de l’entrepôt de données : dimensions et mesures.
Les dimensions sont les points de vues depuis lesquels les
mesures peuvent être observées :
Exemple : date, localisation, produit, etc.
Elles sont stockées dans les tables de dimensions.
Une dimension peut être définie comme :
un thème, ou un axe (attributs), selon lequel les données seront
analysées.
Exemple : Temps, Découpage administratif, Produits.
Une dimension contient des membres organisés en hiérarchie :
Chacun des membres appartient à un niveau hiérarchique (ou
niveau de granularité) particulier.
Exemple : pour la dimension Temps : année – semestre – mois –
jour.
Claude Duvallet — 31/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Les faits
Un fait représente la valeur d’une mesure, mesurée ou calculée,
selon un membre de chacune des dimensions :
Exemple : "250 000 euros" est un fait qui exprime la valeur de la
mesure "coût des travaux" pour le membre "2013" du niveau
année de la dimension "temps" et le membre "Le Havre" du
niveau "ville" de la dimension "découpage administratif".
La table des faits :
Les mesures sont stockées dans les tables de faits qui
contiennent les valeurs des mesures et les clés vers les tables de
dimensions.
Claude Duvallet — 32/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Le modèle en étoile (1)
Une (ou plusieurs) table(s) de faits comprenant une ou plusieurs
mesures.
Plusieurs tables de dimension dénormalisées : descripteurs des
dimensions.
Les tables de dimension n’ont pas de liens entre elles.
Avantages :
Facilité de navigation.
Performances : nombre de jointures limité ; gestion des données
creuses.
Gestion des agrégats
Inconvénients :
Toutes les dimensions ne concernent pas les mesures
Redondances dans les dimensions
Alimentation complexe.
Claude Duvallet — 33/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Le modèle en étoile (2)
"Data Warehouse Models and OLAP Operations", Franconi.
Claude Duvallet — 34/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Exemple de modèle en étoile
"Data Warehouse Models and OLAP Operations", Franconi.
Claude Duvallet — 35/37
Les Data WareHouse
Introduction
Motivations
Mettre en œuvre un Data Warehouse
Modèles de représentation
Conclusions
L’implantation d’un entrepôt de données et d’outils analytiques
permet d’améliorer l’intelligence d’affaire de l’entreprise.
C’est une décision d’ordre stratégique.
Ce sont des solutions plus adaptées pour les moyennes et
grandes entreprises.
Travail à faire :
Installer Oracle Warehouse Builder 11g avec Oracle DataBase
sous Linux ;
Claude Duvallet — 36/37
Les Data WareHouse