S18 - DB2 Web Query et Data Migrator for i

Modernisation IBM i – Nouveautés 2014-2015
Systems
- IBM i
19 et 20 mai 2015 –IBM
IBMPower
Client Center,
Bois-Colombes
S18 - DB2 Web Query et Data Migrator for i : transformez vos données pour
l'analytique
Mercredi 20 mai – 11h00-12h30
Dominique GAYTE – NoToS
[email protected] – www.notos.fr
© IBM France 2015
NoToS
 Expertise autour de l’IBM i
– Sécurité
– Regard moderne (DB2 Web Query)
 Service
– Formation, audit, développement…
 PHP sur IBM i avec Zend
 Développement de progiciels
– PHP
2
© IBM France 2015
Sommaire
 Les outils pour gérer les métadonnées
 Créer une métadonnée
 Travailler sur les zones
– Dates
– Calculs
– Noms
 Les jointures
 Les dimensions et l’OLAP
 Réflexions sur les entrepôts de données (datawarehouse)
– Principes
– Les outils IBM i
– La nouvelle solution "Data Migrator for i"
3
© IBM France 2015
Introduction
 DB2 Web Query est le remplaçant de QUERY/400
 C’est un véritable outil d’aide à la décision
 Il s’appuie sur une couche de métadonnées qui apporte une
valeur ajoutée importante
 Cette session fait le point sur cette couche métadonnées
–
–
–
–
–
4
Utilisation
Outils
Optimisation
Faut-il un entrepôt de données (datawarehouse) ?
Data Migrator for i (présentation du produit)
© IBM France 2015
Les métadonnées
5
© IBM France 2015
La couche métadonnées
Métadonnées
Distante
6
Locale
© IBM France 2015
La couche métadonnées (2)
 Masque la complexité des données
–
–
–
–
–
–
Les jointures
Noms de zones peu évocateurs
Dates
Zones calculées
Filtres
Hiérarchies de données
– Produit (famille, sous famille, catégorie, produit)
– Temps (année, mois, jour)
– Géographie (pays, région, département, ville, magasin)
 A définir une fois pour toute !
7
© IBM France 2015
Les outils
 Historiquement seul le Studio (Developer Workbench Studio)
permettait de gérer les métadonnées
 Aujourd’hui, il est possible de quasiment tout faire à partir du
navigateur (Portail)
 Il existe même un assistant
8
© IBM France 2015
Les connecteurs
 *LOCAL
 Autres IBM i
 QUERY/400
 Fichiers plats (CSV)
 Excel
 SQL Server (en version Standard), à partir de 2005
…
9
© IBM France 2015
Création à partir d’un objet existant
 PF, LF, table, vue…
 Une métadonnée = un synonyme pour DB2 Web Query
10
© IBM France 2015
Jointures
1. Créer toutes les métadonnées nécessaires aux jointures
2. Modifier la métadonnée racine des jointures
3. Insérer une référence à un synonyme existant
11
© IBM France 2015
Définition des zones de la jointure
 Type de jointure
 Zones participant à la jointure
12
© IBM France 2015
Valorisation des zones
 Renommage des titres de colonnes
 Décomposition des dates
 Changement de format (dates, par exemple)
13
© IBM France 2015
Création de zones calculées
 Zone de type Define
– Evaluées à chaque ligne
 Zone de type Compute
– Une seule évaluation globale idéal pour les % et les groupements
14
© IBM France 2015
Dimensions
 Hiérarchie dans les données
 Sera utilisé automatiquement par OLAP
15
© IBM France 2015
Optimisation
Améliorer les temps de réponse
16
© IBM France 2015
DB2 Web Query c’est du SQL !
 Tout ce qui est bon pour SQL est bon pour DB2 Web Query
 Les index !
– Utiliser les outils permettant d’optimiser les requêtes SQL
– Créer les index nécessaires
 A noter que les colonnes d’une métadonnées qui ne sont pas
utilisées ne sont pas ramenées par la requête
 Penser aux tables matérialisées (MQT : Materialised Query
Table)
– Automatiquement utilisées par l’optimiseur
– Excellent moyen d’améliorer les temps de réponse
– Requêtes contenant des agrégats (GROUP BY), par exemple
– Jointures complexes de nombreuses tables
 Disposer d’un entrepôt de données (datawarehouse)
17
© IBM France 2015
Datawarehouse
Entrepôt de données
18
© IBM France 2015
Principes
 Les données de production ne sont pas organisées pour
répondre aux besoins décisionnels
–
–
–
–
Beaucoup d’enregistrements, de jointures, de zones
Données élémentaires, non agrégées
Dates sous des formats divers
Traitements ou sélections à effectuer sur les données
– Mouvements de stocks dans les ventes
– Une zone contient plusieurs informations (difficile pour les index !)
 Pour optimiser les temps de réponse, on aurait intérêt à :
–
–
–
–
19
Faire des agrégations (CA mensuels par produit, commercial…)
Stocker le résultat de calculs
Rajouter des informations (historiser)
Altérer la troisième forme normale
© IBM France 2015
Datawarehouse
 Les entrepôts de données sont des bases de données
organisées pour les besoins du décisionnel
 Eventuellement composé de datamarts (magasins de
données) chacun étant orienté vers un métier
 Il est alimenté par les bases de données de production
– Le processus consiste à extraire les données de production, à les
traiter (agrégations, calculs…) et à les charger dans le
datawarehouse
20
© IBM France 2015
Datawarehouse et IBM i
 L’IBM i peut très bien héberger un datawarehouse
– Dans une ou plusieurs bibliothèques
– Dans une partition dédiée
 En RPG IV & SQL, on sait
– Lire les bases externes (JDBC) en
– SQL Server, Oracle, MySQL…
– Lire et parser des fichiers XML
– Traiter les données et les écrire dans le datawarehouse
 On peut aussi utiliser les MQT rafraichies régulièrement
 Sinon, on peut utiliser un ETL…
21
© IBM France 2015
Data Migrator for i
Un ETL dans l’IBM i
22
© IBM France 2015
ETL : qu’est ce que c’est ?
 Extract Transform & Load
 Permet de charger une base de données par
– Extraction de données sources
– Transformation de ces données
– Injection dans l’entrepôts de données cible
 Très utilisé dans les environnements décisionnels pour
constituer et alimenter quotidiennement les entrepôts de
données
23
© IBM France 2015
Data Migrator for i
 ETL natif IBM i
– Associé à DB2 Web Query (obligatoire)
– Version Express ou Standard
– Option 8 de 5733-WQX (facturée)
 Apporté par le groupe PTF 11 (à partir de la V6R1)
– Depuis le 27 mars 2015
 Client graphique
– Data Management Console (DMC)
– Pour la configuration
 Serveur
– DataMigrator Server
– Traite les demandes
24
© IBM France 2015
Sources, Traitements, Cibles
 La philosophie de l’interface s’appuie sur ces trois étapes
Sources
25
Traitements
Cibles
© IBM France 2015
Présentation d’un premier exemple
 Ce n’est pas un mode opératoire complet, juste une
présentation de quelques fonctionnalités
 Installer la dernière version du Workbench Studio (au moins
8009i)
 Lancer le Data Management Console (DMC)
26
© IBM France 2015
Création d’un nouveau flux de données
 Les exemples s’appuient sur la bibliothèque QWQCENT
– Livrées en standard
 Flux de données = Data Flow
27
© IBM France 2015
Sources
 S’appuie sur les métadonnées
 Glisser/déplacer ou clic bouton droit
28
© IBM France 2015
Traitements
 Actions sur les colonnes
29
© IBM France 2015
Cibles
 La table cible peut être créée automatiquement par
DataMigrator
30
© IBM France 2015
Jointure
 Si même nom de zone : automatique, sinon à faire
31
© IBM France 2015
Insertion de colonnes
32
© IBM France 2015
Agrégats
33
© IBM France 2015
Critères de sélection
 Clic bouton droit sur SQL
34
© IBM France 2015
Importation d’un classeur EXCEL
 Assistant d’importation
35
© IBM France 2015
Exécution
 En « interactif » ou en batch
 Planifiée
36
© IBM France 2015
Flux de processus (Process flow)
 Enchainement de flux de données
 Chaque flot de données est associé à un flux de processus
 Des procédures nous permettent de gérer les évènements
37
© IBM France 2015
Exemple simple de flux de processus
38
© IBM France 2015
Change Data Capture (CDC)
 L’idée est de piéger les modification sur les tables et de les
propager
– Via la journalisation des fichiers
– Une métadonnée s’appuie sur le journal
– Métadonnée pour un fichier contenant Z1 et Z2
39
© IBM France 2015
Liens
 DB2 Web Query dans DeveloperWorks
http://www.ibm.com/developerworks/spaces/DB2WebQuery
 Annonce Data Migrator for i
http://www01.ibm.com/common/ssi/ShowDoc.wss?docURL=/common/ssi
/rep_sm/m/649/ENUS5733WQM/index.html&lang=en&request_locale=en
40
© IBM France 2015
Merci pour votre écoute !
IBM Power Systems - IBM i
Des questions ?
Dominique GAYTE - [email protected]
04 30 96 97 33
www.notos.fr
© IBM France 2015