Modernisation IBM i – Nouveautés 2014-2015 Systems - IBM i 19 et 20 mai 2015 –IBM IBMPower Client Center, Bois-Colombes S18 - DB2 Web Query et Data Migrator for i : transformez vos données pour l'analytique Mercredi 20 mai – 11h00-12h30 Dominique GAYTE – NoToS [email protected] – www.notos.fr © IBM France 2015 NoToS Expertise autour de l’IBM i – Sécurité – Regard moderne (DB2 Web Query) Service – Formation, audit, développement… PHP sur IBM i avec Zend Développement de progiciels – PHP 2 © IBM France 2015 Sommaire Les outils pour gérer les métadonnées Créer une métadonnée Travailler sur les zones – Dates – Calculs – Noms Les jointures Les dimensions et l’OLAP Réflexions sur les entrepôts de données (datawarehouse) – Principes – Les outils IBM i – La nouvelle solution "Data Migrator for i" 3 © IBM France 2015 Introduction DB2 Web Query est le remplaçant de QUERY/400 C’est un véritable outil d’aide à la décision Il s’appuie sur une couche de métadonnées qui apporte une valeur ajoutée importante Cette session fait le point sur cette couche métadonnées – – – – – 4 Utilisation Outils Optimisation Faut-il un entrepôt de données (datawarehouse) ? Data Migrator for i (présentation du produit) © IBM France 2015 Les métadonnées 5 © IBM France 2015 La couche métadonnées Métadonnées Distante 6 Locale © IBM France 2015 La couche métadonnées (2) Masque la complexité des données – – – – – – Les jointures Noms de zones peu évocateurs Dates Zones calculées Filtres Hiérarchies de données – Produit (famille, sous famille, catégorie, produit) – Temps (année, mois, jour) – Géographie (pays, région, département, ville, magasin) A définir une fois pour toute ! 7 © IBM France 2015 Les outils Historiquement seul le Studio (Developer Workbench Studio) permettait de gérer les métadonnées Aujourd’hui, il est possible de quasiment tout faire à partir du navigateur (Portail) Il existe même un assistant 8 © IBM France 2015 Les connecteurs *LOCAL Autres IBM i QUERY/400 Fichiers plats (CSV) Excel SQL Server (en version Standard), à partir de 2005 … 9 © IBM France 2015 Création à partir d’un objet existant PF, LF, table, vue… Une métadonnée = un synonyme pour DB2 Web Query 10 © IBM France 2015 Jointures 1. Créer toutes les métadonnées nécessaires aux jointures 2. Modifier la métadonnée racine des jointures 3. Insérer une référence à un synonyme existant 11 © IBM France 2015 Définition des zones de la jointure Type de jointure Zones participant à la jointure 12 © IBM France 2015 Valorisation des zones Renommage des titres de colonnes Décomposition des dates Changement de format (dates, par exemple) 13 © IBM France 2015 Création de zones calculées Zone de type Define – Evaluées à chaque ligne Zone de type Compute – Une seule évaluation globale idéal pour les % et les groupements 14 © IBM France 2015 Dimensions Hiérarchie dans les données Sera utilisé automatiquement par OLAP 15 © IBM France 2015 Optimisation Améliorer les temps de réponse 16 © IBM France 2015 DB2 Web Query c’est du SQL ! Tout ce qui est bon pour SQL est bon pour DB2 Web Query Les index ! – Utiliser les outils permettant d’optimiser les requêtes SQL – Créer les index nécessaires A noter que les colonnes d’une métadonnées qui ne sont pas utilisées ne sont pas ramenées par la requête Penser aux tables matérialisées (MQT : Materialised Query Table) – Automatiquement utilisées par l’optimiseur – Excellent moyen d’améliorer les temps de réponse – Requêtes contenant des agrégats (GROUP BY), par exemple – Jointures complexes de nombreuses tables Disposer d’un entrepôt de données (datawarehouse) 17 © IBM France 2015 Datawarehouse Entrepôt de données 18 © IBM France 2015 Principes Les données de production ne sont pas organisées pour répondre aux besoins décisionnels – – – – Beaucoup d’enregistrements, de jointures, de zones Données élémentaires, non agrégées Dates sous des formats divers Traitements ou sélections à effectuer sur les données – Mouvements de stocks dans les ventes – Une zone contient plusieurs informations (difficile pour les index !) Pour optimiser les temps de réponse, on aurait intérêt à : – – – – 19 Faire des agrégations (CA mensuels par produit, commercial…) Stocker le résultat de calculs Rajouter des informations (historiser) Altérer la troisième forme normale © IBM France 2015 Datawarehouse Les entrepôts de données sont des bases de données organisées pour les besoins du décisionnel Eventuellement composé de datamarts (magasins de données) chacun étant orienté vers un métier Il est alimenté par les bases de données de production – Le processus consiste à extraire les données de production, à les traiter (agrégations, calculs…) et à les charger dans le datawarehouse 20 © IBM France 2015 Datawarehouse et IBM i L’IBM i peut très bien héberger un datawarehouse – Dans une ou plusieurs bibliothèques – Dans une partition dédiée En RPG IV & SQL, on sait – Lire les bases externes (JDBC) en – SQL Server, Oracle, MySQL… – Lire et parser des fichiers XML – Traiter les données et les écrire dans le datawarehouse On peut aussi utiliser les MQT rafraichies régulièrement Sinon, on peut utiliser un ETL… 21 © IBM France 2015 Data Migrator for i Un ETL dans l’IBM i 22 © IBM France 2015 ETL : qu’est ce que c’est ? Extract Transform & Load Permet de charger une base de données par – Extraction de données sources – Transformation de ces données – Injection dans l’entrepôts de données cible Très utilisé dans les environnements décisionnels pour constituer et alimenter quotidiennement les entrepôts de données 23 © IBM France 2015 Data Migrator for i ETL natif IBM i – Associé à DB2 Web Query (obligatoire) – Version Express ou Standard – Option 8 de 5733-WQX (facturée) Apporté par le groupe PTF 11 (à partir de la V6R1) – Depuis le 27 mars 2015 Client graphique – Data Management Console (DMC) – Pour la configuration Serveur – DataMigrator Server – Traite les demandes 24 © IBM France 2015 Sources, Traitements, Cibles La philosophie de l’interface s’appuie sur ces trois étapes Sources 25 Traitements Cibles © IBM France 2015 Présentation d’un premier exemple Ce n’est pas un mode opératoire complet, juste une présentation de quelques fonctionnalités Installer la dernière version du Workbench Studio (au moins 8009i) Lancer le Data Management Console (DMC) 26 © IBM France 2015 Création d’un nouveau flux de données Les exemples s’appuient sur la bibliothèque QWQCENT – Livrées en standard Flux de données = Data Flow 27 © IBM France 2015 Sources S’appuie sur les métadonnées Glisser/déplacer ou clic bouton droit 28 © IBM France 2015 Traitements Actions sur les colonnes 29 © IBM France 2015 Cibles La table cible peut être créée automatiquement par DataMigrator 30 © IBM France 2015 Jointure Si même nom de zone : automatique, sinon à faire 31 © IBM France 2015 Insertion de colonnes 32 © IBM France 2015 Agrégats 33 © IBM France 2015 Critères de sélection Clic bouton droit sur SQL 34 © IBM France 2015 Importation d’un classeur EXCEL Assistant d’importation 35 © IBM France 2015 Exécution En « interactif » ou en batch Planifiée 36 © IBM France 2015 Flux de processus (Process flow) Enchainement de flux de données Chaque flot de données est associé à un flux de processus Des procédures nous permettent de gérer les évènements 37 © IBM France 2015 Exemple simple de flux de processus 38 © IBM France 2015 Change Data Capture (CDC) L’idée est de piéger les modification sur les tables et de les propager – Via la journalisation des fichiers – Une métadonnée s’appuie sur le journal – Métadonnée pour un fichier contenant Z1 et Z2 39 © IBM France 2015 Liens DB2 Web Query dans DeveloperWorks http://www.ibm.com/developerworks/spaces/DB2WebQuery Annonce Data Migrator for i http://www01.ibm.com/common/ssi/ShowDoc.wss?docURL=/common/ssi /rep_sm/m/649/ENUS5733WQM/index.html&lang=en&request_locale=en 40 © IBM France 2015 Merci pour votre écoute ! IBM Power Systems - IBM i Des questions ? Dominique GAYTE - [email protected] 04 30 96 97 33 www.notos.fr © IBM France 2015