Stage 2015 (Base de données RACE)

Préparation du stage 2015
Base de données RACE
9/3/2015
Préparation stage océano 2015 à Calvi
1
Objectifs de cette réunion de préparation
• 1- Collecte des métadonnées dés la première semaine
• 2- Pourquoi RACE est une base de données en ligne et pas une simple
feuille Excel
• 3- Réfléchir durant la première semaine à la conception « idéale »
d’une base de données
• 4- Installation de softs (VPN, pgAdmin, QGIS)
• 5- Extraction de données de courant de la BD RACE
9/3/2015
Préparation stage océano 2015 à Calvi
2
1- Métadonnées à collecter
9/3/2015
Préparation stage océano 2015 à Calvi
3
1- Métadonnées
• Où?
• Quand?
• Avec quel appareil de mesure?
• Est-ce une seule mesure ou une série de mesures?
• Prélève-t-on un échantillon sur lequel on fait des mesures?
• Et quoi d’autres encore …
9/3/2015
Préparation stage océano 2015 à Calvi
4
2- Pourquoi RACE est une base de
données en ligne et pas une
simple feuille Excel
9/3/2015
Préparation stage océano 2015 à Calvi
5
2- Pourquoi RACE est une base de données en
ligne et pas une simple feuille Excel
• Plus de 6 millions de données
• Le langage SQL permet de calculer rapidement des indices statistiques
comme la moyenne journalière etc.
• La spatialisation dans PostgreSQL permet de faire des requêtes
spatiales comme par exemple la distance à une station. Le résultat
peut être visualisé dans un SIG par exemple dans QGIS
• Une base de données en ligne permet de disposer toujours de la
dernière version
9/3/2015
Préparation stage océano 2015 à Calvi
6
3- Réflexions sur la conception
« idéale » d’une base de données
pour les données de Calvi
9/3/2015
Préparation stage océano 2015 à Calvi
7
3- Réflexions sur la conception « idéale » d’une
base de données pour les données de Calvi
• Liste des tables
• Liste des relations entre tables
• Liste des type de données
• Comment assurer la cohérence de la base de données
9/3/2015
Préparation stage océano 2015 à Calvi
8
4- Installation de softs
(VPN, pgAdmin, QGIS)
9/3/2015
Préparation stage océano 2015 à Calvi
9
VPN
VPN (Virtual Private Network) permet d’obtenir une adresse IP ULg
depuis l’extérieur après identification (protection)
http://www.gitan.ulg.ac.be/Intranet/vpn.html
On est bien sur le VPN si la petite icône jaune sous forme de cadenas
est visible
Attention, java doit être à jour pour utiliser le VPN
9/3/2015
Préparation stage océano 2015 à Calvi
10
VPN
Il existe des versions:
• pour Windows 32 et 64 bits
https://vpn.gw.ulg.ac.be/dana-cached/nc/neoNCSetup.exe
https://vpn.gw.ulg.ac.be/dana-cached/nc/neoNCSetup64.exe
• Pour Macosx
https://vpn.gw.ulg.ac.be/dana-cached/nc/NetworkConnect.dmg
• Pour Linux assez difficile à installer sous 64 bits
https://vpn.gw.ulg.ac.be/dana-cached/nc/ncLinuxApp.jar
9/3/2015
Préparation stage océano 2015 à Calvi
11
VPN
• Lancer le programme « Network Connect »
• Compléter l’interface
l'url https://vpn.gw.ulg.ac.be/
votre identifiant
votre mot de passe
9/3/2015
Préparation stage océano 2015 à Calvi
12
pgAdmin
http://www.gitan.ulg.ac.be/cms/index.php?page=open-source#9.
pgAdmin est une interface disponible sous Windows, MacOS et Linux
pour gérer une base de données PostgreSQL
et son extension spatiale PostGIS.
Un outil permet de formuler graphiquement les requêtes SQL
• Sous Windows : ftp://139.165.56.39/opensource/pgadmin3-1.18.1.zip
• Sous MacOS: ftp://139.165.56.39/opensource/pgadmin3-1.18.1.dmg
• Les téléchargements d’autres versions peuvent se faire depuis
http://www.pgadmin.org/download/
9/3/2015
Préparation stage océano 2015 à Calvi
13
pgAdmin (en étant sous VPN)
Pour ajouter un serveur, il faut:
• Nom:
• Hôte:
• Port 5432:
• Utilisateur:
• Mot de passe:
9/3/2015
au choix
10.16.8.17
race_db_v2
master
master_gher
Préparation stage océano 2015 à Calvi
14
pgAdmin (en étant sous VPN)
Pour calculer des paramètres statistiques sur des « groupes »
d’enregistrements, on utilise par exemple les divisions de temps:
• date_part('YEAR',daytime) as annee, date_part('month',daytime) as
mois, date_part('day',daytime) as jour,
Voici quelques paramètres statistiques:
• min(datavalue), max(datavalue), avg(datavalue)(*), stddev(datavalue),
count(datavalue)
(*)
Attention avg n’est pas adapté aux données sur les angles
9/3/2015
Préparation stage océano 2015 à Calvi
15
pgAdmin (en étant sous VPN)
Exemple de paramètres statistiques
SELECT
date_part('YEAR',daytime) as year, date_part('month',daytime) as month, date_part('day',daytime) as day,
Min(datavalue),Max(datavalue),avg(datavalue),count(datavalue), stddev(datavalue),
data_an.dataparam_codeparam, timeseries.tssta_codesta, timeseries.depth
FROM
public.data_an, public.timeseries
WHERE
timeseries.codeds = data_an.dasa_codeds AND timeseries.tssta_codesta = 'INW04' AND
data_an.dataparam_codeparam = 'waterspeed'
GROUP BY
year, month,day, data_an.dataparam_codeparam,timeseries.tssta_codesta, timeseries.depth
ORDER BY
year, month,day;
9/3/2015
Préparation stage océano 2015 à Calvi
16
QGIS
http://www.gitan.ulg.ac.be/cms/index.php?page=open-source#3.
QGIS est un Système d'Information Géographique (SIG) open source.
Il est disponible:
• Sous Windows (32bits): ftp://139.165.56.39/opensource/QGISOSGeo4W-2.4.0-1-Setup-x86.exe
• Sous Windows (64bits): ftp://139.165.56.39/opensource/QGISOSGeo4W-2.4.0-1-Setup-x86_64.exe
• Sous MacOS : http://www.qgis.org/fr/site/forusers/download.html
• Sous Linux : http://www.qgis.org/fr/site/forusers/download.html
• Sous Android : http://hub.qgis.org/projects/android-qgis
Les téléchargements d’autres versions peuvent se faire depuis
http://www.qgis.org/fr/site/forusers/download.html
9/3/2015
Préparation stage océano 2015 à Calvi
17
QGIS
Il faut
éventuellement
installer:
postgisQueryBuilder
et OpenLayer depuis
« Extension 
Installer/ Gérer les
extensions »
9/3/2015
Préparation stage océano 2015 à Calvi
18
QGIS (en étant sous VPN)
Il établir une connexion à RACE
• Nom:
au choix
• Hôte:
• Port 5432:
• Utilisateur:
10.16.8.17
race_db_v2
master
• Mot de passe:
master_gher
9/3/2015
Préparation stage océano 2015 à Calvi
19
QGIS (VPN)
9/3/2015
Préparation stage océano 2015 à Calvi
20
QGIS (VPN)
9/3/2015
Préparation stage océano 2015 à Calvi
21
QGIS (VPN)
• Un clic droit sur « station » permet d’avoir accès à la table d’attributs
• Un double clic sur « station »
permet de changer la symbologie
9/3/2015
Préparation stage océano 2015 à Calvi
22
QGIS (VPN)
• On peut ajouter le code de la station de la manière suivante:
9/3/2015
Préparation stage océano 2015 à Calvi
23
QGIS (VPN)
EXERCICES:
• Essayez d’ajouter la profondeur sur les courbes de la bathymétrie.
9/3/2015
Préparation stage océano 2015 à Calvi
24
QGIS (VPN)
Il y a moyen de mettre une image
en fond depuis l’onglet «Internet»
9/3/2015
Préparation stage océano 2015 à Calvi
25
5- Extraction de données de
courant de la BD RACE
9/3/2015
Préparation stage océano 2015 à Calvi
26
Données de courant
dans RACE (sous VPN)
• Bien ouvrir l’arborescence
dans pgAdmin pour lister
les 30 tables
9/3/2015
Préparation stage océano 2015 à Calvi
27
Données de courant dans RACE (sous VPN)
• Afficher la table «parameter» en cliquant sur l’icone en forme de table
• Chercher les paramètres nécessaires à l’étude + unités etc.
9/3/2015
Préparation stage océano 2015 à Calvi
28
Données de courant dans RACE (sous VPN)
• L’ouverture de l’interface graphique
par l’icone jaune «SQL» puis l’onglet
«Constructeur graphique de requêtes»
• Double clic sur les tables public «data_an»
et «timeseries» puis établir une jointure
entre ces tables sur base de
«dasa_codeds» et «codeds»
9/3/2015
Préparation stage océano 2015 à Calvi
29
Données de courant dans RACE (sous VPN)
• On cherche les données de vitesse du courant «waterspeed» à la
station «INW04»
• classées par date croissante
9/3/2015
Préparation stage océano 2015 à Calvi
30
Données de
courant
On exécute la requête SQL en
cliquant sur le triangle vert pour
une requête directe ou sur le
triangle vert avec disque pour
sauvegarder le résultat dans un
fichier (par exemple csv pour
Excel)
9/3/2015
Préparation stage océano 2015 à Calvi
31
Conclusions
9/3/2015
Préparation stage océano 2015 à Calvi
32
Conclusions
N’oubliez de prendre note :
• de l’heure (GMT)
• du lieu
• du paramètre mesuré
• des unités
• etc.
• Et que la vie à STARESO n’est pas toujours un fleuve tranquille…
9/3/2015
Préparation stage océano 2015 à Calvi
33
9/3/2015
Préparation stage océano 2015 à Calvi
34