Hive et HadoopDB - LIRIS

Declarative queries on large astronomy databases :
Experiments with Hive and HadoopDB
Projet soutenu par le CNRS dans le cadre du
défi: Grandes masses de données
scientifiques -MASTODONS
http://com.isima.fr/Petasky
Amin Mesmoudi (LIRIS)
Mohand-Saïd Hacid (LIRIS)
Farouk Toumani (LIMOS)

Le flot de données LSST
•Caméra : 198 CCD (16 Mpix) en parallèle
→ 3,2 G pixels !
~ 6 Gbyte / 17 secondes
→ 15 TB / nuit
Pendant 10 ans !
http://www.lsst.org/lsst/science/science_goals 2

Le flot de données LSST
•Caméra : 198 CCD (16 Mpix) en parallèle
→ 3,2 G pixels !
~ 6 Gbyte / 17 secondes
→ 15 TB / nuit
Pendant 10 ans !
http://www.lsst.org/lsst/science/science_goals 2

Les données LSST sont-elles
’’big’’?
Table Taille #enregistrements
#colonnes (
arité
)
Object
109 TB
38 B
470
Moving
Object
5 GB
6 M
100
Source
3.6 PB
5 T
125
Forced
Source
1.1 PB
32 T
7
Difference
Image Source
71 TB
200 B
65
CCD
Exposure
0.6 TB
17 B
45
3

Accès aux données
•Accès
•Requêtes déclaratives (SQL)
•Possibilité de définir des fonctions
ad hoc par l’utilisateur (UDF)
•Exemple: areaspec_box, angSep < dist
4
SELECT objectId, taiMidPoint, fluxToAbMag(psfMag)
FROM Source JOIN Object USING(objectId) JOIN
Filter USING(filterId)
WHERE areaSpec_box(:raMin, :declMin,:raMax,
:declMax) AND filterName ='u' AND variability
BETWEEN :varMin AND :varMax
ORDER BY objectId, taiMidPoint ASC
Liste complète des requêtes: http://dev.lsstcorp.org/trac/wiki/dbQueries
Défis LSST :
•½ million de requêtes par jour
•~50 requêtes simples et ~20 requêtes complexes à n’importe quel moment