PetaSky

Evaluation de requêtes
Quelques résultats préliminaires
1
Amin Mesmoudi

Les Besoins LSST en stockage et accès aux données
•Accès
–SQL
–Possibilité de définir des fonctions ad hoc par l’utilisateur (UDF)
–Exemple: areaspec_box, angSep < dist
–500,000 requêtes par jour
•Objectif: mener des expérimentations avec quelques outils de gestion de données
existants
2

Phases d'expérimentations
3
PT 1.1
PT 1.2
250 Go
500 Go
1 To
2 To
3 M 6 M 12 M 25 M 50 M 100 M
Phase 1
Phase 2
Phase 3

Configurations
•Systèmes utilisés:
–Centralisés:
•Oracle, Postgresql et Mysql
•Taux de transfert disque: 113 Mo/s
–Distribués :
•Hive (0.11) : map/reduce & HDFS
•HadoopDB: map/reduce & DBMS
•Réseau: 1 Go/s
4

Hive et HadoopDB
5
Map/re
duce
Map/red
uce Map/red uce
HDFS
HIVE
Map/reduce
Map/reduce Map/reduce
HDFS
HIVE*
(modified)
RDBMS RDBMS
HadoopDB Hive