Evaluation de requêtes
Quelques résultats préliminaires
Amin Mesmoudi
UCBL, LIRIS, Lyon
1
Les Besoins LSST en stockage et accès aux données
Accès
SQL
Possibilité de définir des fonctions ad hoc par l’utilisateur (UDF)
Exemple: areaspec_box, angSep < dist
500,000 requêtes par jour
Objectif: mener des expérimentations avec quelques outils de gestion de données
existants
2
Phases d'expérimentations
3
PT 1.1
PT 1.2
250 Go
500 Go
1 To
2 To
3 M 6 M 12 M 25 M 50 M 100 M
Phase 1
Phase 2
Phase 3
Configurations
Systèmes utilisés:
Centralisés:
Oracle, Postgresql et Mysql
Taux de transfert disque: 113 Mo/s
Distribués :
Hive (0.11) : map/reduce & HDFS
HadoopDB: map/reduce & DBMS
Réseau: 1 Go/s
4
Hive et HadoopDB
5
Map/re
duce
Map/red
uce Map/red
uce
HDFS
HIVE
Map/reduce
Map/reduce Map/reduce
HDFS
HIVE*
(modified)
RDBMS RDBMS
HadoopDB Hive
1 / 16 100%
La catégorie de ce document est-elle correcte?
Merci pour votre participation!

Faire une suggestion

Avez-vous trouvé des erreurs dans linterface ou les textes ? Ou savez-vous comment améliorer linterface utilisateur de StudyLib ? Nhésitez pas à envoyer vos suggestions. Cest très important pour nous !