ELASTICSEARCH @SYNTHESIO

ELASTICSEARCH @SYNTHESIO
FRED DE VILLAMIL

BACKGROUND
•FRED DE VILLAMIL, 37 ANS, HEAD OF INFRASTRUCTURE
@SYNTHESIO
•LINUX / (FREE)BSD DEPUIS 1996
•CONTRIBUTEUR OPEN SOURCE DEPUIS 1998
•ELASTICSEARCH EN PRODUCTION DEPUIS LA 0.17.6

SYNTHESIO
•Leader du “social listening”
•Crawl le Web, enrichit les données avec de
l’analyse de sentiment et démographique
•Bureaux à Paris, Londres, New York et Singapour

ELASTICSEARCH CHEZ SYNTHESIO
•3 clusters, 116 serveurs, 271 TB de stockage, 7,25TB
de RAM
•60 milliards de documents indexés, 160TB de
données
•1,5 milliards de nouveaux documents par mois
•Utilisé pour agréger plusieurs clusters SQL de
dizaines de TB

PHASE 1 : OFFLOADER LES MYSQL
•1 index global, 512 shards, 5 milliard de documents
•1000 documents / seconde en continu
•47 serveurs en RAID0, ES 1.3.2 puis 1.3.9
• Capacité : 40TB, dont, 24TB utilisés, 2.62 TB RAM