Base Arrêts TC : architecture et fonctionnement

Base Arrêts TC : architecture et fonctionnement

DtecTV - Direction Technique Territoires et Ville (CEREMA)
Base arrêt TC
Architecture et fonctionnement
date : Mai 2014
auteur : CEREMA
responsable de l'étude : Laurent Chevereau DTecTV
participants : Silvio Rousic, Patrick Gendre, Cerema DTerMed
sous-traitants : Cyril Bloudeau, Mobigis
résumé : L’objectif de ce document est d’illustrer le principe, le fonctionnement et
l’architecture de la base Arrêt TC et son état d'avancement début 2014, correspondant à
la publication des données 2013. Le document conclut par les perspectives
d'amélioration en 2014.
zone géographique : France Métropolitaine
diffusion publique : oui
nombre de pages : n
n° d'affaire : 0099999
maître d'ouvrage : DTecTV
référence : devis n° xx/xxx du jj/mm/aa
Base Arrêts TC : architecture et fonctionnement – Mai 2014
2/17

SOMMAIRE
1 INTRODUCTION............................................................................................................................4
1.1 Objet du document.......................................................................................................................4
1.2 Contexte.......................................................................................................................................4
2 ARCHITECTURE............................................................................................................................4
3 ÉTAT DES LIEUX DES SCRIPTS ACTUELS................................................................................5
4 DESCRIPTION DES TRAITEMENTS EFFECTUÉS......................................................................6
4.1 Tables et couches créées............................................................................................................6
4.2 Indicateurs calculés pour chaque élément..................................................................................6
5 PROCESSUS DE TRAITEMENT DES DONNÉES........................................................................7
5.1 Pré-requis.....................................................................................................................................8
5.2 Procédure.....................................................................................................................................8
6 DIFFUSION DES DONNÉES PRODUITES.................................................................................10
7 RETOUR QUALITÉ......................................................................................................................10
8 CONCLUSION..............................................................................................................................10
9 ANNEXE........................................................................................................................................11
9.1 Références.................................................................................................................................11
9.2 librairies et logiciels....................................................................................................................11
9.3 Utilisation des scripts Python Automate*.py sous Windows......................................................11
9.3.1 Prérequis :..............................................................................................................................................................................................................11
9.3.2 Pocédure :..............................................................................................................................................................................................................11
9.3.2.1 Cas des données formatées (GTFS ou Neptune)..................................................................................................................................11
9.3.2.2 Cas des données OSM..........................................................................................................................................................................12
9.3.2.3 Cas des données SIG............................................................................................................................................................................13
9.3.3 Résultats.................................................................................................................................................................................................................15
9.4 Liste des réseaux publiés pour 2013.........................................................................................15

1 Introduction
1.1 Objet du document
L’objectif de ce document est d’illustrer le principe, le fonctionnement et l’architecture de la
base Arrêt TC et son état d'avancement début 2014, correspondant à la publication des
données 2013. Le document conclut par les perspectives d'amélioration en 2014.
1.2 Contexte
Le CEREMA, service technique du ministère du développement durable, souhaite
constituer progressivement une Base de Données (BD) nationale sur les Transports
Collectifs (TC), en vue de répondre aux besoins d’études des services du ministère
(administration centrale, directions régionales et départementales, centres d'études
techniques). Les données sont en principe détenues par les autorités organisatrices de
transport (AOT) auprès desquelles elles seront récupérées. Ces données sont gérées
dans des Bases de Données régionales ou départementales dans le cadre de Systèmes
d'information multimodale impliquant de nombreux partenaires. Le projet a vocation à se
dérouler sur plusieurs mois au fur et à mesure de leur réception.
Lors d'un stage effectué en 2013 au CETE Méditerranée, une 1ère version de base de
données a été produite sur des données disponibles (données open data de la ville de
Rennes). Deux couches SIG ont ainsi été produites (arrêts et tronçons de lignes),
complétées par des indicateurs (issus de requêtes SQL).
La DTecTV1 (L. Chevereau - DD/PST) a chargé le PCI Géomatique de la DTerMed2 de
procéder à l'élaboration de la Base nationale des arrêts de TC (base ATC), en proposant
une codification des arrêts cohérente avec le modèle d'arrêts partagés de l'AFIMB.
2 Architecture
La base de données proprement dite s'insère dans une chaîne plus large partant des
données disponibles à la source (données fournies par les AOT formatées - Neptune /
GTFS - ou issues de leur SIG à divers formats, données open data TC ou OSM), et allant
jusqu'à la publication de couches SIG d'arrêts au format SHP par le Cerema DtecTV (ex.
Certu) sur la plate-forme Cartélie.
1 Direction Technique Territoires et Villes (ex-Certu) du CEREMA
2 Direction Territoriale Méditerrannée ( ex-Cete Méditerranée) du CEREMA
Base Arrêts TC : architecture et fonctionnement – Mai 2014
4/17

La base de données choisie pour la solution est PostGreSQL (9.2) / PostGIS (2.0).
Compte tenu de l'existant, la base de données s'appuie sur le schéma de données de
l'application Chouette : les données d'offre TC disponibles au format GTFS sont importées
dans Chouette, tout comme les données au format Neptune, avant d'être traitées. Les
données de points d'arrêt venant d'autres sources SIG ou OSM sont importées dans des
schémas séparés et adaptées au schéma du modèle partagé de l'AFIMB.
La base arrêts (base chouette2) est donc connectée directement à l’outil Chouette
(version 2.1) permettant l’import des données de format Neptune et GTFS.
Cette base contient actuellement 4 schémas :
•f : fonctions utilisées par les calculs et les traitements
•adm : données administratives permettant de savoir quels sont les départements
concernés par les données
•pop : données de population par département
•status : métadonnées décrivant la base arrêts :
•table « historique » : table de logs mise à jour après chaque exécution d’une
fonction de traitement ou d’export
•table « metadonnees » : table des metadonnées de réseau TC
A chaque nouvel import de donnée, un nouveau schéma portant le nom du réseau s’ajoute
dans la base chouette2.
3 État des lieux des scripts actuels
Actuellement, 4 scripts sont utilisés pour le traitement des données :
•1-schema_f.sql : création des fonctions en base dans un nouveau schéma f
•2-create_status.sql : création, dans le schéma status, des tables « historique »
(contenant l'historique des scripts lancés sur les données) et « metadonnees »
(contenant les métadonnées : dates de validités, format, divers indicateurs...)
Base Arrêts TC : architecture et fonctionnement – Mai 2014
5/17
AOT
Cerema Méditerranée
SIM
Cerema
Territoires et ville
Open data
DiffusionExport
Export Export
Dreal NPdC
GTFS, Neptune
.shp
SOeS
statistiques
Dreal
Cerema
Études locales
Cerema
Territoires et ville
Formats divers
AOT
Cerema Méditerranée
SIM
Cerema
Territoires et ville
Open data
DiffusionExport
Export Export
Dreal NPdC
GTFS, Neptune
.shp
SOeS
statistiques
Dreal
Cerema
Études locales
Cerema
Territoires et ville
Formats divers