Finalisation de l’opération HYDRO 3 de modernisation du système d’information national des données hydrométriques

RÉSUMÉ

Depuis le 25 janvier 2022, les données hydrométriques « temps-réel » et « temps différé » du réseau français de la Prévision des Crues et de l’Hydrométrie sont collectées et stockées dans un système d’information unifié. Elles sont mises à disposition de tous les utilisateurs via un nouveau portail d’accès : HydroPortail, dont l’interface publique est accessible sur Internet via l’adresse https://www.hydro.eaufrance.fr. Ce projet de longue haleine, de modernisation du système d’information des données hydrométriques, appelé « Opération HYDRO 3 » a conduit aux avancées suivantes :

• (1) Le modèle de données est enrichi et actualisé. Le référentiel hydrométrique et météorologique ainsi que les web-services de la PHyC (Plate-forme Hydro Centrale) ont été implémentés et dialoguent au format XML Hydrométrie V2 normalisé par le SANDRE ;

• (2) Deux nouveaux outils sont adossés à la nouvelle API au format XML Hydrométrie V2 : l’HydroPortail pour gérer le référentiel et faire les calculs statistiques et Octave pour critiquer et expertiser les données hydrométriques ;

• (3) Le transfert de toutes les chroniques stockées dans la Banque HYDRO 2 vers la PHyC a été réalisé en septembre 2021 ;

• (4) Tous les producteurs de données peuvent créer leurs stations via l’HydroPortail et alimenter la PHyC via des échanges FTP dédiés.

ABSTRACT

Since 25 January 2022, “real time” and “historical“ data of the French Flood Forecasting and Hydrometry network are collected and stored by an unique information system. Data are available for all users via a new web portal called HydroPortail, whose public interface is accessible at https://www.hydro.eaufrance.fr. This long-term project, called “Operation HYDRO 3”, destined to modernise the hydrometric data information system, has led to the following advances:

1. The data model is enriched and updated. The hydrometric and meteorological repository as well as the PHyC (Hydro Central Platform or Plate-forme Hydro Centrale in French) web-services have been implemented and interact using the Hydrometry V2 XML format standardised by SANDRE;

2. Two new tools are supported by the new XML Hydrometry V2 API: the HydroPortail, to manage the repository and perform statistical calculations and Octave, to criticise and assess hydrometric data;

3. All hydrometric chronicles stored in the HYDRO 2 bank were transfered to the PHyC in September 2021;

4. All data producers can create their stations via the HydroPortail and feed the PHyC using dedicated FTP exchanges.

MOTS-CLÉS:

• Données hydrométriques
• Hydro 3
• Hydroportail
• Sandre

KEYWORDS:

• Hydrometric data
• Hydro 3
• Hydroportail
• Sandre

1. Rappel du périmètre de l’opération « HYDRO 3 »

Leleu et al. (2014), ont décrit de manière détaillée le périmètre de cette opération. Quelques grands principes sont rappelés ci-dessous.

Au début des années 1990, deux réseaux de mesures hydrométriques existaient concomitamment au niveau français : celui du ministère chargé de l’agriculture, orienté vers le suivi des régimes hydrologiques des cours d’eau et de la ressource en eau, notamment en étiage; et celui commun aux ministères en charge de l’environnement et de l’équipement, orienté vers la détection, le suivi et la connaissance des crues.

Les réformes successives survenues dans les décennies 1990 à 2010 ont progressivement unifié ces deux domaines, avec l’objectif d’améliorer le service rendu aux populations :

1. La réforme de l’annonce des crues en 2002 (création des Services de Prévision des Crues – SPC) ;

2. La réforme de l’hydrométrie engagée en 2006 (organisation et unification des réseaux de mesures gérés par les Unités d’Hydrométrie- UH) ;

3. La réforme de l’organisation de l’État en 2008 (rattachement des UH et des SPC aux Directions régionales de l’Environnement de l’aménagement et du logement – DREAL).

La mise en œuvre de ces réformes s’accompagne d’une refonte progressive des dispositifs de gestion des données hydrométriques, vers un système d’information commun, modernisé, évolutif et interopérable. C’est cette mutation qui est appelée « Opération HYDRO 3 » et qui est schématisée de manière synthétique sur la Figure 1.

1. La fusion de la base de données temps-réel alimentant le site de publication de la vigilance crues www.vigicrues.gouv.fr, à partir d’un réseau d’environ 1800 stations hydrométriques, et de la base nationale de données hydrométriques, la Banque HYDRO 2, stockant toutes les données historiques de l’ensemble des stations hydrométriques, soit environ 5500, dont 3500 toujours en service et incluant les stations de la base de données temps réel. Cette fusion permet de disposer d’un référentiel unique de sites et stations hydrométriques et de stocker toutes les données hydrométriques dans une base nationale unique faisant référence pour l’hydrométrie. Cette base est conçue pour être interopérable. Elle stocke également les données météorologiques produites par les SPC et UH ;

2. La mise en commun et la modernisation d’outils de gestion, de traitement, de suivi, de validation, d’expertise, de prévisions, de supervision des données en interne au réseau Etat de producteurs de données. Ces outils s’interfacent avec la base nationale via les mécanismes d’interopérabilité ;

3. La mise à disposition d’informations utiles à l’expertise hydrologique et d’avertissements sur la provenance, la méthode d’obtention et les limites d’utilisations des données à destination des usagers de ces données ;

4. La modernisation des outils de visualisation des données, afin de les rendre plus ergonomiques et pédagogiques ;

5. L’utilisation d’un format unique d’échanges de données hydrométriques (XML¹ Hydrométrie), normalisé par le SANDRE (Service d’Administration National des Données et Référentiels sur l’Eau) sous couvert du SIE (Système d’Information sur l’Eau) et du SNDE (Schéma National des Données sur l’Eau) ;

6. La mise à disposition des données de façon plus ouverte pour répondre à la demande sociétale et aux exigences des politiques publiques ;

7. L’amélioration de la traçabilité de la donnée et de la sécurité informatique concernant les opérations sur les données stockées.

Figure 1. Schéma d’organisation de l’opération HYDRO 3.

2. La finalisation de l’opération « Hydro 3 »

Pour aboutir au futur environnement dans sa globalité, cible finale de « l’opération HYDRO 3 », la tâche était considérable et elle a été décomposée en 5 projets, qui ont avancé de manière coordonnée entre 2006 et 2022 en mobilisant l’ensemble des agents des SPC, des UH, ainsi que du SCHAPI.

2.1. La mise en place d’une base de données unique et centralisée et d’un format d’échange standardisé

Les développements réalisés dans le cadre de l’opération HYDRO 3 représentent une évolution technologique importante : la nouvelle Plate-forme HYDRO Centrale (PHyC) est conçue pour être connectée avec des applications via une API (Interface de Programmation Applicative), qui est garante d’une interopérabilité avec les applications clientes. Les imports en PHyC se font par services Web pour les opérations nécessitant un échange synchrone et par dépôt de fichiers pour les autres (dépôt FTP). Les exports se font exclusivement par Web services.

Ces échanges sont tous assujettis à un format d’échange XML normalisé, dédié à l’hydrométrie et publié par le SANDRE dans le cadre du Système d’Information sur l’Eau (ou SIE). Deux déclinaisons existent, une pour les utilisateurs occasionnels dite « format simplifié » (format texte tabulé type CSV) et une version « géographique ». La version actuelle de ce format d’échange est numérotée 2.

Ce scénario version 2 a pour objectif de répondre aux nouveaux besoins du réseau de la Prévision des Crues et de l’Hydrométrie (réseau PC&H, soit les SPC et les UH). En effet, la mise en opérationnel d’outils a permis l’ajustement de certains points du scénario afin de coller au plus près de la réalité (description modifiée d’un jaugeage, ajout des incertitudes sur les courbes de tarage, ajout de données élaborées pour les statistiques, suppression de champs redondants …).

Comme détaillé par Leleu et al. (2014), la PHyC permet de conserver tout l’historique d’une donnée. Les métadonnées (statut,² méthode d’obtention, qualification³ et continuité⁴) y sont complétées par des évènements, saisis par le producteur des données (parfois par le SPC); ces derniers servent à expliquer et dater différents phénomènes, par exemple un déplacement d’échelle limnimétrique, des conditions d’écoulements particulières pendant des travaux, de forts détarages après une crue … Ainsi, elle permet à l’utilisateur de comprendre ce qui a pu amener un producteur à ré-expertiser une donnée (le jaugeage d’une crue exceptionnelle peut par exemple remettre en cause l’extrapolation d’une courbe de tarage en hautes eaux et ainsi engendrer une nouvelle expertise sur les débits des crues passées). Ces différentes informations, visibles sur l’HydroPortail, permettront donc à tous de mieux comprendre l’origine et les limites des données qui sont mises à disposition.

De plus, la gestion des rôles et des droits dans la PHyC permet, de par sa sophistication, de gérer la publication d’informations et de données sensibles de manière ciblée afin de ne rendre publique qu’une partie des données et/ou de limiter la visualisation de celles-ci à certains utilisateurs.

2.2. MIGREF : création du référentiel de la PhyC

La structure du référentiel a profondément changé entre la PhyC et Hydro 2. L’organisation hiérarchisée en sites hydrométriques/stations hydrométriques/capteurs a été détaillée par Leleu et al. (2014) (chapitre III). Nous rappelons néanmoins que :

1. un site hydrométrique matérialise une portion de cours d’eau de débit homogène, la tolérance admissible quant à cette homogénéité du double point de vue du pas de temps et de la précision des données étant laissée à la libre appréciation du producteur. Un site peut porter plusieurs stations;

2. une station hydrométrique correspond à un point de mesure particulier au sein d’un site hydrométrique. Ce point de mesure est le plus souvent matérialisé in situ et a minima par une échelle limnimétrique, comportant éventuellement plusieurs tronçons et servant de référence pour l’observation de la hauteur d’eau. Il comporte aussi généralement une chaîne d’équipements de mesure afin d’observer et de mesurer de manière automatique une grandeur spécifique liée à l’hydrologie, c’est-à-dire non seulement la hauteur, mais aussi dans certains cas, la vitesse d’écoulement, le débit, etc. Chaque station possède pour cela un ou plusieurs capteurs ;

3. un capteur est un équipement permettant de réaliser une mesure physique sur un milieu. Un capteur est localisé sur une et une seule station hydrométrique. Il mesure en général des hauteurs d’eau ainsi que, pour les stations débitmétriques, des débits ou des vitesses. Ces données brutes sont généralement télétransmises et peuvent ainsi alimenter la PHyC en temps réel ou différé. Les capteurs ne sont pas considérés comme des entités publiques et ne sont donc pas visibles sur l’Hydroportail « grand public ».

Le référentiel comporte également des sites ponctuels (pour les jaugeages volants), des sites virtuels (en général une combinaison linéaire de sites mesurés) ou reconstitués (par exemple pour gommer les effets anthropiques de gros ouvrages), le cas des marégraphes.⁵

Les entités d’un site ou d’une station sont gérées par des calendriers précisant l’entité active (pictogramme dans HydroPortail).

Le réseau des points de mesure hydrométrique des services de l’État a ainsi été réorganisé, de façon à pleinement profiter des atouts de ce nouveau modèle de données. Les points de mesure météorologique y sont également référencés, en cohérence avec le modèle de données utilisé par Météo-France. Les producteurs de données y transmettent leurs mesures de précipitations ou de températures; les unités d’hydrométrie et les services de prévision des crues peuvent également y retrouver les principaux postes de Météo-France. Les séries météorologiques stockées en PHyC sont toutefois essentiellement des données brutes transmises en temps réel au fil de l’eau, la référence en termes de bancarisation, de critique et de validation de ce type de données demeurant la Base de Données Climatologiques (BDClim) de Météo France.

Les référentiels hydrométrique et météorologique ont été initialisés par l’action nationale MIGREF (pour MIGration des REFérentiels), engagée au second semestre 2008 et qui a abouti à une première version du référentiel fin 2013, renseignée pour les points de mesure en activité des gestionnaires de l’Etat en France continentale. Le travail s’est ensuite poursuivi pour la Corse, les DOM et pour toutes les modifications du réseau Etat. L’utilisation de ce référentiel pour l’alimentation de Vigicrues, la clarification de périodes historiques ainsi que l’accès pour les gestionnaires de réseaux de mesure hors Etat (EDF, CNR, compagnies régionales d’aménagement hydraulique, syndicats de rivière …) ont conduit à de nombreuses améliorations depuis 2016.

Le référentiel météorologique a également été mis à jour en parallèle, pour les points de mesure pluviométrique directement gérés par les DREAL et pour les points de mesure gérés par Météo-France.

2.3. HydroPortail : outil de gestion de référentiel et de bancarisation pour l’ensemble des producteurs de données, module de calcul statistique et portail de diffusion grand public

En 2017, il a été décidé de redévelopper entièrement l’application web HydroPortail qui permet de gérer le référentiel de la PHyC et de lui ajouter les fonctionnalités manquantes pour qu’elle puisse remplacer le client lourd HYDRO 2 et son accès en visualisation sur internet https://www.hydro.eaufrance.fr

Ces dernières années ont donc permis de repartir sur une base technique solide pour cette application. En juin 2020, une version V2.90 a été déployée sur le Réseau Interministériel de l’État (RIE) mais aussi sur internet avec un accès via Cerbère⁶ pour tous les producteurs de données, afin qu’ils puissent gérer leurs référentiels, bancariser et visualiser les données (essentiellement brutes). Puis une nouvelle phase de développements a commencé pour le module statistique qui permet de réaliser et de stocker les résultats d’analyse statistique (de hautes, basses ou toutes eaux) sur les données de la PHyC.

Les fonctionnalités et la nouvelle ergonomie, en particulier pour la partie dédiée aux statistiques, ont été définies au sein d’un groupe de travail dédié en 2016 et 2017, composé d’hydromètres du réseau de l’Etat et d’INRAE. Outre les nouveautés associées au Sandre et à la PhyC (arborescence site/station/capteurs, nouvelles dénominations des variables, traitement bien plus riche des métadonnées dont la continuité, accès par des web services sans client lourd …), une meilleure traçabilité et adaptabilité, l’outil comporte des évolutions majeures :

1. les calculs statistiques sont réalisés à part, via un module R mis au point par l’INRAE sur l’ensemble des stations de la Banque Hydro. Ce module est synchronisé de manière automatique deux fois par jour avec la PHyC mais peut l’être également manuellement sur demande (par le SCHAPI) pour tout ou partie des stations. Les calculs statistiques sont plus robustes et partageables au sein de la communauté scientifique indépendamment ;

2. les analyses statistiques sont calculées par entité, au lieu de procédures à la volée pour une liste de stations ;

3. les extracteurs min, moyennes, max sont enrichis avec les durées (inférieures ou supérieures à un seuil), le rang n, le centre de masse (= la date à laquelle on atteint x % de la durée cumulée sous ou au-dessus d’un seuil) ;

4. en mode avancé un large choix de lois statistiques est proposé, assorti de plusieurs possibilités pour estimer les paramètres de l’ajustement ou calculer les incertitudes ;

5. plusieurs tests statistiques sont disponibles, sur l’échantillon (test de tendance de Mann-Kendall et test de rupture de Pettitt) et son adéquation à la loi pressentie (Kolmogorov-Smirnov) ;

6. de nombreuses informations sont disponibles sur l’échantillon, comme la visualisation de la série chronologique, la saisonnalité (répartition de l’effectif par mois) … ainsi que des informations sur la complétude des années ou saisons étudiées ;

7. l’extrapolation des ajustements statistiques tient compte du nombre N de points de l’échantillon et de l’instance de l’Hydroportail (public visé) : l’affichage, en termes de périodes de retour T et de quantiles de débit associés, est limité à la plus petite des deux valeurs 2,5 N et 90 ans sur le site « grand public » (renvoi implicite à des études plus détaillées externes à l’Hydroportail, notamment celles réalisées sous maîtrise d’ouvrage des services de l’État dans le cadre des Plans de Prévention des Risques d’Inondation s’agissant de la crue centennale), mais va jusqu’à T = 4 N sur le site dédié aux producteurs, avec dans tous les cas une zone grisée, de plus grande incertitude, affichée sur le graphe de l’ajustement au-delà de T = 2 N) ;

8. la possibilité d’une expertise du producteur pour les ajustements statistiques;

9. la comparaison cartographique ou sous forme de tableau des principales variables caractéristiques pour le suivi des étiages, crues et moyennes eaux.

Au final, les fonctionnalités statistiques de l’HydroPortail (Figure 2 ci-après) ont été nettement rénovées par rapport à ce que proposait HYDRO 2. On trouvera un comparatif détaillé sur : https://www.hydro.eaufrance.fr/publication/procedures-vs-analyses-statistiques.

Figure 2. Résultats d’un ajustement statistique dans HydroPortail V3.

Les analyses statistiques les plus utilisées (appelées analyses de référence) peuvent être utilisées pour générer des cartes des statistiques elles-mêmes ou de comparatifs entre les données (d’une période spécifique) et ces mêmes statistiques, comme on peut le voir sur la Figure 3 ci-après.

Figure 3. Vue cartographique comparative des données aux statistiques de mars 2020 (Hydraulicité) dans HydroPortail V3.

Cette nouvelle version V3, disponible depuis juin 2021 sur l’instance de l’Hydroportail dédiée aux producteurs de données, a été déployée en janvier 2022 sur l’instance dédiée aux utilisateurs de données (grand public) à l’issue de la reprise des données d’HYDRO 2 en PHyC et des vérifications associées. Ce déploiement a constitué le point final de l’opération HYDRO3 avec la bascule de l’url https://www.hydro.eaufrance.fr, branchée jusque là sur la Banque HYDRO2 et qui renvoie désormais vers l’HydroPortail (lui-même connecté à la PHyC).

Au-delà de la gestion du référentiel et des calculs statistiques, l’Hydroportail permet plus largement un accès à l’ensemble des données hydrométriques, y compris les courbes de tarage et les jaugeages qui n’étaient pas accessibles sur le site Internet de la Banque Hydro2, mais avec des différences selon la plate-forme :

1. seules les données déclarées publiques par leur producteur sont visibles sur le site « grand public » ;

2. les autres données à diffusion plus restreinte ne sont accessibles que pour les producteurs, sous réserve de droits suffisants, sur l’instance de l’Hydroportail qui leur est réservée.

Des fonctionnalités d’export de ces données sont présentes, mais elles ne sont adaptées ni à l’échange de très gros volumes de données, tels que l’extraction d’une chronique de hauteur ou débit à pas de temps fin (infra-journalier) sur plusieurs dizaines d’années ou encore l’extraction des séries d’un nombre élevé de stations pour une analyse régionale, ni à des exports récurrents en temps réel ou quasi-réel visant à alimenter en automatique des outils tiers. Ces demandes sont à traiter en dehors de la plate-forme, soit via d’autres outils et notamment Hubeau (https://hubeau.eaufrance.fr/page/api-hydrometrie) pour des exports récurrents en temps réel, soit directement avec le SCHAPI. L’adaptation de l’Hydroportail et des autres outils liés à la PHyC pour répondre ce type de besoin fait partie des réflexions à mener à bien dans les prochaines années.

Pour les producteurs, l’Hydroportail permet enfin une bancarisation manuelle des données, par import de fichiers csv ou XML Sandre Hydrométrie V2. Pour répondre au besoin opérationnel il est aussi possible de bancariser en temps réel par dépôt automatisé ou manuel, de fichiers au format XML Sandre Hydrométrie V2, sur un serveur sftp.

Ce dispositif de bancarisation automatisé a été mis en place pour les DREAL à partir de fin 2013 et permet ainsi d’alimenter notamment le site Vigicrues. Depuis début 2021, la possibilité de bancariser des données brutes en PHyC via le serveur sftp a été ouverte aux producteurs hors État, en complément de la bancarisation manuelle via Hydroportail qui était déjà possible une fois leur référentiel créé.

La bancarisation des données expertisées a démarré en octobre 2021 après la reprise des données d’Hydro2 dans la PHyC. Elle s’effectue selon les mêmes modalités que les données brutes, via Hydroportail ou via un serveur sftp (dépôt direct ou depuis l’outil Octave décrit ci-après).

2.4. Octave : Un nouvel outil d’expertise des données hydrométriques

La nouvelle architecture autour des données hydrométriques nécessite des changements importants dans l’expertise des données hydrométriques. En 2017, le choix a été fait de créer un nouvel outil, sur la base des différents logiciels existant dans le réseau concernant l’expertise des données (et notamment DP+, Graphyte, Courbe et Sircade). L’objectif de ce nouvel outil est de conserver les forces de chacun d’eux, tout en s’articulant au mieux avec la PHyC, ainsi qu’en proposant de nouvelles fonctionnalités liées à l’évolution des métiers ou restées en suspens dans les logiciels historiques.

Ainsi, une première version « officielle » du logiciel OCTAVE est disponible depuis janvier 2021, et déployée dans les unités hydrométrie du réseau État. En plus de son objectif premier d’expertise des données, il est très fortement connecté à la PHyC, l’objectif premier étant de récupérer les données brutes contenues en PHyC, et de les renvoyer en PHyC avec un statut d’expertise supérieur une fois traitées.

En plus des fonctions graphiques et de traitement, d’analyse et de reconstitution des logiciels historiques, il permet d’accéder à des données météorologiques qui favorisent l’expertise des données, et notamment les précipitations et températures.

Codé en Python et s’appuyant sur les librairies Qt et matplotlib, son ergonomie est relativement proche de celle du logiciel de SIG Qgis, avec :

1. un gestionnaire de série pour piloter l’ensemble des traitements ;

2. une zone graphique de visualisation et édition des données ;

3. un principe de fenêtres et barres d’actions « personnalisables ».

La figure 4 ci-après donne un aperçu de l’ergonomie du logiciel.

Figure 4. Le logiciel Octave.

La PHyC n’étant pour l’instant accessible que sur le réseau ministériel RIE, OCTAVE ne permet pas l’accès aux données qu’elle contient aux utilisateurs « externes » (pour ces derniers, le seul accès aux données de la PHyC reste l’Hydroportail, via ses fonctionnalités de visualisation, d’import et d’export). Octave est cependant disponible pour traiter les données et remplacer notamment les logiciels DP+ et Graphyte. Il peut également être connecté à la base locale liée au logiciel BAREME pour ce qui concerne les données de courbes de tarage, jaugeages et courbes de correction.

Le réseau État ne dispose pour l’instant pas de ressources suffisantes pour mettre en place des formations spécifiques pour les utilisateurs externes. Toutefois, et comme c’était le cas pour les formations sur le traitement de la donnée hauteur et sur la critique et validation des données hydrométriques, celles-ci sont accessibles lorsqu’il reste des places disponibles.

2.5. La reprise des données : transfert des chroniques de la Banque HYDRO 2 dans le nouveau système

Les règles qui spécifient le transfert dans la PHyC des données archivées dans la Banque HYDRO 2 ont été rédigées par le groupe de travail sur la reprise des données. Ces règles décrivent le périmètre du transfert et les paramètres du nouveau système en fonction de ceux de l’ancien (horodatage, statut des données, continuité, qualification …) :

1. les aspects relatifs au référentiel ont été traités par les projets MIGREFs (pour les producteurs État et externes) et relèvent de la responsabilité de ces mêmes producteurs. Ils ont néanmoins fait l’objet de plusieurs échanges avec les producteurs au cours du projet, les écarts pénalisant la bonne reprise des données ;

2. en termes de données, la Banque Hydro stocke des données de hauteur et débit mesurées, des courbes de tarage, de correction et des jaugeages. À partir de ces données elle procède automatiquement au calcul de données élaborées (débits moyens journaliers QJ, maxima ou minima instantanés sur n jours consécutifs QIXnJ et QINnJ, QmM débit moyen mensuel …). Ces calculs peuvent également être réalisés à la demande. En conséquence, aucune donnée élaborée issue de la Banque Hydro n’est transférée en PHyC, hormis celles saisies manuellement car reconstituées ou estimées (ne pouvant être recalculées par la PHyC ou prioritaires par rapport au résultat d’un calcul de la PHyC). Les jaugeages, jugés de qualité inégale en Banque Hydro, ne sont pas transférés (ils font l’objet d’une sauvegarde et restent disponibles sur demande auprès du SCHAPI pour les producteurs qui le souhaiteraient, pour les valoriser en interne et/ou en vue d’une éventuelle bancarisation ultérieure en PHyC) ;

3. les données de la Banque Hydro2 ont fait l’objet de traitements et validations; elles sont transférées dans la PHyC avec leur statut initial (prévalidé ou validé) au niveau d’une station (parfois d’un site). Les données « brutes historiques » existant en PHyC sont conservées; elles pourront, ultérieurement, être complétées par des données brutes historiques conservées localement par les producteurs.

Ces règles validées, une réflexion a été menée à partir de mi 2018 quant à la stratégie appropriée pour la réalisation du transfert effectif des données. Le choix a été fait de procéder majoritairement en régie en scindant cette action en 3 sous actions :

1. extraction des données de la Banque Hydro ;

2. conversion des fichiers ainsi obtenus au format xml, (hormis pour les courbes, nous avons fait appel à un prestataire pour cet aspect) ;

3. insertion des fichiers dans la PhyC.

La Figure 5 ci-après donne un résumé des traitements effectués sur l’ensemble des types de données.

Figure 5. Traitement des données lors de la reprise de la Banque Hydro 2 vers la PHyC.

L’évolution du réseau de mesure (et donc du référentiel) comme la prise en compte des nombreuses métadonnées rendent la tâche complexe et délicate ; l’automatisation totale de la reprise ou de la vérification sont impossibles. Il s’agit par exemple de cas de sites regroupant plusieurs stations (gestion par calendrier d’activité, voir la Figure 6 ci-après pour un exemple) ou de données à ventiler sur plusieurs entités. De nombreuses vérifications humaines sont indispensables.

Figure 6. Calendrier du site M0243010 – l’Orne Saosnoise à Montbizot.

Deux premiers essais ont été réalisés au premier semestre 2019 sur un environnement de test : dans un premier temps sur quelques stations pour valider le bon enchaînement des tâches, ensuite sur les stations de 3 UH (950) pour évaluer les temps nécessaires sur un échantillon conséquent. Le premier test global a été lancé en décembre 2019. Des divergences référentielles importantes existant entre les deux bases, leur correction a été priorisée par rapport à la vérification du transfert.

Depuis, trois tests globaux se sont succédés, donnant lieu à une vérification des données transférées sur un panel de stations, mais aussi à une comparaison de diverses données calculées par la PhyC vs la Banque Hydro. Durant cette période, les performances de la PHyC (temps de calcul) n’ont cessé de s’améliorer. Parallèlement, les progrès des outils (Octave, HydroPortail) en termes de fonctionnalités, d’ergonomie et de justesse ont permis des vérifications plus approfondies au fil du temps, donnant lieu notamment à des corrections ou des améliorations de certains modules de calculs en PHyC, le cas échéant. L’avant-dernier test, en janvier 2021, a en outre permis de vérifier le bon fonctionnement du module statistique de l’HydroPortail. Le dernier, en juin 2021, avait pour objet de valider l’ensemble des procédures de transfert.

Dans ces conditions, le transfert de l’ensemble de l’archive a été réalisé sur la PHyC en septembre 2021. Cette étape a été suivie d’une phase de deux mois de vérifications/comparaisons des données avec coexistence et accès possible aux deux bases pour les seuls producteurs de données : le SCHAPI avait fourni un guide de vérification de l’ensemble des stations utilisant notamment les calendriers synthétisant la complétude des données présents sur l’Hydroportail, mais chaque UH a pu développer sa propre stratégie de vérification. Cette période leur a permis en particulier de mettre à jour correctement via HydroPortail et a posteriori certains paramètres du référentiel ou des lois d’ajustement dans les analyses statistiques.

Grâce à ce travail collectif, 100 % des données à transférer ont été intégrées en PHyC. En complément des vérifications déjà effectuées en préalable à l’ouverture de l’Hydroportail au grand public, représentant environ 1 j/station, les producteurs pourront continuer le travail sur les données historiques pour tirer au mieux parti des possibilités du nouvel environnement (nouveau type de continuité «discontinu neutre » (ni crue, ni étiage), calendrier des sites, lois d’ajustement statistiques et paramétrisation poussée de l’échantillon utilisé …).

Les chroniques de données de certains sites et stations existant depuis très longtemps (plus d’un siècle pour certains points de mesure) pourront également être enrichies au fil du temps par les producteurs par le traitement et la valorisation de données historiques anciennes, présentes dans leurs archives mais n’ayant jamais été bancarisées jusqu’ici.

3. Conclusion

L’opération Hydro 3 a permis de mettre en place un système unifié et partagé de données hydrométriques du territoire français. La fin de cette opération, avec le transfert des données de la Banque Hydro 2 dans la PHyC et le remplacement d’Hydroweb par l’Hydroportail n’est pas la fin du travail. Il restera à chaque producteur de données hydrométriques de :

1. se former à ce nouvel outil quand cela n’est pas encore fait ;

2. mettre en place une bancarisation automatique des données brutes si ce n’est pas déjà fait ;

3. insérer les données, notamment anciennes, qui n’étaient pas dans la Banque Hydro 2 ;

4. veiller à critiquer systématiquement les données, puis bancariser les données pré-validées et validées en veillant au bon renseignement de l’ensemble des métadonnées associées et en respectant la charte de l’hydrométrie ;

5. enfin, expertiser les ajustements statistiques de référence (procéder en particulier à la validation des échantillons et des lois statistiques utilisées).

Déclaration de divulgation

Aucun conflit d’intérêts potentiel n’a été rapporté par l’auteur.

Data availability statement

The data that support the findings of this study are available from the corresponding author, J-N. A., upon reasonable request http://[email protected].

Notes

1. Service d’Administration Nationale des Données et Référentiels sur l’Eau (SANDRE, 2017) : http://www.sandre.eaufrance.fr/notice-doc/donn%C3%A9es-hydrom%C3%A9triques-0ufrance.fr/notice-doc/donn%C3%A9es-hydrom%C3%A9triques-0.

2. https://www.sandre.eaufrance.fr/?urn=urn:sandre:donnees:460::::::referentiel:3.1:html.

3. https://www.sandre.eaufrance.fr/?urn=urn:sandre:donnees:515::::::referentiel:3.1:html.

4. https://www.sandre.eaufrance.fr/urn.php?urn=urn:sandre:donnees:NSA:FRA:code:923:::referentiel:3.1:html.

5. Nomenclature sur https://www.sandre.eaufrance.fr/?urn=urn:sandre:donnees:530::::::referentiel:3.1:html.

6. Cerbère est le portail d’authentification des systèmes d’information des ministères en charge de la transition écologique et de la cohésion des territoires.