Services aux producteurs de données
Proposer une infrastructure distribuée de données et des services avancés
Le Pôle Océan ODATIS fédère au niveau national des activités de gestion des données et d'expertise scientifique pour promouvoir et faciliter l'utilisation des observations océanographiques. Les CD, centres partenaires du Pôle ODATIS offrent la garantie de services sur la gestion des données en terme de référencement, d'hébergement, de diffusion et d'interopérabilité.
L’enjeu est donc de définir des socles communs à l’ensemble des producteurs de données et de rendre interopérables les jeux de données afin que leurs ressources soient cohérentes, partageables, exploitables et dans une approche multidisciplinaire que requiert l'étude du système Terre, que les données soient capables d'être combinées entre elles.
Le Pôle Océan ODATIS propose plusieurs offres de services à destination des producteurs de données pour aider à l'implémentation des principes FAIR : contribuer à rendre les données plus visibles et accessibles en étant référencées dans le catalogue ODATIS, mieux tracées et citées via une identification unique (DOI) et préservées sur des entrepôts sécurisés (archivage hors ligne). Ces différents services sont résumés sur l'illustration ci-contre et accessibles dans les sous-pages de cette section.
Pour toute question relative à ces services de gestion et valorisation de la donnée, merci d'utiliser le formulaire "Contact".
Un jeu de données listé au catalogue ODATIS permet une description normalisée et un référencement facilité en incluant la mise à disposition des métadonnées. En tant que producteur de données, vous pouvez choisir que votre jeu de données soit:
- référencé au catalogue, hébergé et distribué via l'un des centres partenaires,
- référencé au catalogue, hébergé et distribué via un partenaire de votre choix.
Le catalogue des données du Pôle Océan ODATIS propose aux utilisateurs plusieurs outils de services d’accès aux données : un service de recherche avec des filtres de sélection, un service de description de la donnée, un service de visualisation, et un service de téléchargement direct ou via le portail local des partenaires (une courte vidéo montre ces principales fonctionnalités). Ce catalogue est en accès direct depuis cette page.
Distribution d'un jeu de données via le catalogue
Pour initier le référencement de votre jeu de données (données d'observation, données dérivées, cartes, indicateurs, ...), veuillez remplir les champs suivants accessibles depuis ce formulaire. L'équipe ODATIS saisira ensuite ces informations sur une interface d'administration dédiée. Une dernière étape de validation de votre part nous permettra de publier la fiche de métadonnées au catalogue ODATIS.
Hébergement et Distribution d'un jeu de données
Le Pôle Océan ODATIS propose aux producteurs de données la possibilité d'héberger une copie de leur jeu de donnée référencée via le catalogue ODATIS.
Le dépôt de vos fichiers de données sur des serveurs peut être confié à SEANOE (sur authentification), dans le cas de jeu de données de petits volumes et dont les versions sont limitées (one-shot), à l'un des centres de données et services (CDS) du pôle ODATIS ou à l'un des partenaires de votre choix.
Dans ce cas d'hébergement via le pôle ODATIS, la définition des métadonnées est également primordiale pour assurer une description normalisée et la visibilité des données. Dans cet objectif, nous vous demandons de bien vouloir remplir ce même formulaire en y spécifiant votre choix de confier l'hébergement de votre jeu de données. L'équipe ODATIS se chargera ensuite d'analyser vos besoins en terme de volume nécessaire à votre jeu de données puis avec votre accord, de faire suivre votre demande aux services les plus appropriés (SEANOE ou CDS).
Périmètre des données
Le périmètre des données diffusées et/ou hébergées par le Pôle Océan ODATIS regroupe:
- des données d'observation in situ, qu'elles soient ponctuelles ou issues de collections des réseaux d'observation,
- des données d'observation de télédétection, satellites ou aéroportées, à partir des niveaux de traitement L2-L3 (niveaux 2-3, en anglais Level-2 et -3),
- des données dérivées assemblant des jeux de données L1 ou L2 destinés à un usage particulier, des champs de variables issues d’observations différentes (produits L3 et L4) pour produire finalement un jeu de données qui peut être des données modélisées (ex: marée océanique), des données composites (ex: des données in-situ de bouées dérivantes combinées à des données de hauteurs de mer), des indicateurs océaniques, ...
Fourniture de DOILe Pôle Océan ODATIS propose aux producteurs de données un support pour la fourniture d'un DOI pour un jeu de données marines (à différencier d'un DOI appliqué à une publication). Ce DOI correspond à un identifiant numérique propre au jeu de données, rattaché à une URL pérenne et dans lequel l'auteur (le producteur de la donnée) est identifié clairement. Cela permet une citation précise, fiable et pérenne du jeu de donnée, ainsi la donnée est plus facilement (re)trouvable et réutilisable (Findable et Reusable du principe FAIR). Le catalogue ODATIS reprend cette citation du DOI sur les fiches de métadonnée référencées. |
Pour commencer
Le pôle ODATIS utilise DataCite pour assigner les DOI via leur service Assign DOIs, qui s'adresse aux membres attribués de DataCite. Cette étape via DataCite est donc transparente pour les producteurs de données. La demande d'un DOI s'initie à partir du portail SEANOE ou SEXTANT (IFREMER) ou via le SEDOO (OMP).
Sur ces portails, une liste de métadonnées (obligatoires, optionnelles et facultatives) est nécessaire pour une identification précise et cohérente de la ressource : auteur(s) de la donnée (nom, prénom de la personne physique ou morale, liste d'auteurs, ORCID ID), titre, nom de l'entité qui a produit/financé la ressource, l'année de mise à disposition de la donnée, URL de la page descriptive... Lien vers le formulaire destiné au SEDOO.
Landing page
Si une page web descriptive (appelée communément "landing page") existe déjà pour votre jeu de données et pour laquelle vous garantissez la pérennité de l'URL, veuillez indiquer cette URL dans le formulaire de création du DOI.
Si une telle "landing page" n'existe pas encore, la fiche de métadonnées du catalogue ODATIS, référençant votre jeu de données correspondra à cette landing page. Dans ce dernier cas, veuillez indiquer cette URL du catalogue ODATIS (exemple d'URL d'un jeu de donnée du catalogue ODATIS) dans le formulaire de création du DOI.
Déclaration du DOI
Sur la base des métadonnées que vous aurez fournis dans le formulaire, SEANOE ou SEXTANT ou SEDOO vont ensuite déclarer cette demande auprès d'un organisme officiel (DataCite). Un DOI est enfin généré dont le numéro est structuré avec un préfixe usuel et un suffixe qui caractérise votre jeu de données.
Ce numéro de DOI vous sera fourni et vous pourrez utiliser pour tout référencement de votre jeu de données. Ce DOI sera également inscrit dans la fiche de métadonnées du catalogue ODATIS.
Plus d'information
- Guide ANR COPiLOtE sur les identifiants pérennes (PID) et leurs recommandations dans le contexte du pôle ODATIS (DOI associé à cette publication : 10.13155/87217)
Archivage hors-ligne
Le Pôle Océan ODATIS propose aux producteurs de données, l'archivage d'un jeu de données pour le stocker sur une plateforme d’archivage de façon sécurisée et le rendre accessible au producteur de la donnée, pour des études et projets ultérieurs.
Un même jeu de données existant sous plusieurs versions peut ainsi être directement accessible via le catalogue ODATIS alors qu'une version antérieure peut être archivée en mode hors-ligne.
Cette archivage du jeu de données a plusieurs objectifs : conserver le jeu de données de façon pérenne en s'assurant qu'il conserve son intégrité, le rendre accessible aux auteurs de la donnée et garantir sa lisibilité.
Nous vous demandons de bien vouloir remplir le formulaire suivant en y spécifiant votre choix d'archiver votre jeu de données. L'équipe ODATIS se chargera ensuite d'analyser vos besoins pour vous orienter vers le service d'archivage hors-ligne le plus approprié.
Outils et logiciels
L'expertise technique du Pôle Océan ODATIS permet d'offrir un ensemble d'outils et de logiciels, mis à disposition des producteurs de données et des utilisateurs afin de traiter, comparer, extrapoler, visualiser et valider un ensemble de données afin que ces dernières puissent être valorisées dans des publications de recherche et des rapports ou être introduites dans des modèles (visualisation à long terme, prévision climatique, etc.).
Plus d'information sur ces outils et logiciels
HAL - cluster de calcul du CNES
Le Centre de Calcul du CNES est doté d'un ensemble d'infrastructures et de services dédiés au développement et à l'exécution d'algorithmes de calcul intensif ou de traitement de données massives. Pour le calcul, la plateforme de traitement haute performance nommée HAL est composée de plus de 12 000 coeurs de calcul et 32 cartes GPU, offrant des capacités de calculs de l'ordre de 750 000 milliards d’opérations de nombres « flottants » par seconde, soit 750 teraflops.
Cet ensemble, mis à la disposition des ingénieurs et chercheurs travaillant sur des projets spatiaux en lien avec le CNES, répond déjà aux besoins de plus d'un millier d'utilisateurs et de projets opérationnels. L'accès à cette plateforme et ses resssources est possible avec des partenaires extérieurs, et notamment pour des projets scientifiques du pôle ODATIS. Par exemple, des sessions de travaux pratiques organisées au cours d'ateliers techniques ODATIS ont bénéficié de cet accès.
Les utilisateurs peuvent s’appuyer sur un ensemble de logiciels déployés sur cette plateforme de calcul, tel Pangeo.
L'accès à HAL et ses ressources au centre de calcul du CNES est possible sur description et motivation détaillées de votre projet en lien avec ODATIS. Nous vous remercions de prendre contact via ce formulaire; en précisant dans l'objet "HAL - calcul intensif".
Plus d'information:
- sur le site du CNES : Centre de calcul
- sur le site ODATIS, présentation de P.M. Brunet lors de l'atelier technique ODATIS, en octobre 2018: Présentation du projet Datalake CNES
DATARMOR - cluster de calcul de l'Ifremer
DATARMOR est la plateforme de traitement haute performance du Pôle de Calcul et de Données pour la Mer, notamment composée d'un cluster HPC de plus de 11088 cœurs et d'une capacité de calcul de 426 Tflops.
Plus d'information
- sur le site ODATIS: présentation de Julien Meillon lors de l'atelier technique ODATIS n°13, en juin 2022 : Services DATARMOR
- sur le site du Pôle de Calcul et de Données pour la Mer: équipement, données, exemples d'utilisation, ....
Support pour un plan de gestion de données
Le Pôle Océan ODATIS propose aux producteurs de données un accompagnement pour l’élaboration et la mise en pratique d'un plan de gestion de leurs données (en anglais, DMP pour Data Management Plan). Pour toutes questions relatives au plan de gestion des données, merci d'utiliser le formulaire Contact en précisant dans le champ Sujet: "Support pour un plan de gestion de données".
Objectif du DMP : Le plan de gestion de données est un élément clé pour la mise en œuvre de bonnes pratiques de gestion et rendre les données FAIR; il permet de définir et de mettre en place les actions indispensables pour gérer les données qui vont être collectées ou produites au cours d’un projet. Ces plans de gestion des données sont de plus en plus demandés dans les appels à projets financés sur fonds publics, notamment européens.
Et concrètement, un DMP prend quelle forme ? Il s'agit d'un document de quelques pages qui décrit comment les données produites sont obtenues, décrites, documentées, protégées, partagées, disséminées et conservées, tout au long du cycle de vie du projet. Les grands thèmes suivants sont décrits : Description des données et collecte; Documentation et qualité des données; Stockage et sauvegarde pendant le processus de recherche; Exigences légales et éthiques, codes de conduite; Partage des données et conservation à long terme; Responsabilités et ressources en matière de gestion des données.
Ce document est évolutif, modifiable au cours du projet et à l'issue du projet.
Plusieurs modèles adaptés peuvent être proposés en fonction des besoins propres des producteurs de données : modèle ANR, Horizon H2020, ... Votre propre organisme de rattachement peut aussi proposer un modèle pour rédiger le DMP.
Le site DMP Opidor offre un outil d'aide à la création en ligne et affiche les DMP publics.
Exemples de DMP: Parmi les DMP qui intéressent la communauté océanographique, les DMP rédigés par l'IR ILICO pour ses 9 services d'observation sont accessibles à partir du tableau ci-dessous.
Plus d'information
- Contactez le pôle ODATIS pour toutes questions relatives au plan de gestion des données : Contact
- Une formation de l'INIST est accessible en ligne pour se préparer à la rédaction d'un plan de gestion de données : enjeux et objectifs d’un PGD, contenu et rédaction, DMP OPIDoR : un outil d’aide à la rédaction de DMP. Durée : 1h30, sans niveau pré-requis. Les supports de cette formation sont téléchargeables : Bonnes pratiques de rédaction et outils (pdf, 25 pages).
Support sur les conditions d'utilisations des données
Les jeux de données référencées par le pôle ODATIS via son catalogue de données, sont soumis à des conditions d'utilisation : droits d'accès et licence d'utilisation.
Ces conditions d'accès sont choisies par chaque producteur de données.
Le groupe de travail Interpôles incluant le Pôle Océan ODATIS encourage la mise en place de la licence Creative Commons déterminant des conditions de réutilisation des données tout en apportant une sécurité juridique aux auteurs de ces données. Plusieurs options peuvent se combiner avec les éléments suivants : attribution-paternité (votre nom est cité lors de toute utilisation), partage dans les mêmes conditions, pas de modification, utilisation non-commerciale, ...
- Domaine public, pas de droits d'auteur (CC 0)
- Attribution (CC BY)
- Attribution + Pas d’Utilisation Commerciale (CC BY-NC)
- Attribution + Pas de Modification (CC BY-ND)
- Attribution + Pas d’Utilisation Commerciale + Pas de Modification (CC BY-NC-ND)
- Attribution + Partage dans les mêmes conditions (CC BY-SA)
- Attribution + Pas d’Utilisation Commerciale + Partage dans les mêmes conditions (CC BY-NC-SA).
Toutefois, chaque producteur de données peut également définir d'autres contraintes d'accès en fonction de ses propres besoins (non-responsabilité des auteurs, embargo ou moratoire, ...).
Pour toutes questions relatives à ces conditions d'utilisation, merci d'utiliser le formulaire Contact en précisant dans le champ Sujet: "Support sur les conditions d'utilisation des données".
Support pour la mise en conformité avec les standards de format
Le format d’un jeu de données est la manière dont les données sont structurées et mises à disposition des utilisateurs et des logiciels capables de les référencer, les manipuler et les visualiser. Pour garantir l'utilisation rapide et efficace des données, il convient que ces formats répondent à des standards. Le choix du format des données répond aussi aux enjeux des principes FAIR; un fichier qui enregistre les données dans un format standard, dont les métadonnées du fichier sont bien décrites par exemple, participe à l'intéopérabilité et à la réutilisation des données (le I et le R des principes FAIR).
Un support à la définition, au formatage informatique des fichiers de données et la vérification de ces standards peut être demandé par chaque producteur de données au Pôle ODATIS. Pour définir vos besoins, nous vous demandons de bien vouloir remplir le formulaire Contact en y décrivant la structure de votre jeu de données : les données en tant que telles mais aussi la structure permettant de les stocker ainsi que les métadonnées permettant de les identifier. Merci de spécifier dans le Sujet de ce formulaire : "Support pour la mise en conformité avec les standards de format".
Plus d'information
- Formats, attributs, conventions : page dédiée sur le site ODATIS, avec lien vers le paragraphe des formats de fichiers recommandés par le pôle.
- support "Utiliser NetCDF" organisé par le SIST, paragraphes Choisir NetCDF : pour l’Interopérabilité (FAIR) et pour la Réutilisabilité (FAIR), 2024
Support pour la production de données
Les missions des Centres de Données et Services (CDS) du Pôle Océan ODATIS intègrent notamment des services d'élaboration de la donnée:
- conception et validation de méthodes innovantes pour des thématiques particulières, et l’élaboration de produits qui en dérivent,
- support via des moyens informatiques pour produire la donnée à partir des mesures et algorithme fournis par le producteur de données,
- développement d’outils généraux (analyses, modèles…) en s'appuyant sur l'expertise spécifique des CDS (voir Outils et Logiciels),
- mise en oeuvre d’activités scientifiques communes du pôle ODATIS (mise en œuvre de moyens de mesures pour des opérations de calibration et validation de produits issus de données satellitaires, modèles et méthodes ; …),
Pour toute question sur ce support, merci d'utiliser le formulaire de la page "Contact" en précisant dans le sujet "Support pour la production de données" et en spécifiant vos besoins le plus précisément possible.
Publications accessibles en ligne
Archimer, l'archive ouverte de l'IFREMER permet d'accéder gratuitement à un ensemble de publications, de thèses, d'actes de congrès et de rapports internes. Cette réalisation s'inscrit dans le mouvement international Open Access qui cherche à rendre accessible, au plus grand nombre, la documentation scientifique en la diffusant gratuitement sur le Web.
Archimer - Archive institutionnelle
Archimer vous propose un accès à des milliers de documents dans tous les domaines liés à l'étude des mers et des océans (pêche, aquaculture, écologie marine, océanographie, géologie marine, biologie marine...).
