Définition Data Mesh
Le Data Mesh n’est pas un outil, mais une approche dans la gestion des données. Ce cadre architectural définit un espace de stockage des données simplifiant son organisation et son accès. Cette optimisation apportée par cette structure offre à la fois une meilleure exploitation des données, mais aussi une sécurité plus avancée. Découvrez ce que sont le Data Mesh, son fonctionnement, ses avantages et pourquoi ce concept récent peut vous intéresser.
Data Mesh : simplifier l’organisation et l’accès aux données
Le Data Mesh réorganise la perception des données, leur utilisation et leur gestion. Le partage des informations, l’accès ou même la recherche d’une donnée particulière sont facilités par cette approche innovante. Il peut, dans une certaine mesure, être comparé à un Data Mart.
Une organisation des données par domaine métier
Chaque donnée est organisée par domaine métier, ou domaine d’activité. Ainsi, les données marketing, les données clients, les données propres à l’entreprise, etc., sont classées selon leur spécificité. Chaque domaine est orchestré par un « propriétaire de domaine« qui gère les informations et les rend disponibles aux consommateurs de données. Tous les domaines sont connectés entre eux pour assurer l’interopérabilité entre les services et les métiers.
La donnée perçue comme un produit
Lorsque la donnée est perçue comme un produit, son approche est différente. Elle dispose d’une documentation comprenant, par exemple, des informations sur sa qualité, son niveau de disponibilité, les modalités d’accès, etc. La donnée n’est plus une information purement technique : elle allie à la fois la vision métier et l’expérience utilisateur des données. Cette perception offre une plus grande accessibilité et un usage simplifié de la data.
Une infrastructure de données en libre-service
Tous les domaines de données disposent d’une plateforme technologique. Elle propose des fonctionnalités, telles que le traitement ou la gestion de l’accessibilité des données. Cette plateforme est gérée par un responsable, différent de celui du domaine. Les responsables des domaines ainsi que les usagers n’ont pas à s’occuper de toute la partie technique de la plateforme. Ils sont autonomes sur leur utilisation de la donnée propre à leur métier.
La gouvernance des données
Pour que chaque domaine soit autonome, la gouvernance doit être la même pour tous. Aussi le Data Mesh prône l’automatisation et la décentralisation des informations. Les règles pour chaque domaine (concernant les accès, la conformité, la durée d’usage, le vocabulaire, etc.) doivent être communes. Aussi, si le Data Mesh redonne la donnée à ceux qui en sont les principaux utilisateurs dans leur métier, il existe une équipe de gouvernance centralisée pour appliquer les normes et les procédures techniques et stratégiques sur les données.
Comment fonctionne le Data Mesh ?
Hors du Data Mesh, la propriété des données est centralisée à une équipe d’informatique. Avec le Data Mesh et sa conception de la donnée comme produit, la data est transférée aux producteurs de données, c’est-à-dire ceux qui la comprennent et qui l’utilisent. Ce sont les experts de leurs propres données dans leur domaine. Ils exploitent les informations en fonction du besoin de leur métier. Les responsables de domaine s’occupent de nombreuses fonctionnalités, comme le catalogage des métadonnées, la mise en place des autorisations et des politiques d’utilisation, etc.
Le Data Mesh n’efface pas les équipes d’ingénierie de données centralisées. Ce sont elles qui s’occupent de concevoir et de choisir les infrastructures pour le stockage et la sécurité des données notamment. Chacun peut donc se concentrer sur sa mission.
Comment mettre en œuvre un Data Mesh ?
La mise en place d’un Data Mesh dans votre entreprise nécessite un travail de réflexion en amont. Le concept étant encore au stade de l’expérimentation, son implantation à l’échelle d’une organisation reste tâtonnante. Aussi, il est nécessaire de suivre des étapes clés pour savoir si le modèle convient à votre activité et vos utilisateurs.
Analyser vos besoins et anticiper les solutions à mettre en place
Si vos données sont stockées dans différents systèmes, vous devez envisager un outil pour connecter toutes ses sources entre elles. Vous devez également sensibiliser vos équipes à une nouvelle conception de l’usage des données. Cette démocratisation nécessite une formation, des ressources humaines et du temps. Il est nécessaire de fédérer vos différents services autour de nouveaux principes d’utilisation de la data.
Vous devez également analyser vos données et les classer par domaines pertinents à votre activité. Cette classification doit répondre à des règles d’harmonisation et des normes, comprises et respectées par l’ensemble de vos utilisateurs.
Fédérer vos équipes autour de la data
Le Data Mesh met en relation différents protagonistes travaillant en équipe et gérant différentes missions.
- L’équipe informatique s’occupe de mettre en place l’architecture du Data Mesh, d’en identifier les normes (comme les contrôles d’accès) et la conformité.
- Les propriétaires de produits de données (les responsables de domaine) font respecter les contrôles d’accès.
- Les producteurs de données définissent les données comme un produit et les identifient selon différents critères, uniformément aux autres équipes des autres domaines.
L’implémentation du Data Mesh nécessite de définir une politique de gouvernance des données, partagée et appliquée par tous. Le concept de Data Mesh est un véritable changement culturel de la data. Le traitement, l’utilisation et la centralisation des données sont révolutionnés.
Mise en place d’outils et d’une plateforme de données en libre-service
La plateforme de données en libre-service doit répondre à des critères simples. Elle est accessible à tous et compréhensible par tous, elle répond à une conformité de sécurité et dispose de composants essentiels. Vous pouvez, par exemple, lui ajouter des fonctions de chiffrement, de surveillance des accès, réaliser des schémas de données, etc. L’automatisation de certaines tâches aide les utilisateurs à créer de nouveaux produits de données.
Les systèmes de stockage monolithiques utilisés actuellement de manière traditionnelle dans les entreprises doivent évoluer pour se transformer en un système décentralisé. Une infrastructure cloud permet cette transition vers le Data Mesh. Certains fournisseurs de services cloud peuvent vous accompagner pour instaurer une architecture Data Mesh au sein de votre organisation.
Data Mesh vs Datalake : quelles différences ?
Le datalake est un espace de stockage de données traditionnel. Il s’utilise pour réunir les données d’une organisation, qu’elles soient de qualité, utilisables ou non. Les entreprises y placent toutes les données récoltées sans politiques ni stratégies pertinentes. Elles seront exploitées plus tard, selon les besoins. À l’inverse, la notion de Data Mesh se montre différente sur deux points essentiels :
- les données sont répertoriées et accessibles aux divers métiers d’une entreprise ;
- l’exploitation des données est effectuée en temps réel par les utilisateurs.
Le datalake n’est pas complètement effacé des organisations. Il peut être conservé et intégré dans l’architecture Data Mesh.
Dans quel cas utiliser un Data Mesh ?
Dès lors qu’une entreprise utilise la data pour son activité, elle peut utiliser une infrastructure Data Mesh. Le concept est notamment pertinent dans :
- l’analyse de données approfondies (performances des projets, résultats des campagnes, automatisation, etc.) ;
- l’analyse des données clients pour un service marketing afin de cibler des campagnes de manière plus pertinentes ;
- le traitement des données des acteurs tiers de votre activité, notamment en créant un domaine spécifique.
Quels sont les avantages du Data Mesh ?
Le Data Mesh a pour objectif de démocratiser l’accès aux données et de simplifier les interactions de la data avec les domaines et leurs responsables. La perception de la donnée en produit offre l’avantage de ne conserver que la data réutilisable et interprétable. La définition de la qualité des données permet aux équipes de gagner du temps dans leur traitement. Puisque chaque domaine est autonome, il n’empêche pas l’activité des autres métiers lorsqu’il rencontre un problème technique ou une maintenance.
Quels sont les principaux défis à relever lors de l’implémentation d’un Data Mesh ?
Le défi majeur de l’implémentation d’un Data Mesh est avant tout humain. Les responsabilités reposant sur le propriétaire du domaine imposent de le former, notamment sur l’analyse approfondie des données, mais aussi sur leur qualité et sur leur sécurité. La coordination entre les équipes est également essentielle pour assurer le bon fonctionnement d’un Data Mesh.
La sécurité est également un défi pour un environnement décentralisé. Les experts doivent assurer la protection de plusieurs domaines et surveiller l’accès aux données sensibles. La transformation technique et la nouvelle organisation demandent à la fois du temps et de l’investissement de tous pour recevoir les bénéfices du Data Mesh.
Encore en voie de développement, le concept du Data Mesh se déploie progressivement. La transition vers cette nouvelle conception de l’usage et du stockage de la data demande un temps de formation. L’arrivée de spécialistes dans le domaine reste nécessaire pour assurer la transition des entreprises dans les meilleures conditions.