Articles

Stratégie de données en évolution à grande banque canadienne

La grande banque canadienne s’est engagée à mettre en œuvre une stratégie de données en évolution pour offrir une expérience client plus personnalisée et plus intuitive.

## Avec la quantité et la variété croissantes de données, les exigences réglementaires et législatives en constante évolution, de nouvelles capacités et techniques pour traiter les données, pour devenir une organisation axée sur les données, la CIBC traverse d’énormes changements dans tous les aspects de l’utilisation, de la gestion et de la gouvernance des données.

Avec la quantité et la variété croissantes de données, les exigences réglementaires et législatives en constante augmentation, de nouvelles capacités et techniques pour traiter les données, pour devenir une organisation axée sur les données, la CIBC traverse d’énormes changements dans tous les aspects de l’utilisation, de la gestion et de la gouvernance des données.

Pour répondre aux exigences de cette nouvelle réalité, la CIBC a embrassé le paradigme du maillage de données et a développé un motif de données générique à deux parties. Du côté des affaires, le motif a introduit une stratégie de produits de données pour définir les domaines de données et les produits de données de bout en bout détenus par les équipes de produits de données inter fonctionnelles. Du côté de la technologie, la CIBC a mis en œuvre une architecture de maillage de données pour soutenir la stratégie de produits de données. La partie centrale de cette architecture est représentée par une plateforme de gestion des données fournissant une plateforme partagée et des services de gestion et de gouvernance des données. Cet article présente et discute les principes directeurs qui sous-tendent la stratégie des données.

La plateforme de gestion des données est le cœur du maillage des données et fournit une base commune pour la gestion et la gouvernance des données. La plateforme est basée sur une base de données centralisée qui stocke toutes les données pertinentes pour le maillage des données. La plateforme offre également des services d’intégration, d’analyse, d’intelligence artificielle et d’apprentissage automatique qui peuvent être utilisés par les produits de données pour fournir des informations exploitables. La plateforme fournit également des services pour garantir que toutes les données sont sûres, conformes et accessibles aux personnes autorisées.

La plateforme de gestion des données est conçue pour s’adapter aux exigences changeantes en matière de gestion des données. La plateforme peut être étendue pour prendre en charge des technologies supplémentaires telles que le traitement en temps réel, l’analyse avancée et l’apprentissage automatique. La plateforme peut également être intégrée à des systèmes tiers pour fournir une vue intégrée des données. Enfin, la plateforme peut être étendue pour prendre en charge des fonctionnalités supplémentaires telles que la gouvernance des données, la protection des données et l’audit.

Source de l’article sur DZONE

Architecture Data Mesh : Changement de Paradigme en Ingénierie des Données

L’Architecture Data Mesh représente un changement de paradigme dans l’ingénierie des données, offrant une nouvelle approche pour tirer le meilleur parti des données.

## Data Mesh : Une architecture de données répartie et orientée domaine qui fait évoluer le paradigme de l’ingénierie des données

Data Mesh is based on the idea of a “data mesh”, which is an interconnected network of data services that are designed to be loosely coupled and highly distributed. Data Mesh focuses on the domain-oriented design of data services, which allows for greater agility and flexibility in data engineering. Additionally, Data Mesh emphasizes the use of open source software and cloud-native technologies, which can help organizations reduce costs and increase scalability.

Le Data engineering est un domaine en constante évolution qui est constamment mis à l’épreuve par le volume croissant, la vitesse et la variété des données générées et traitées par les organisations. Les approches traditionnelles de data engineering sont souvent centralisées et monolithiques, ce qui peut entraîner des difficultés en matière d’évolutivité, d’agilité et de flexibilité. Ces dernières années, un nouveau paradigme architectural appelé Data Mesh a émergé comme une nouvelle façon de relever ces défis et de permettre une data engineering plus efficace et plus efficace.

Data Mesh est une architecture de données distribuée et orientée vers le domaine qui prône un changement de paradigme dans la façon dont le data engineering est abordé au sein des organisations. Il a été introduit pour la première fois par Zhamak Dehghani, un leader de pensée dans la communauté du data engineering, et a suscité un intérêt considérable en tant qu’approche prometteuse pour le data engineering moderne.

Data Mesh repose sur l’idée d’un «maillage de données», qui est un réseau interconnecté de services de données conçus pour être faiblement couplés et hautement distribués. Data Mesh se concentre sur la conception orientée vers le domaine des services de données, ce qui permet une plus grande agilité et flexibilité dans le data engineering. En outre, Data Mesh met l’accent sur l’utilisation de logiciels open source et de technologies natives du cloud, ce qui peut aider les organisations à réduire leurs coûts et à augmenter leur évolutivité.

Source de l’article sur DZONE

Data mesh. This oft-talked-about architecture has no shortage of blog posts, conference talks, podcasts, and discussions. One thing that you may have found lacking is a concrete guide on precisely how to get started building your own data mesh implementation. We have you covered. In this blog post, we’ll show you how to build a data mesh using event streams, highlighting our design decisions, and the key benefits and challenges you’ll need to consider along the way. In fact, we’ll go one better: we’ve built a data mesh prototype for you to check out on your own to see what this would look like in action, or fork to bootstrap a data mesh for your own organization. 

Data mesh is technology agnostic so there are a few different ways you can go about building one. The canonical approach is to build the mesh using event streaming technology that provides a secure, governed, real-time mechanism for moving data between different points in the mesh. 

Source de l’article sur DZONE