Articles

Validation des messages CDC avec Schemaverse (Partie 4)

Dans cette quatrième partie, nous allons apprendre à valider les messages CDC avec Schemaverse, un outil puissant et facile à utiliser pour la validation des données.

## C’est la partie quatre d’une série de billets de blog sur la construction d’un système moderne à événements avec Memphis.dev.

In this blog post, we will focus on how to use the data captured by Debezium in Memphis.dev to build an event-driven system. We will cover topics such as setting up a data pipeline, creating an event-driven workflow, and deploying the system.

Ceci est la quatrième partie d’une série de billets de blog sur la construction d’un système moderne à événements à l’aide de Memphis.dev.

Dans les deux billets de blog précédents (partie 2 et partie 3), nous avons décrit comment mettre en œuvre une pipeline de capture des données de changement (CDC) pour MongoDB à l’aide de Debezium Server et Memphis.dev.

Dans ce billet de blog, nous nous concentrerons sur la façon d’utiliser les données capturées par Debezium dans Memphis.dev pour construire un système à événements. Nous aborderons des sujets tels que la mise en place d’une pipeline de données, la création d’un flux de travail à événements et le déploiement du système.

Pour commencer, nous devons configurer une pipeline de données pour récupérer les données capturées par Debezium et les envoyer à Memphis.dev. Pour ce faire, nous devons configurer un connecteur Kafka qui envoie les données à un canal Kafka, puis configurer un canal Kafka qui envoie les données à un canal Apache Pulsar. Une fois que la pipeline de données est configurée, nous pouvons commencer à créer des flux de travail à événements basés sur ces données.

Ensuite, nous devons créer un flux de travail à événements qui prend en charge le traitement des données capturées par Debezium. Pour ce faire, nous devons créer un modèle de données qui décrit le schéma des données capturées par Debezium et définir des règles pour le traitement des données. Une fois que le modèle et les règles sont définis, nous pouvons créer un flux de travail à événements qui prend en charge le traitement des données capturées par Debezium.

Enfin, nous devons déployer le système à événements que nous avons construit. Pour ce faire, nous devons déployer le connecteur Kafka et le canal Kafka sur un cluster Kafka, puis déployer le canal Apache Pulsar sur un cluster Pulsar. Une fois que tout est déployé, nous pouvons commencer à envoyer des données capturées par Debezium à notre système à événements et à traiter ces données selon les règles que nous avons définies.

En conclusion, nous avons vu comment utiliser les données capturées par Debezium dans Memphis.dev pour construire un système à événements. Nous avons vu comment configurer une pipeline de données pour récupérer les données capt

Source de l’article sur DZONE


Twitch, YouTube, Instagram, Facebook — virtually every major brand nowadays uses live streaming to connect and engage their audience. For enterprises and developers building cloud-native applications, this growing trend creates a need for streaming technologies that can reliably handle the rush of massive amounts of data, while also being flexible and easy to manage for developers.

One such technology is Apache Pulsar® — an open-source, distributed messaging and streaming platform that’s easy to deploy, simple to scale, and packed with developer-friendly APIs. So the next question is: how can you stream from Pulsar to Apache Cassandra®, the powerful NoSQL database designed to support data-heavy applications in the cloud?

Join our beginner-friendly Pulsar workshop on YouTube and learn how to connect Pulsar with Cassandra for streaming! In this post, we’ll set the scene with an introduction to Pulsar and guide you through four hands-on exercises where you’ll use these free, cloud-native technologies: Katacoda, Kesque, GitPod, and DataStax Astra DB. Each exercise will also be linked to the step-by-step instructions on the DataStax Developers GitHub wiki.

Source de l’article sur DZONE

For demos, system tests, and other purposes, it is good to have a way to easily produce realistic data at scale utilizing a schema of our own choice.

Fortunately, there is a great library for Python called Faker that lets us build synthetic data for tests. With a simple loop and a Pulsar produce call, we can send messages to topics at scale.

Source de l’article sur DZONE


Agile 

AI

Big Data

Cloud

Database

DevOps

Integration

  • Mulesoft 4: Continuous Delivery/Deployment With Maven by Ashok S — This article is a great example of what we want every tutorial to look like on DZone. The main aim of this article is to provide a standard mechanism to release project artifacts and deploy to Anypoint Platform, from the local machine or configure in continuous delivery pipelines.
  • Integration With Social Media Platforms Series (Part 1) by Sravan Lingam — This article helps you to build a RESTful API through MuleSoft that integrates with LinkedIn and shares a post on behalf of one’s personal account. I like this article because, in the age of social media, it’s so important for businesses to be connected and integrated!

IoT

Java

Microservices

Open Source

Performance

  • What Is Big O Notation? by Huyen Pham — Aside from a silly name, this article is an example of an in-depth analysis on a little-spoken-about concept. In this article, take a look at a short guide to get to know Big O Notation and its usages.
  • Is Python the Future of Programming? by Shormisthsa Chatterjee — Where is programming going? This article attempts to answer this question in a well-rounded way. The author writes, "Python will be the language of the future. Testers will have to upgrade their skills and learn these languages to tame the AI and ML tools".

Security

Web Dev

  • A Better Way to Learn Python by Manas Dash: There’s so many resources available for learning Python — so many that it’s difficult to find a good and flexible place to start. Check out Manas’ curated list of courses, articles, projects, etc. to get your Python journey started today. 
  • Discovering Rust by Joaquin Caro: I’m a sucker for good Rust content, as there’s still so many gaps in what’s available. Joaquin does a great job of giving readers his perspective of the language’s features in a way that traditional docs just 

Source de l’article sur DZONE

For the first time ever, the Apache Pulsar PMC team is publishing a user survey report. The 2020 Apache Pulsar User Survey Report reveals Pulsar’s accelerating rate of global adoption, details how organizations are leveraging Pulsar to build real-time streaming applications, and highlights key features on Pulsar’s product roadmap. Apache Pulsar is a cloud-native, distributed open source
Source de l’article sur The Hacker News