Articles

Mise en œuvre de la découverte de services avec Spring Cloud (Partie 1)

Mise en œuvre de la découverte de services avec Spring Cloud (Partie 1)

,

Découvrez comment mettre en œuvre la découverte de services avec Spring Cloud dans cette première partie. Apprenez à configurer et à utiliser le service Discovery Server et le client Discovery.

Dans les articles précédents, Spring Cloud: Comment gérer la configuration des microservices (Partie 1) et Spring Cloud: Comment gérer la configuration des microservices (Partie 2), nous avons vu comment gérer la configuration à distance des microservices. Dans ce post, nous allons parler d’une autre fonctionnalité importante dans le contexte des microservices, à savoir la découverte de services. La découverte de services joue le rôle d’un registre central dans lequel tous les services stockent leurs informations de métadonnées et à partir duquel ils peuvent obtenir les métadonnées d’autres services.

La fonctionnalité de découverte de services est implémentée par un serveur et un client correspondant. Dans cet article, nous allons décrire comment configurer un serveur de découverte et permettre aux services clients de l’atteindre et de l’utiliser. Nous verrons également comment configurer une configuration basée sur ce qu’on appelle l’«affinité de zone».

## Découverte de services et affinité de zone dans Spring Cloud

Dans les articles précédents, Spring Cloud: Comment gérer la configuration des microservices (Partie 1) et Spring Cloud: Comment gérer la configuration des microservices (Partie 2), nous avons vu comment gérer la configuration à distance des microservices. Dans ce post, nous allons parler d’une autre fonctionnalité importante dans le contexte des microservices, à savoir la découverte de services. La découverte de services joue le rôle d’un registre central dans lequel tous les services stockent leurs métadonnées et à partir duquel ils peuvent obtenir les métadonnées d’autres services.

La fonctionnalité de découverte de services est implémentée par un serveur et un client correspondant. Dans cet article, nous allons décrire comment configurer un serveur de découverte et comment les services clients peuvent l’atteindre et l’utiliser. Nous verrons également comment définir une configuration basée sur ce qu’on appelle l' »affinité de zone ».

Une fois que le serveur de découverte est configuré, les services clients peuvent s’enregistrer auprès du serveur et obtenir leurs métadonnées. Pour ce faire, ils doivent configurer leurs applications en utilisant un client Discovery. Il existe plusieurs implémentations de client Discovery disponibles, dont Eureka, Consul et Zookeeper. Chacun de ces clients Discovery offre des fonctionnalités supplémentaires telles que le monitoring et le testing.

Une fois que les clients Discovery sont configurés, ils peuvent s’enregistrer auprès du serveur de découverte et obtenir les métadonnées des autres services. Les clients peuvent également utiliser le serveur de découverte pour effectuer des tests et vérifier si les services sont disponibles. Par exemple, un client peut tester si un service est disponible en envoyant une requête au serveur de découverte et en vérifiant si le service est répertorié dans la liste des services enregistrés. Si le service est répertorié, cela signifie qu’il est disponible et prêt à être utilisé.

Enfin, nous verrons comment configurer la fonctionnalité d’affinité de zone. L’affinité de zone est une fonctionnalité qui permet aux services d’être exécutés sur des instances spécifiques. Cela permet aux services d’être exécutés sur des instances qui sont situées dans des zones spécifiques. Par exemple, un service peut être exécuté sur une instance située dans une zone spécifique pour réduire la latence et améliorer les performances. La configuration de l’affinité de zone peut être faite en ajoutant des métadonnées supplémentaires aux services lors de leur enregistrement auprès du serveur de découverte. Les clients peuvent ensuite utiliser ces métadonnées pour effectuer des tests et s’assurer que le service est exécuté sur l’instance appropriée.

Source de l’article sur DZONE

/par

Three easy ways to run Kafka without Zookeeper

,

There has been a couple of years since the announcement of the removal of Apache Zookeeper as a dependency to manage Apache Kafka metadata. Since version 2.8, we now can run a Kafka cluster without Zookeeper. This article will go over three easy ways to get started with a single node cluster using containers.

Control and data planes

Apache Kafka implements independent control and data planes for its clusters. The control plane manages the cluster, keeps track of what brokers are alive, and takes action when the set changes. Meanwhile, the data plane consists of the features required to handle producers and consumers and their records. In the previous iterations, Zookeeper was the cluster component that held most of the implementation of the control plane. 

Source de l’article sur DZONE

/par

How to Set Up PostgreSQL High Availability With Patroni

,

PostgreSQL is an open-source, versatile, and most popular database system around the world. However, it does not have any features for high availability.

Enter Patroni.  Patroni is a cluster manager tool used for customizing and automating deployment and maintenance of high availability PostgreSQL clusters. It is written in Python and uses etcd, Consul, and ZooKeeper as a distributed configuration store for maximum accessibility. In addition, Patroni is capable of handling database replication, backup, and restoration configurations.

Source de l’article sur DZONE

/par

Implementing MongoDB to Elastic Search 7.X Data Pipeline

,

In this article, we will see how to implement a data pipeline from an application to Mongo DB database and from there into an Elastic Search keeping the same document ID using Kafka connect in a Microservice Architecture. In recent days and years, all the microservices architectures are asynchronous in nature and are very loosely coupled. At the same time, the prime approach to have minimum code (minimum maintenance and cost), no batch systems (real-time data), and promising performance without data loss fear. Keeping all the features in mind Kafka and Kafka connect is the best solution so far to integrate different sources and sinks in one architecture to have very robust and reliable results.

We will Depp drive and implement such a solution using Debezium Kafka connect to achieve a very robust pipeline of data from one application into Mongo and then into Elastic cluster.

Source de l’article sur DZONE

/par

Using PostgreSQL pgoutput Plugin for Change Data Capture With Debezium

,

Change Data Capture Architecture Using Debezium, Postgres, and Kafka
was a tutorial on how to use Debezium for change data capture from Azure PostgreSQL and send them to Azure Event Hubs for Kafka – it used the wal2json output plugin.

What About the pgoutput Plugin?

This blog will provide a quick walk through of how to pgoutput plugin. I will not be repeating a lot of details and use containerized versions (using Docker Compose) of Kafka connect, Kafka (and Zookeeper) to keep things simple. So, the only thing you need is Azure PostgreSQL, which you can setup using a variety of options including, the Azure Portal, Azure CLI, Azure PowerShell, ARM template.

Source de l’article sur DZONE

/par

How to Build a Google Search Autocomplete

,
Google autocomplete functionality

Whenever you start typing your search on Google, you get a list of recommendations, and the more letters you type, the more accurate the recommendations get. If you’re like me, you’ve always wondered how this works — is the inverted index being stored, or is it something else?

The data structure that would be apt here is a Trie.

Source de l’article sur DZONE

/par

Elasticsearch Distributed Consistency Principles Analysis, Part 1

,

Elasticsearch (ES) is the most common open-source distributed search engine. It’s based on Lucene, an information-retrieval library, and provides powerful search and query capabilities. To learn its search principles, you must understand Lucene. To learn the ES architecture, you must know how to implement a distributed system. Consistency is at the core of distributed systems.

This article describes the ES cluster composition, node discovery, master election, error detection, and scaling. In terms of node discovery and master election, ES uses its own implementation instead of external components such as ZooKeeper. We will describe how this mechanism works, and the problems with it. This series covers:

Source de l’article sur DZONE

/0 Commentaires/par