Articles

Apache Druid: 1000+ QPS Facile pour l'Analyse

des Données

Apache Druid offre une puissance de 1000+ QPS pour l’analyse des données, ce qui rend plus facile et plus rapide que jamais la prise de décision basée sur des données.

Les cas d’utilisation des analytics évoluent avec une augmentation du volume et des requêtes à faible latence. Mais l’échelle des analytics pour les requêtes à haut QPS nécessite une certaine considération. Si vos requêtes récupèrent des lignes simples dans des tables avec peu de colonnes ou de lignes ou agrègent une petite quantité de données, alors virtuellement n’importe quelle base de données peut répondre à vos exigences QPS.

Mais les choses deviennent difficiles si vous avez une application d’analytique (ou prévoyez en construire une) qui exécute beaucoup d’agrégations et de filtres sur des données à haute dimension et à haute cardinalité à grande échelle. Le genre d’application où beaucoup d’utilisateurs devraient pouvoir poser n’importe quelle question et obtenir leurs réponses instantanément sans contraintes sur le type de requêtes ou la forme des données.

Testing is a key factor in scaling analytics for high QPS. It’s important to understand the performance of your analytics application under different scenarios. This will help you identify bottlenecks and optimize your queries for better performance.

Les cas d’utilisation d’analytique évoluent avec des requêtes à haut volume et à faible latence. Mais le passage à l’échelle des analyses pour des requêtes élevées par seconde (QPS) nécessite une certaine prise en compte. Si vos requêtes récupèrent des lignes simples dans des tables avec peu de colonnes ou de lignes ou agrègent une petite quantité de données, alors pratiquement n’importe quelle base de données peut répondre à vos exigences QPS.

Mais les choses deviennent difficiles si vous avez une application d’analytique (ou prévoyez d’en construire une) qui exécute de nombreuses agrégations et filtres sur des données à haute dimension et à haute cardinalité à l’échelle. Le genre d’application où de nombreux utilisateurs devraient pouvoir poser n’importe quelle question et obtenir leurs réponses instantanément sans contraintes sur le type de requêtes ou la forme des données.

Le test est un facteur clé pour passer à l’échelle des analyses pour des QPS élevés. Il est important de comprendre les performances de votre application d’analytique dans différents scénarios. Cela vous aidera à identifier les goulots d’étranglement et à optimiser vos requêtes pour une meilleure performance.

Source de l’article sur DZONE

In recent years, an increasing number of enterprises began to use data to power decision-making, which yields new demands for data exploration and analytics. As database technologies evolve with each passing day, a variety of online analytical processing (OLAP) engines keep popping up. These OLAP engines have distinctive advantages and are designed to suit varied needs with different tradeoffs, such as data volume, performance, or flexibility.

This article compares two popular open-source engines, Apache Druid, and StarRocks, in several aspects that may interest you the most, including data storage, pre-aggregation, computing network, ease of use, and ease of O&M. It also provides star schema benchmark (SSB) test results to help you understand which scenario favors which more.

Source de l’article sur DZONE

Everything you need to get started analyzing Kafka Event Streams

Events are messages that are sent by a system to notify operators or other systems about a change in its domain. With event-driven architectures powered by systems like Apache Kafka becoming more prominent, there are now many applications in the modern software stack that make use of events and messages to operate effectively. In this blog, we will examine the use of three different data backends for event data – Apache Druid, Elasticsearch, and Rockset.

Using Event Data

Events are commonly used by systems in the following ways:

Source de l’article sur DZONE