Articles

Qu’est-ce que la modélisation des données ?

La modélisation des données correspond au processus de création de diagrammes de flux de données. Lors de la création d’une structure de base de données, qu’elle soit nouvelle ou non, le concepteur commence par élaborer un diagramme illustrant la façon dont les données entreront et sortiront de la base de données. Ce diagramme est utilisé pour définir les caractéristiques des formats et structures de données, ainsi que des fonctions de gestion de base de données, afin de répondre efficacement aux exigences des flux de données. Une fois la base de données créée et déployée, le modèle de données servira de documentation expliquant les motifs de création de la base de données ainsi que la manière dont les flux de données ont été conçus.

Le modèle de données résultant de ce processus établit une structure de relations entre les éléments de données dans une base de données et sert de guide d’utilisation des données. Les modèles de données sont un élément fondamental du développement et de l’analyse de logiciels. Ils fournissent une méthode standardisée pour définir et mettre en forme les contenus de base de données de manière cohérente dans les systèmes, ce qui permet à diverses applications de partager les mêmes données.


Pourquoi la modélisation des données est-elle importante ?

Un modèle de données complet et optimisé permet de créer une base de données logique et simplifiée qui élimine la redondance, réduit les besoins en stockage et permet une récupération efficace. Elle dote également tous les systèmes de ce que l’on appelle une « source unique de la vérité », ce qui est essentiel pour assurer des opérations efficaces et garantir une conformité vérifiable aux réglementations et exigences réglementaires. La modélisation des données est une étape clé dans deux fonctions vitales d’une entreprise numérique.

Projets de développement logiciel (nouveaux ou personnalisations) mis en place par le service informatique

Avant de concevoir et de créer un projet logiciel, il doit exister une vision documentée de ce à quoi ressemblera le produit final et de son comportement. Une grande partie de cette vision concerne l’ensemble de règles de gestion qui régissent les fonctionnalités souhaitées. L’autre partie est la description des données : les flux de données (ou le modèle de données) et la conception de la base de données qui les prendra en charge.

La modélisation des données est une trace de cette vision et fournit une feuille de route pour les concepteurs de logiciels. Grâce à la définition et à la documentation complètes des flux de données et de la base de données, ainsi qu’au développement des systèmes conformément à ces spécifications, les systèmes devraient être en mesure de fournir les fonctionnalités attendues requises pour garantir l’exactitude des données (en supposant que les procédures ont été correctement suivies).

Analyses et visualisation (ou Business Intelligence) : un outil de prise de décision clé pour les utilisateurs

Avec l’augmentation des volumes de données et le nombre croissant d’utilisateurs, les entreprises ont besoin de transformer les données brutes en informations exploitables pour prendre des décisions. Sans surprise, la demande en analyse des données a augmenté de façon spectaculaire. La visualisation des données rend les données encore plus accessibles aux utilisateurs en les présentant sous forme graphique.

Les modèles de données actuels transforment les données brutes en informations utiles qui peuvent être transposées dans des visualisations dynamiques. La modélisation des données prépare les données pour l’analyse : nettoyage des données, définition des mesures et des dimensions, amélioration des données par l’établissement de hiérarchies, la définition d’unités et de devises et l’ajout de formules.


Quels sont les types de modélisation des données ?

Les trois types de modèles de données clés sont le modèle relationnel, le modèle dimensionnel et le modèle entité-association. Il en existe d’autres qui ne sont pas communément utilisés, notamment les types hiérarchique, réseau, orienté objet et à plusieurs valeurs. Le type de modèle définit la structure logique, à savoir comment les données sont stockées, organisées et extraites.

  1. Type relationnel : bien qu’« ancien » dans son approche, le modèle de base de données le plus couramment utilisé aujourd’hui est le relationnel, qui stocke les données dans des enregistrements au format fixe et organise les données dans des tables avec des lignes et des colonnes. Le type de modèle de données le plus basique comporte deux éléments : des mesures et des dimensions. Les mesures sont des valeurs numériques, telles que les quantités et le chiffre d’affaires, utilisées dans les calculs mathématiques comme la somme ou la moyenne. Les dimensions peuvent correspondre à des valeurs numériques ou textuelles. Elles ne sont pas utilisées dans les calculs et incluent des descriptions ou des emplacements. Les données brutes sont définies comme une mesure ou une dimension. Autres termes utilisés dans la conception de base de données relationnelle : « relations » (la table comportant des lignes et des colonnes), « attributs » (colonnes), « nuplets » (lignes) et « domaine » (ensemble de valeurs autorisées dans une colonne). Bien qu’il existe d’autres termes et exigences structurelles qui définissent une base de données relationnelle, le facteur essentiel concerne les relations définies dans cette structure. Les éléments de données communs (ou clés) relient les tables et les ensembles de données. Les tables peuvent également être explicitement liées, comme une relation parent/enfant, y compris les relations dites un-à-un (one-to-one), un-à-plusieurs (one-to-many) ou plusieurs-à-plusieurs (many-to-many).
  2. Type dimensionnel : moins rigide et structurée, l’approche dimensionnelle privilégie une structure de données contextuelle davantage liée à l’utilisation professionnelle ou au contexte. Cette structure de base de données est optimisée pour les requêtes en ligne et les outils d’entreposage de données. Les éléments de données critiques, comme une quantité de transaction par exemple, sont appelés « faits » et sont accompagnés d’informations de référence appelées « dimensions », telles que l’ID de produit, le prix unitaire ou la date de la transaction. Une table de faits est une table primaire dans un modèle dimensionnel. La récupération peut être rapide et efficace (avec des données pour un type d’activité spécifique stockées ensemble), mais l’absence de relations peut compliquer l’extraction analytique et l’utilisation des données. Étant donné que la structure des données est liée à la fonction qui produit et utilise les données, la combinaison de données produites par divers systèmes (dans un entrepôt de données, par exemple) peut poser des problèmes.
  3. Modèle entité-association (modèle E-R) : un modèle E-R représente une structure de données métier sous forme graphique contenant d’une part des boîtes de différentes formes pour représenter des activités, des fonctions ou des « entités », et d’autre part des lignes qui représentent des dépendances, des relations ou des « associations ». Le modèle E-R est ensuite utilisé pour créer une base de données relationnelle dans laquelle chaque ligne représente une entité et comporte des zones qui contiennent des attributs. Comme dans toutes les bases de données relationnelles, les éléments de données « clés » sont utilisés pour relier les tables entre elles.

Quels sont les trois niveaux d’abstraction des données ?

Il existe de nombreux types de modèles de données, avec différents types de mises en forme possibles. La communauté du traitement des données identifie trois types de modélisation permettant de représenter les niveaux de pensée au fur et à mesure que les modèles sont développés.

Modèle de données conceptuel

Ce modèle constitue une « vue d’ensemble » et représente la structure globale et le contenu, mais pas le détail du plan de données. Il s’agit du point de départ standard de la modélisation des données qui permet d’identifier les différents ensembles de données et flux de données dans l’organisation. Le modèle conceptuel dessine les grandes lignes pour le développement des modèles logiques et physiques, et constitue une part importante de la documentation relative à l’architecture des données.

Modèle de données logique

Le deuxième niveau de détail est le modèle de données logique. Il est étroitement lié à la définition générale du « modèle de données » en ce sens qu’il décrit le flux de données et le contenu de la base de données. Le modèle logique ajoute des détails à la structure globale du modèle conceptuel, mais n’inclut pas de spécifications pour la base de données en elle-même, car le modèle peut être appliqué à diverses technologies et divers produits de base de données. (Notez qu’il peut ne pas exister de modèle conceptuel si le projet est lié à une application unique ou à un autre système limité).

Modèle de données physique

Le modèle de base de données physique décrit comment le modèle logique sera réalisé. Il doit contenir suffisamment de détails pour permettre aux techniciens de créer la structure de base de données dans les matériels et les logiciels pour prendre en charge les applications qui l’utiliseront. Il va sans dire que le modèle physique est spécifique à un système logiciel de base de données en particulier. Il peut exister plusieurs modèles physiques dérivés d’un seul et même modèle logique si plusieurs systèmes de base de données seront utilisés.

Processus et techniques de modélisation des données

La modélisation des données est par essence un processus descendant qui débute par l’élaboration du modèle conceptuel pour établir la vision globale, puis se poursuit avec le modèle logique pour s’achever par la conception détaillée contenue dans le modèle physique.

L’élaboration du modèle conceptuel consiste principalement à mettre des idées sous la forme d’un graphique qui ressemble au diagramme des flux de données conçu par un développeur.

Les outils de modélisation des données modernes peuvent vous aider à définir et à créer vos modèles de données logiques et physiques et vos bases de données. Voici quelques techniques et étapes classiques de modélisation des données :

  • Déterminez les entités et créez un diagramme entité-association. Les entités sont considérées comme des « éléments de données qui intéressent votre entreprise ». Par exemple, « client » serait une entité. « Vente » en serait une autre. Dans un diagramme entité-association, vous documentez la manière dont ces différentes entités sont liées les unes aux autres dans votre entreprise, et les connexions qui existent entre elles.
  • Définissez vos faits, mesures et dimensions. Un fait est la partie de vos données qui indique une occurrence ou une transaction spécifique, comme la vente d’un produit. Vos mesures sont quantitatives, comme la quantité, le chiffre d’affaires, les coûts, etc. Vos dimensions sont des mesures qualitatives, telles que les descriptions, les lieux et les dates.
  • Créez un lien de vue de données à l’aide d’un outil graphique ou via des requêtes SQL. Si vous ne maîtrisez pas SQL, l’option la plus intuitive sera l’outil graphique : il vous permet de faire glisser des éléments dans votre modèle et de créer visuellement vos connexions. Lors de la création d’une vue, vous avez la possibilité de combiner des tables et d’autres vues dans une sortie unique. Lorsque vous sélectionnez une source dans la vue graphique et que vous la faites glisser dans une source déjà associée à la sortie, vous pouvez soit la joindre, soit créer une union de ces tables.

Les solutions analytiques modernes peuvent également vous aider à sélectionner, filtrer et connecter des sources de données à l’aide d’un affichage graphique de type glisser-déposer. Des outils avancés sont disponibles pour les experts en données qui travaillent généralement au sein des équipes informatiques. Toutefois, les utilisateurs peuvent également créer leurs propres présentations en créant visuellement un modèle de données et en organisant des tables, des graphiques, des cartes et d’autres objets pour élaborer une présentation basée sur des analyses de données.


Exemples de modélisation des données

Pour toute application, qu’elle soit professionnelle, de divertissement, personnelle ou autre, la modélisation des données est une étape préalable nécessaire à la conception du système et à la définition de l’infrastructure nécessaire à sa mise en œuvre. Cela concerne tout type de système transactionnel, de suite d’applications de traitement des données, ou tout autre système qui collecte, crée ou utilise des données.

La modélisation des données est essentielle pour l’entreposage de données car un entrepôt de données est un référentiel de données provenant de plusieurs sources, qui contiennent probablement des données similaires ou liées, mais disponibles sous des formats différents. Il est nécessaire de mapper en premier lieu les formats et la structure de l’entrepôt afin de déterminer comment manipuler chaque ensemble de données entrant pour répondre aux besoins de la conception de l’entrepôt, afin que les données soient utiles pour l’analyse et l’exploration de données. Le modèle de données est alors un catalyseur important pour les outils analytiques, les systèmes d’information pour dirigeants (tableaux de bord), l’exploration de données et l’intégration à tous les systèmes et applications de données.

Dans les premières étapes de conception de n’importe quel système, la modélisation des données est une condition préalable essentielle dont dépendent toutes les autres étapes pour établir la base sur laquelle reposent tous les programmes, fonctions et outils. Le modèle de données est comparable à un langage commun permettant aux systèmes de communiquer selon leur compréhension et leur acceptation des données, comme décrit dans le modèle. Dans le monde actuel de Big Datad’apprentissage automatiqued’intelligence artificiellede connectivité Cloudd’IdO et de systèmes distribués, dont l’informatique en périphérie, la modélisation des données s’avère plus importante que jamais.


Évolution de la modélisation des données

De façon très concrète, la modélisation des données est apparue en même temps que le traitement des données, le stockage de données et la programmation informatique, bien que le terme lui-même n’ait probablement été utilisé qu’au moment où les systèmes de gestion de base de données ont commencé à évoluer dans les années 1960. Il n’y a rien de nouveau ou d’innovant dans le concept de planification et d’architecture d’une nouvelle structure. La modélisation des données elle-même est devenue plus structurée et formalisée au fur et à mesure que davantage de données, de bases de données et de variétés de données sont apparues.

Aujourd’hui, la modélisation des données est plus essentielle que jamais, étant donné que les techniciens se retrouvent face à de nouvelles sources de données (capteurs IdO, appareils de localisation, flux de clics, réseaux sociaux) et à une montée des données non structurées (texte, audio, vidéo, sorties de capteurs brutes), à des volumes et à une vitesse qui dépassent les capacités des systèmes traditionnels. Il existe désormais une demande constante de nouveaux systèmes, de nouvelles structures et techniques innovantes de bases de données, et de nouveaux modèles de données pour rassembler ces nouveaux efforts de développement.


Quelle est la prochaine étape de la modélisation des données ?

La connectivité des informations et les grandes quantités de données provenant de nombreuses sources disparates (capteurs, voix, vidéo, emails, etc.) étendent le champ d’application des projets de modélisation pour les professionnels de l’informatique. Internet est, bien sûr, l’un des moteurs de cette évolution. Le Cloud est en grand partie la solution car il s’agit de la seule infrastructure informatique suffisamment grande, évolutive et agile pour répondre aux exigences actuelles et futures dans un monde hyperconnecté.

Les options de conception de base de données évoluent également. Il y a dix ans, la structure dominante de la base de données était relationnelle, orientée lignes et utilisait la technologie traditionnelle de l’espace disque. Les données du grand livre ou de la gestion des stocks d’un système ERP standard étaient stockées dans des dizaines de tables différentes qui doivent être mises à jour et modélisées. Aujourd’hui, les solutions ERP modernes stockent des données actives dans la mémoire à l’aide d’une conception en colonnes, ce qui réduit considérablement le nombre de tables et accroît la vitesse et l’efficacité.

Pour les professionnels du secteur, les nouveaux outils en libre-service disponibles aujourd’hui continueront à s’améliorer. De nouveaux outils seront également introduits pour rendre la modélisation et la visualisation des données encore plus simples et plus collaboratives.


Synthèse

Un modèle de données bien pensé et complet est la clé du développement d’une base de données véritablement fonctionnelle, utile, sécurisée et exacte. Commencez par le modèle conceptuel pour présenter tous les composants et fonctions du modèle de données. Affinez ensuite ces plans dans un modèle de données logique qui décrit les flux de données et définit clairement les données nécessaires et la manière dont elles seront acquises, traitées, stockées et distribuées. Le modèle de données logique donne lieu au modèle de données physique spécifique à un produit de base de données et constitue le document de conception détaillé qui guide la création de la base de données et du logiciel d’application.

Une bonne modélisation des données et une bonne conception de base de données sont essentielles au développement de bases de données et de systèmes d’application fonctionnels, fiables et sécurisés, qui fonctionnent bien avec les entrepôts de données et les outils analytiques, et facilitent l’échange de données entre les partenaires et entre les suites d’application. Des modèles de données bien pensés aident à garantir l’intégrité des données, ce qui rend les données de votre entreprise encore plus précieuses et fiables.


Découvrez les outils modernes de modélisation des données de SAP Data Warehouse Cloud

En savoir plus


 

The post Qu’est-ce que la modélisation des données ? appeared first on SAP France News.

Source de l’article sur sap.com

How To Power Through Designer Apathy

Sometimes you just don’t give a damn anymore. Possibly the only thing worse than designer’s block is designer’s apathy: that sinking feeling you get when you realize that you just don’t care about this particular piece of work anymore is disheartening.

The dread of going back to it is paralyzing.

There are many reasons you can stop caring about your work. Maybe you’ve just done the same thing too many times in a row. Maybe your client is insisting on asking for things you know won’t work for them. Maybe something much more important just happened in your life, and you’ve got bigger things to worry about. You could be discouraged by the apparent ‘sameness’ of bandwagon-hopping designs.

I’ve been not caring about my work ever since I was first asked to pick up my toys

Whatever the reason, we all experience times when we know exactly what we have to do… we just don’t care.

I’m something of an expert on this phenomenon. I’ve been not caring about my work ever since I was first asked to pick up my toys. Worse, I have the attention span of a goldfish, even now.

Web design is different. When I discovered it, it was new, exciting, and I could do it on the computer. I loved it, and I still do. Writing code that makes design happen in a browser window will never get old for me.

But even so, sometimes, a particular project will make me want to throw up my hands in exasperation and play video games ‘til Judgement Day. I’d welcome Skynet with tacos and RPGs.

So what do we do about it? First, answer this question: who is the project for?

For A Client

If the project is for a client, it’s just gotta get done. There’s no way around that. You made a commitment. You’re going to follow through and give it your best possible effort because you’re a professional. Anything less would be wrong.

However, that doesn’t mean you have to just power through with only coffee and misery for company. There are things you can do to make the work easier on yourself. The less miserable you are while you work, the better quality you can deliver.

For Yourself

There are a couple of schools of thought here. The first is that it’s perfectly fine to give up on personal projects when you stop caring. I mean, it’s your free time. Why spend it on something you don’t care about?

On the other hand, is a commitment made to yourself any less important than a commitment made to someone else? Many people seem to be perfectly fine with breaking promises to themselves when they’d never willingly do that to a client. Is that wrong?

I usually buy myself a drink and forgive myself, but it’s worth thinking about.

The deciding factor for me is whether my personal project will have any sort of lasting benefit. If whatever I’m designing, writing, or making counts as a long-term investment in my career or quality of life, then it absolutely has to get done, even when I’m not feeling it. Otherwise, I call it a learning experience and move on.

How To Power Through

So, for whatever reason — whether because you have to, or you want to — you’re gonna power through. Here are five ways to do it in style:

1. Start

The hardest part of doing work you don’t care about is starting. This is when you’ll be tempted to procrastinate until the last minute. Try not to.

2. Switch To A Different Part Of The Project

If you can safely (without causing problems) work on a different aspect of the project for a while, try that. The mere variety, the break from the work in front of you before, can boost your morale.

Indeed, working on a different part of the project can give you ideas of getting the most troubling bits done faster or more easily.

3. Do Something Old In A New Way

This one has its pros and cons.

Pro: You can look at this project as a chance to try out a new grid framework, script, code editor, or another tool of some kind. Injecting the process of discovery into an otherwise boring project can make it a lot more fun and even make you look forward to working on it.

Con: You’ll need to plan for extra hours and use some version control; because bringing a new tool or process into play is almost guaranteed to make something interesting go wrong — when this happens, you probably shouldn’t bill the client for the extra hours spent on StackOverflow.

4) Make Like Aziz Ansari And Treat Yo’self

Celebrate the milestones of your project. Don’t celebrate with video games if you need to get any more work done that day. That can go very wrong. But do celebrate. Reward yourself because you’re doing something difficult.

Have a snack. Give yourself a round of applause. Whatever it takes, make yourself look forward.

5) Outsource It

As a last resort, you can always outsource the project to someone else. Just make sure it’s someone you can trust to deliver the same quality of work you would normally provide yourself. Make sure to check it over before handing it off to a client.

Alternatively, you could just outsource the bits of the work that you don’t like. Either way, this is a risky strategy because whoever you outsource to might experience delays or, ironically, not care about the project.

Conclusion

You can do it! I believe in you. The really, really boring projects can seem like huge sinkholes of sadness, but they don’t last forever.

 

Featured image via Pexels.

Source

The post How To Power Through Designer Apathy first appeared on Webdesigner Depot.


Source de l’article sur Webdesignerdepot

How To Propagate Context Information Throw Spring Batch


Introduction

While developing applications using Spring batch, especially in a micro-service project, we sometimes face one or most of the following cases:

  • The necessity of getting the security context inside the batch items to call methods that require authorizations inside the same micro-service or perform remote processing by calling other micro-services using Feign Client (HTTP) or  Spring Cloud Stream (broker like Kafka, RabbitMq …)
  • Propagating Sleuth trace Id and span Id in order to enhance logs traceability inside all the application components including other micro-services so the trace will not be lost if we use Job.
  • Getting the connected user Locale (i18n) in order to generate internationalized output otherwise, all the Job outputs will be generated in the default server language.
  • Retrieving objects stored inside Mapped Diagnostic Context  (MDC) for tracing purposes.

The following schema illustrates remote calls that can be performed in a micro-service-based application and the context information that String Batch items can propagate.

Source de l’article sur DZONE

No-Code:  »It’s a Trap! »

Gartner predicts that by 2023, over 50% of medium to large enterprises will have adopted a Low-code/No-code application as part of their platform development.
The proliferation of Low-code/No-code tooling can be partially attributed to the COVID-19 pandemic, which has put pressure on businesses around the world to rapidly implement digital solutions. However, adoption of these tools — while indeed accelerated by the pandemic — would have occurred either way.
Even before the pandemic, the largest, richest companies had already formed an oligopsony around the best tech talent and most advanced development tools. Low-Code/No-code, therefore, is an attractive solution for small and mid-sized organizations to level the playing field, and it does so by giving these smaller players the power to do more with their existing resources.
While these benefits are often realized in the short term, the long-term effect of these tools is often shockingly different. The promise of faster and cheaper delivery is the catch — or lure — inside this organizational mousetrap, whereas backlogs, vendor contracts, technical debts, and constant updates are the hammer.
So, what exactly is the No-Code trap, and how can we avoid it?

What is a No-Code Tool?

First, let’s make sure we clear up any confusion regarding naming. So far I have referred Low-Code and No-Code as if they were one term. It’s certainly easy to confuse them — even large analyst firms seem to have a hard time differentiating between the two — and in the broader context of this article, both can lead to the same set of development pitfalls.
Under the magnifying glass, however, there are lots of small details and capabilities that differentiate Low-code and No-code solutions. Most of them aren’t apparent at the UI level, leading to much of the confusion between where the two come from.
In this section, I will spend a little bit of time exploring the important differences between those two, but only to show that when it comes to the central premise of this article they are virtually equivalent.

Low-Code vs. No-Code Tools

The goal behind Low-Code is to minimize the amount of coding necessary for complex tasks through a visual interface (such as Drag ‘N’ Drop) that integrates existing blocks of code into a workflow.
Skilled professionals have the potential to work smarter and faster with Low-Code tools because repetitive coding or duplicating work is streamlined. Through this, they can spend less time on the 80% of work that builds the foundation and focuses more on optimizing the 20% that makes it different. It, therefore, takes on the role of an entry-level employee doing the grunt work for more senior developers/engineers.
No-Code has a very similar look and feel to Low-Code, but is different in one very important dimension. Where Low-Code is meant to optimize the productivity of developers or engineers that already know how to code (even if just a little), No-Code is built for business and product managers that may not know any actual programming languages. It is meant to equip non-technical workers with the tools they need to create applications without formal development training.
No-Code applications need to be self-contained and everything the No-Code vendor thinks the user may need is already built into the tool.
As a result, No-Code applications create a lot of restrictions for the long-term in exchange for quick results in the short-term. This is a great example of a ‘deliberate-prudent’ scenario in the context of the Technical Debt Quadrant, but more on this later.

Advantages of No-Code Solutions

The appeal of both Low-Code and No-Code is pretty obvious. By removing code organizations can remove those that write it — developers — because they are expensive, in short supply, and fundamentally don’t produce things quickly.
The benefits of these two forms of applications in their best forms can be pretty substantial:
  • Resources: Human Capital is becoming increasingly scarce — and therefore expensive. This can stop a lot of ambitious projects dead in their tracks. Low-Code and No-Code tools minimize the amount of specialized technical skills needed to get an application of the ground, which means things can get done more quickly and at a lower cost.
  • Low Risk/High ROISecurity processes, data integrations, and cross-platform support are all built into Low-Code and No-Code tools, meaning less risk and more time to focus on your business goals.
  • Moving to Production: Similarly, for both types of tools a single click is all it takes to send or deploy a model or application you built to production.
Looking at these advantages, it is no wonder that both Low-Code and No-Code have been taking industries by storm recently. While being distinctly different in terms of users, they serve the same goal — that is to say, faster, safer and cheaper deployment. Given these similarities, both terms will be grouped together under the ‘No-Code’ term for the rest of this article unless otherwise specified.

List of No-Code Data Tools

So far, we have covered the applications of No-Code in a very general way, but for the rest of this article, I would like to focus on data modeling. No-Code tools are prevalent in software development, but have also, in particular, started to take hold in this space, and some applications even claim to be an alternative to SQL and other querying languages (crazy, right?!). My reasons for focusing on this are two-fold: 
Firstly, there is a lot of existing analysis around this problem for software development and very little for data modeling. Secondly, this is also the area in which I have the most expertise.
Now let’s take a look at some of the vendors that provide No-Code solutions in this space. These in no way constitute a complete list and are, for the most part, not exclusively built for data modeling. 

1. No-Code Data Modeling in Power BI

Power BI was created by Microsoft and aims to provide interactive visualizations and business intelligence capabilities to all types of business users. Their simple interface is meant to allow end-users to create their own reports and dashboards through a number of features, including data mapping, transformation, and visualization through dashboards. Power BI does support some R coding capabilities for visualization, but when it comes to data modeling, it is a true No-Code tool.

2. Alteryx as a Low-Code Alternative

Alteryx is meant to make advanced analytics accessible to any data worker. To achieve this, it offers several data analytics solutions. Alteryx specializes in self-service analytics with an intuitive UI. Their offerings can be used as Extract, Transform, Load (ETL) Tools within their own framework. Alteryx allows data workers to organize their data pipelines through their custom features and SQL code blocks. As such, they are easily identified as a Low-Code solution.

3. Is Tableau a No-Code Data Modeling Solution?

Tableau is a visual analytics platform and a direct competitor to Power BI. They were recently acquired by Salesforce which is now hoping to ‘transform the way we use data to solve problems—empowering people and organizations to make the most of their data.’ It is also a pretty obvious No-Code platform that is supposed to appeal to all types of end-users. As of now, it offers fewer tools for data modeling than Power BI, but that is likely to change in the future.

4. Looker is a No-Code Alternative to SQL

Looker is a business intelligence software and big data analytics platform that promises to help you explore, analyze, and share real-time business analytics easily. Very much in line with Tableau and Power BI, it aims to make non-technical end-users proficient in a variety of data tasks such as transformation, modeling, and visualization.

You might be wondering why I am including so many BI/Visualization platforms when talking about potential alternatives to SQL. After all, these tools are only set up to address an organization’s reporting needs, which constitute only one of the use cases for data queries and SQL. This is certainly a valid point, so allow me to clarify my reasoning a bit more.

While it is true that reporting is only one of many potential uses for SQL, it is nevertheless an extremely important one. There is a good reason why there are so many No-Code BI tools in the market—to address heightening demand from enterprises around the world — and therefore, it is worth taking a closer look at their almost inevitable shortcomings.

Source de l’article sur DZONE

Qu’est-ce qu’un Data Warehouse ?

Un data warehouse (entrepôt de données) est un système de stockage numérique qui connecte et harmonise de grandes quantités de données provenant de nombreuses sources différentes. Il a pour but d’alimenter la Business Intelligence (BI), le reporting et l’analyse, ainsi que soutenir la conformité aux exigences réglementaires afin que les entreprises puissent exploiter leurs données et prendre des décisions intelligentes fondées sur les données. Les data warehouse stockent les données actuelles et historiques dans un seul et même endroit et constituent ainsi une source unique de vérité pour une organisation.

Les données sont envoyées vers un data warehouse à partir de systèmes opérationnels (tels qu’un système ERP ou CRM), de bases de données et de sources externes comme les systèmes partenaires, les appareils IoT, les applications météo ou les réseaux sociaux, généralement de manière régulière. L’émergence du cloud computing a changé la donne. Ces dernières années, le stockage des données a été déplacé de l’infrastructure sur site traditionnelle vers de multiples emplacements, y compris sur site, dans le Cloud privé et dans le Cloud public.

Les data warehouse modernes sont conçus pour gérer à la fois les données structurées et les données non structurées, comme les vidéos, les fichiers image et les données de capteurs. Certains utilisent les outils analytiques intégrés et la technologie de base de données in-memory (qui conserve l’ensemble de données dans la mémoire de l’ordinateur plutôt que dans l’espace disque) pour fournir un accès en temps réel à des données fiables et favoriser une prise de décision en toute confiance. Sans entreposage de données, il est très difficile de combiner des données provenant de sources hétérogènes, de s’assurer qu’elles sont au bon format pour les analyses et d’obtenir une vue des données sur le court terme et sur le long terme.

Schéma qui montre ce qu'est un data warehouse


Avantages de l’entreposage de données

Un data warehouse bien conçu constitue la base de tout programme de BI ou d’analyse réussi. Son principal objectif est d’alimenter les rapports, les tableaux de bord et les outils analytiques devenus indispensables aux entreprises d’aujourd’hui. Un entrepôt de données fournit les informations dont vous avez besoin pour prendre des décisions basées sur les données et vous aide à faire les bons choix, que ce soit pour le développement de nouveaux produits ou la gestion des niveaux de stock. Un data warehouse présente de nombreux avantages. En voici quelques-uns :

  • Un meilleur reporting analytique : grâce à l’entreposage de données, les décideurs ont accès à des données provenant de plusieurs sources et n’ont plus besoin de prendre des décisions basées sur des informations incomplètes.
  • Des requêtes plus rapides : les data warehouse sont spécialement conçus pour permettre l’extraction et l’analyse rapides des données. Avec un entrepôt de données, vous pouvez très rapidement demander de grandes quantités de données consolidées avec peu ou pas d’aide du service informatique.
  • Une amélioration de la qualité des données : avant de charger les données dans l’entrepôt de données le système met en place des nettoyages de données afin de garantir que les données sont converties dans un seul et même format dans le but de faciliter les analyses (et les décisions), qui reposent alors sur des données précises et de haute qualité.
  • Une visibilité sur les données historiques : en stockant de nombreuses données historiques, un data warehouse permet aux décideurs d’analyser les tendances et les défis passés, de faire des prévisions et d’améliorer l’organisation au quotidien.

Capture d'écran de la solution SAP Data Warehouse Cloud


Que peut stocker un data warehouse ?

Lorsque les data warehouse sont devenus populaires à la fin des années 1980, ils étaient conçus pour stocker des informations sur les personnes, les produits et les transactions. Ces données, appelées données structurées, étaient bien organisées et mises en forme pour en favoriser l’accès. Cependant, les entreprises ont rapidement voulu stocker, récupérer et analyser des données non structurées, comme des documents, des images, des vidéos, des e-mails, des publications sur les réseaux sociaux et des données brutes issues de capteurs.

Un entrepôt de données moderne peut contenir des données structurées et des données non structurées. En fusionnant ces types de données et en éliminant les silos qui les séparent, les entreprises peuvent obtenir une vue complète et globale sur les informations les plus précieuses.


Termes clés

Il est essentiel de bien comprendre un certain nombre de termes en lien avec les data warehouse. Les plus importants ont été définis ci-dessous. Découvrez d’autres termes et notre FAQ dans notre glossaire.

Data warehouse et base de données

Les bases de données et les data warehouse sont tous deux des systèmes de stockage de données, mais diffèrent de par leurs objectifs. Une base de données stocke généralement des données relatives à un domaine d’activité particulier. Un entrepôt de données stocke les données actuelles et historiques de l’ensemble de l’entreprise et alimente la BI et les outils analytiques. Les data warehouse utilisent un serveur de base de données pour extraire les données présentes dans les bases de données d’une organisation et disposent de fonctionnalités supplémentaires pour la modélisation des données, la gestion du cycle de vie des données, l’intégration des sources de données, etc.

Data warehouse et lac de données

Les data warehouse et les lacs de données sont utilisés pour stocker le Big Data, mais sont des systèmes de stockage très différents. Un data warehouse stocke des données qui ont été formatées dans un but spécifique, tandis qu’un lac de données stocke les données dans leur état brut, non traité, dont l’objectif n’a pas encore été défini. Les entrepôts de données et les lacs de données se complètent souvent. Par exemple, lorsque des données brutes stockées dans un lac s’avèrent utiles pour répondre à une question, elles peuvent être extraites, nettoyées, transformées et utilisées dans un data warehouse à des fins d’analyse. Le volume de données, les performances de la base de données et les coûts du stockage jouent un rôle important dans le choix de la solution de stockage adaptée.

Diagramme qui montre la différence entre un data warehouse et un lac de données

Data warehouse et datamart

Un datamart est une sous-section d’un data warehouse, partitionné spécifiquement pour un service ou un secteur d’activité, comme les ventes, le marketing ou la finance. Certains datamarts sont également créés à des fins opérationnelles autonomes. Alors qu’un data warehouse sert de magasin de données central pour l’ensemble de l’entreprise, un datamart utilise des données pertinentes à un groupe d’utilisateurs désigné. Ces utilisateurs peuvent alors accéder plus facilement aux données, accélérer leurs analyses et contrôler leurs propres données. Plusieurs datamarts sont souvent déployés dans un data warehouse.

Diagramme d'un data mart et de son fonctionnement


Quels sont les composants clés d’un data warehouse ?

Un data warehouse classique comporte quatre composants principaux : une base de données centrale, des outils ETL (extraction, transformation, chargement), des métadonnées et des outils d’accès. Tous ces composants sont conçus pour être rapides afin de vous assurer d’obtenir rapidement des résultats et vous permettre d’analyser les données à la volée.

Diagramme montrant les composants d'un data warehouse

  1. Base de données centrale : une base de données sert de fondement à votre data warehouse. Depuis le départ, on utilisait essentiellement des bases de données relationnelles standard exécutées sur site ou dans le Cloud. Mais en raison du Big Data, du besoin d’une véritable performance en temps réel et d’une réduction drastique des coûts de la RAM, les bases de données in-memory sont en train de monter en puissance.
  2. Intégration des données : les données sont extraites des systèmes source et modifiées pour aligner les informations afin qu’elles puissent être rapidement utilisées à des fins analytiques à l’aide de différentes approches d’intégration des données telles que l’ETL (extraction, transformation, chargement) et les services de réplication de données en temps réel, de traitement en masse, de transformation des données et de qualité et d’enrichissement des données.
  3. Métadonnées : les métadonnées sont des données relatives à vos données. Elles indiquent la source, l’utilisation, les valeurs et d’autres fonctionnalités des ensembles de données présents dans votre data warehouse. Il existe des métadonnées de gestion, qui ajoutent du contexte à vos données, et des métadonnées techniques, qui décrivent comment accéder aux données, définissent leur emplacement ainsi que leur structure.
  4. Outils d’accès du data warehouse : les outils d’accès permettent aux utilisateurs d’interagir avec les données de votre data warehouse. Exemples d’outils d’accès : outils de requête et de reporting, outils de développement d’applications, outils d’exploration de données et outils OLAP.

Architecture de data warehouse 

Auparavant, les data warehouse fonctionnaient par couches, lesquelles correspondaient au flux des données de gestion.

Diagramme de l'architecture d'un data warehouse

Couche de données

Les données sont extraites de vos sources, puis transformées et chargées dans le niveau inférieur à l’aide des outils ETL. Le niveau inférieur comprend votre serveur de base de données, les datamarts et les lacs de données. Les métadonnées sont créées à ce niveau et les outils d’intégration des données, tels que la virtualisation des données, sont utilisés pour combiner et agréger les données en toute transparence.

Couche sémantique

Au niveau intermédiaire, les serveurs OLAP (Online Analytical Processing) et OLTP (Online Transaction Processing) restructurent les données pour favoriser des requêtes et des analyses rapides et complexes.

Couche analytique

Le niveau supérieur est la couche du client frontend. Il contient les outils d’accès du data warehouse qui permettent aux utilisateurs d’interagir avec les données, de créer des tableaux de bord et des rapports, de suivre les KPI, d’explorer et d’analyser les données, de créer des applications, etc. Ce niveau inclut souvent un workbench  ou une zone de test pour l’exploration des données et le développement de nouveaux modèles de données.

Un data warehouse standard comprend les trois couches définies ci-dessus. Aujourd’hui, les entrepôts de données modernes combinent OLTP et OLAP dans un seul système.

Les data warehouse, conçus pour faciliter la prise de décision, ont été essentiellement créés et gérés par les équipes informatiques. Néanmoins, ces dernières années, ils ont évolué pour renforcer l’autonomie des utilisateurs fonctionnels, réduisant ainsi leur dépendance aux équipes informatiques pour accéder aux données et obtenir des informations exploitables. Parmi les fonctionnalités clés d’entreposage de données qui ont permis de renforcer l’autonomie des utilisateurs fonctionnels, on retrouve les suivantes :

  1. La couche sémantique ou de gestion fournit des expressions en langage naturel et permet à tout le monde de comprendre instantanément les données, de définir des relations entre les éléments dans le modèle de données et d’enrichir les zones de données avec de nouvelles informations.
  2. Les espaces de travail virtuels permettent aux équipes de regrouper les connexions et modèles de données dans un lieu sécurisé et géré, afin de mieux collaborer au sein d’un espace commun, avec un ensemble de données commun.
  3. Le Cloud a encore amélioré la prise de décision en permettant aux employés de disposer d’un large éventail d’outils et de fonctionnalités pour effectuer facilement des tâches d’analyse des données. Ils peuvent connecter de nouvelles applications et de nouvelles sources de données sans avoir besoin de faire appel aux équipes informatiques.

 

The Future of Analytics Has Arrived

Click the button below to load the content from YouTube.

The Future of Analytics Has Arrived

Kate Wright, responsable de la Business Intelligence augmentée chez SAP, évoque la valeur d’un data warehouse Cloud moderne.


Les 7 principaux avantages d’un data warehouse Cloud  

Les data warehouse Cloud gagnent en popularité, à juste titre. Ces entrepôts modernes offrent plusieurs avantages par rapport aux versions sur site traditionnelles. Voici les sept principaux avantages d’un data warehouse Cloud :

  1. Déploiement rapide : grâce à l’entreposage de données Cloud, vous pouvez acquérir une puissance de calcul et un stockage de données presque illimités en quelques clics seulement, et créer votre propre data warehouse, datamarts et systèmes de test en quelques minutes.
  2. Faible coût total de possession (TCO) : les modèles de tarification du data warehouse en tant que service (DWaaS) sont établis de sorte que vous payez uniquement les ressources dont vous avez besoin, lorsque vous en avez besoin. Vous n’avez pas besoin de prévoir vos besoins à long terme ou de payer pour d’autres traitements tout au long de l’année. Vous pouvez également éviter les coûts initiaux tels que le matériel coûteux, les salles de serveurs et le personnel de maintenance. Séparer les coûts du stockage des coûts informatiques vous permet également de réduire les dépenses.
  3. Élasticité : un data warehouse Cloud vous permet d’ajuster vos capacités à la hausse ou à la baisse selon vos besoins. Le Cloud offre un environnement virtualisé et hautement distribué capable de gérer d’immenses volumes de données qui peuvent diminuer ou augmenter.
  4. Sécurité et restauration après sinistre : dans de nombreux cas, les data warehouse Cloud apportent une sécurité des données et un chiffrage plus forts que les entrepôts sur site. Les données sont également automatiquement dupliquées et sauvegardées, ce qui vous permet de minimiser le risque de perte de données.
  5. Technologies en temps réel : les data warehouse Cloud basés sur la technologie de base de données in-memory présentent des vitesses de traitement des données extrêmement rapides, offrant ainsi des données en temps réel et une connaissance instantanée de la situation.
  6. Nouvelles technologies : les data warehouse Cloud vous permettent d’intégrer facilement de nouvelles technologies telles que l’apprentissage automatique, qui peuvent fournir une expérience guidée aux utilisateurs fonctionnels et une aide décisionnelle sous la forme de suggestions de questions à poser, par exemple.
  7. Plus grande autonomie des utilisateurs fonctionnels : les data warehouse Cloud offrent aux employés, de manière globale et uniforme, une vue unique sur les données issues de nombreuses sources et un vaste ensemble d’outils et de fonctionnalités pour effectuer facilement des tâches d’analyse des données. Ils peuvent connecter de nouvelles applications et de nouvelles sources de données sans avoir besoin de faire appel aux équipes informatiques.
Capture d'écran de la solution SAP Data Warehouse Cloud
L’entreposage de données prend en charge l’analyse complète des dépenses de l’entreprise par service, fournisseur, région et statut, pour n’en citer que quelques-unes.

Meilleures pratiques concernant l’entreposage des données

Pour atteindre vos objectifs et économiser du temps et de l’argent, il est recommandé de suivre certaines étapes éprouvées lors de la création d’un data warehouse ou l’ajout de nouvelles applications à un entrepôt existant. Certaines sont axées sur votre activité tandis que d’autres s’inscrivent dans le cadre de votre programme informatique global. Vous pouvez commencer avec la liste de meilleures pratiques ci-dessous, mais vous en découvrirez d’autres au fil de vos collaborations avec vos partenaires technologiques et de services.

Meilleures pratiques métier

Meilleures pratiques informatiques

Définir les informations dont vous avez besoin. Une fois que vous aurez cerné vos besoins initiaux, vous serez en mesure de trouver les sources de données qui vous aideront à les combler. La plupart du temps, les groupes commerciaux, les clients et les fournisseurs auront des recommandations à vous faire. 

Surveiller la performance et la sécurité. Les informations de votre data warehouse sont certes précieuses, mais elles doivent quand même être facilement accessibles pour apporter de la valeur à l’entreprise. Surveillez attentivement l’utilisation du système pour vous assurer que les niveaux de performance sont élevés. 

Documenter l’emplacement, la structure et la qualité de vos données actuelles. Vous pouvez ensuite identifier les lacunes en matière de données et les règles de gestion pour transformer les données afin de répondre aux exigences de votre entrepôt.

Gérer les normes de qualité des données, les métadonnées, la structure et la gouvernance. De nouvelles sources de données précieuses sont régulièrement disponibles, mais nécessitent une gestion cohérente au sein d’un data warehouse. Suivez les procédures de nettoyage des données, de définition des métadonnées et de respect des normes de gouvernance.

Former une équipe. Cette équipe doit comprendre les dirigeants, les responsables et le personnel qui utiliseront et fourniront les informations. Par exemple, identifiez le reporting standard et les KPI dont ils ont besoin pour effectuer leurs tâches.

Fournir une architecture agile. Plus vos unités d’affaires et d’entreprise utiliseront les données, plus vos besoins en matière de datamarts et d’entrepôts augmenteront. Une plate-forme flexible s’avérera bien plus utile qu’un produit limité et restrictif. 

Hiérarchiser vos applications de data warehouse. Sélectionnez un ou deux projets pilotes présentant des exigences raisonnables et une bonne valeur commerciale.

Automatiser les processus tels que la maintenance. Outre la valeur ajoutée apportée à la Business Intelligence, l’apprentissage automatique peut automatiser les fonctions de gestion technique du data warehouse pour maintenir la vitesse et réduire les coûts d’exploitation.

Choisir un partenaire technologique compétent pour l’entrepôt de données. Ce dernier doit offrir les services d’implémentation et l’expérience dont vous avez besoin pour la réalisation de vos projets. Assurez-vous qu’il puisse répondre à vos besoins en déploiement, y compris les services Cloud et les options sur site. 

Utiliser le Cloud de manière stratégique. Les unités d’affaires et les services ont des besoins en déploiement différents. Utilisez des systèmes sur site si nécessaire et misez sur des data warehouse Cloud pour bénéficier d’une évolutivité, d’une réduction des coûts et d’un accès sur téléphone et tablette.  

Développer un bon plan de projet. Travaillez avec votre équipe sur un plan et un calendrier réalistes qui rendent possible les communications et le reporting de statut.


En résumé 

Les data warehouse modernes, et, de plus en plus, les data warehouse Cloud, constitueront un élément clé de toute initiative de transformation numérique pour les entreprises mères et leurs unités d’affaires. Les data warehouse exploitent les systèmes de gestion actuels, en particulier lorsque vous combinez des données issues de plusieurs systèmes internes avec de nouvelles informations importantes provenant d’organisations externes.

Les tableaux de bord, les indicateurs de performance clés, les alertes et le reporting répondent aux exigences des cadres dirigeants, de la direction et du personnel, ainsi qu’aux besoins des clients et des fournisseurs importants. Les data warehouse fournissent également des outils d’exploration et d’analyse de données rapides et complexes, et n’ont pas d’impact sur les performances des autres systèmes de gestion.


Pictogramme qui représente un entrepôt de données

Découvrez la solution SAP Data Warehouse Cloud

Unifiez vos données et analyses pour prendre des décisions avisées et obtenir la flexibilité nécessaire pour un contrôle efficace des coûts, notamment grâce à un paiement selon l’utilisation.

En savoir plus


Publié en anglais sur insights.sap.com

The post Qu’est-ce qu’un Data Warehouse ? appeared first on SAP France News.

Source de l’article sur sap.com

Automated Pen Testing With Zed Attack Proxy

In this post, you will learn how to execute penetration tests with OWASP Zed Attack Proxy (ZAP). ZAP is a free web app scanner which can be used for security testing purposes.

1. Introduction

When you are developing an application, security must be addressed. It cannot be ignored anymore nowadays. Security must be taken into account starting from initial development and not thinking about it when you want to deploy to production for the first time. Often you will notice that adding security to your application at a later stage in development, will take a lot of time. It is better to take security into account from the beginning, this will save you from some painful headaches. You probably have some security experts inside of your company, so let them participate from the start when a new application needs to be developed. Nevertheless, you will also need to verify whether your developed application is secure. Penetration tests can help you with that. OWASP Zed Attack Proxy (ZAP) is a tool which can help you execute penetration tests for your application. In this post, you will learn how to setup ZAP and execute tests with the desktop client of ZAP. You will also need a preferably vulnerable application. For this purposes, Webgoat of OWASP will be used. In case you do not know what Webgoat is, you can read a previous post first. It might be a little bit outdated because Webgoat has been improved since then, but it will give you a good impression of what Webgoat is. It is advised to disconnect from the internet when using Webgoat because it may expose your machine to attacks.

Source de l’article sur DZONE

What Is The Independent Web And Does It Matter In 2021?

Ten years ago, people began talking about the “Independent Web.” Although we don’t commonly use the term anymore, that doesn’t mean that it’s not still as vital a topic of discussion today as it was a decade ago.

Today, I want to look at where the term came from, what it refers to today, and why it’s something that all of us in business, marketing, and web design should be thinking about.

What Is The Independent Web?

The Independent Web is a term that was coined back in 2010 by John Battelle.

In “Identity and The Independent Web,” Battelle broaches the subject of internet users losing control of their data, privacy, and decision-making to the likes of social media and search engines.

“When we’re ‘on’ Facebook, Google, or Twitter, we’re plugged into an infrastructure that locks onto us, serving us content and commerce in an automated but increasingly sophisticated fashion. Sure, we navigate around, in control of our experience, but the fact is, the choices provided to us as we navigate are increasingly driven by algorithms modeled on the service’s understanding of our identity.”

That’s the Dependent Web.

This is how Battelle explains the Independent Web:

“There is another part of the web, one where I can stroll a bit more at my own pace, and discover new territory, rather than have territory matched to a presumed identity. And that is the land of the Independent Web.”

In 2010, this referred to websites, search engines, and apps where users and their activity were not tracked. But a lot has changed since then, and many websites that were once safe to peruse without interference or manipulation are no longer.

What Happens When the Dependent Web Takes Over?

Nothing good.

I take that back. It’s not fair to make a blanket statement about Dependent Web platforms and sites. Users can certainly benefit from sharing some of their data with them.

Take Facebook, for instance. Since its creation, it’s enabled people to connect with long-lost friends, stay in touch with distant relatives, enable freelance professionals like ourselves to find like-minded communities, etc.

The same goes for websites and apps that track and use visitor data. Consumers are more than willing to share relevant data with companies so long as they benefit from the resulting personalized experiences.

But the Dependent Web also has a darker side. There are many ways that the Dependent Web costs consumers and businesses control over important things like:

Behavior

If you’ve seen The Social Dilemma, then you know that platforms like Facebook and Google profit from selling their users to advertisers.

That’s right. They’re not just selling user data. They’re selling users themselves. If the algorithms can change the way users behave, these platforms and their advertisers get to cash in big time.

Many websites and apps are also guilty of using manipulation to force users to behave how they want them to.

Personal Data

This one is well-known thanks to the GDPR in the EU and the CCPA in California. Despite these initiatives to protect user data and privacy, the exploitation of personal data on the web remains a huge public concern in recent years.

Content and Branding

This isn’t relevant to websites so much as it is to social media platforms and Google.

Dependent Web platforms ultimately dictate who sees your content and when. And while they’re more than happy to benefit from the traffic and engagement this content brings to their platforms, they’re just as happy to censor or pull down content as they please, just as Skillshare did in 2019 when it deleted half of its courses without telling its course creators.

What’s more, while social media and search engines have become the place to market our businesses, some of our branding gets lost when entering such oversaturated environments.

Income

When algorithms get updated, many businesses often feel the negative effects almost immediately.

For example, Facebook updated its algorithm in 2018 to prioritize “meaningful content.” This pushed out organic business content and pulled regular user content to the top of the heap.

This, in turn, forced businesses to have to pay-to-play if they wanted to use Facebook as a viable marketing platform.

Access

The Dependent Web doesn’t just impact individuals’ experiences. It can have far-reaching effects when one company provides a critical service to a large portion of the population.

We saw this happen in November when AWS went down.

It wasn’t just Amazon’s servers that went down, though. It took out apps and sites like:

  • 1Password
  • Adobe Spark
  • Capital Gazette
  • Coinbase
  • Glassdoor
  • Roku
  • The Washington Post

And there’s absolutely nothing that these businesses or their users could do but sit around and wait… because Amazon hosts a substantial portion of the web.

Innovation

When consumers and businesses become dependent on platforms that predominantly control the way we live and work, it’s difficult for us to stand up for the little guys trying to carve out innovative pathways.

And that’s exactly what we see happen time and time again with Big Tech’s buy-and-kill tactics.

As a result, we really lose the option to choose what we use to improve our lives and our businesses. And innovative thinkers lose the ability to bring much-needed changes to the world because Big Tech wants to own the vast majority of data and users.

How Can We Take Back Control From The Dependent Web?

Many things are happening right now that are trying to push consumers and businesses towards a more Independent Web:

Consumer Privacy Protection: GDPR and CCPA empower consumers to control where their data goes and what it’s used for.

Big Tech Regulations: The Senate held tech regulation hearings with Facebook’s and Twitters’s CEOs.

Public Awareness Initiatives: Films like The Social Dilemma bring greater awareness to what’s happening on social media.

Ad Blocker Adoption: Adblocker usage is at an all-time high.

Private Search Engine Usage: Although Google dominates search engine market share, people are starting to use private search engines like Duck Duck Go.

Private Browsing Growth: Over 60% of the global population is aware of what private browsing is (i.e., incognito mode), and roughly 35% use it when surfing the web.

Self-hosted and Open Source CMS Popularity: The IndieWeb community encourages people to move away from Dependent platforms and build their own websites and communities. This is something that Matt Mullenweg, the founder of WordPress, talked about back in 2012.

“The Internet needs a strong, independent platform for those of us who don’t want to be at the mercy of someone else’s domain. I like to think that if we didn’t create WordPress something else that looks a lot like it would exist. I think Open Source is kind of like our Bill of Rights. It’s our Constitution. If we’re not true to that, nothing else matters.”

As web designers, this is something that should really speak to you, especially if you’ve ever met a lead or client who didn’t understand why they needed a website when they could just advertise on Facebook or Instagram.

A Decentralized Web: Perhaps the most promising of all these initiatives are Solid and Inrupt, which were launched in 2018 by the creator of the Web, Tim Berners-Lee.

As Berners-Lee explained on the Inrupt blog in 2020:

”The Web was always meant to be a platform for creativity, collaboration, and free invention — but that’s not what we are seeing today. Today, business transformation is hampered by different parts of one’s life being managed by different silos, each of which looks after one vertical slice of life, but where the users and teams can’t get the insight from connecting that data. Meanwhile, that data is exploited by the silo in question, leading to increasing, very reasonable, public skepticism about how personal data is being misused. That in turn has led to increasingly complex data regulations.”

This is something we should all keep a close eye on. Consumers and businesses alike are becoming wary of the Dependent Web.

Who better than the creator of the web to lead us towards the Independent Web where we can protect our data and better control our experience?

 

Featured Image via Pexels.

Source

The post What Is The Independent Web And Does It Matter In 2021? first appeared on Webdesigner Depot.


Source de l’article sur Webdesignerdepot

Passer au niveau supérieur avec la reddition parallèle des comptes universelle dans SAP S/4HANA

Les entreprises les plus performantes de demain seront celles qui gèrent leurs activités efficacement, optimisent leur rentabilité et renforcent leur résilience, tout en fournissant des services de manière durable. Toutefois, nous ne pouvons nier que nous faisons face actuellement à des changements plus perturbateurs que jamais, en particulier en cette période sans précédent que nous vivons.

Les chaînes logistiques ont dû s’adapter du jour au lendemain ; les entreprises ont dû se mettre à la vente en ligne en l’espace de quelques jours ; et le changement climatique est une réalité toujours plus présente. Partout dans le monde, les dirigeants d’entreprise n’ont d’autres choix que de transformer leurs activités.

Chez SAP, notre réussite sur le marché repose sur des solutions ERP (progiciels de gestion intégrés) qui aident nos clients à mener leurs activités à une échelle adaptée en toute conformité. Nous poursuivons dans cette voie avec notre suite d’applications de gestion nouvelle génération, dont le périmètre s’étend de la finance à la logistique. SAP S/4HANA exploite les fonctionnalités Cloud émergentes pour aider les clients à tenir face à l’évolution des modèles d’affaires influencée par le progrès technologique, la notion de durabilité ou l’évolution du comportement des clients.

Les entreprises les plus performantes sont les entreprises intelligentes. Et en tant que telles, elles utilisent les informations de façon innovante, efficace et durable, en les connectant aux tâches d’exécution et de gestion. Les entreprises intelligentes prennent leurs décisions en se fondant sur une source d’informations unique partagée, et proposent une expérience utilisateur qui correspond aux méthodes de travail des individus. SAP S/4HANA, qui exploite des processus financiers flexibles et élimine la réplication et la redondance des données, est avantageux pour les professionnels de la finance.

New Sega Textile (Nantong) Co Ltd avait besoin d’une solution ERP Cloud de pointe pouvant être déployée efficacement à l’échelle de ses activités internationales, afin de soutenir sa croissance. Client de SAP S/4HANA Cloud, New Sega fait état d’une baisse de 50 % de ses coûts côté budget et prévision grâce à la planification financière, ainsi qu’à un accroissement de 20 % du nombre d’écritures financières automatisées dans la comptabilité clients à l’aide de l’apprentissage automatique.

Innovations dans la reddition parallèle des comptes universelle

Les directeurs financiers des multinationales doivent présenter des données financières cohérentes en vertu des différentes normes comptables et devises en parallèle. Pour ce faire, ils doivent suivre les normes de reddition parallèle des comptes pour les règles générales comptables nationales et de groupe, qui ont une incidence sur l’évaluation des stocks, les en-cours de fabrication, les valeurs des immobilisations, etc.

Des milliers de clients SAP s’appuient déjà sur les fonctionnalités des systèmes SAP ERP pour gérer plusieurs systèmes comptables en parallèle afin de satisfaire avec précision, efficacité et rentabilité à toutes les exigences légales des personnes utilisant les états financiers. SAP HANA fournit désormais une nouvelle base technologique qui a levé les obstacles techniques et ouvert une foule de nouvelles opportunités pour les entreprises. Dans ce même ordre d’idée, SAP S/4HANA a été créée sur un tout nouveau type d’architecture, plaçant le journal universel au centre. Le journal universel constitue notre base bien établie pour les processus comptables. Il enregistre au même endroit toutes les données financières qui auparavant étaient réparties dans plusieurs tables. Ce faisant, il assure un traitement parallèle cohérent entre tous les livres auxiliaires et flux de valeurs.

Grâce aux dernières fonctionnalités incluses dans SAP S/4HANA, nous proposons une approche de solution qui fait passer la reddition parallèle des comptes au niveau supérieur : vers la reddition parallèle des comptes universelle.

Une innovation importante a été dévoilée dans SAP S/4HANA Cloud version 2011 : il s’agit de l’affectation flexible des normes comptables. Cela signifie que les nouveaux clients SAP S/4HANA Cloud bénéficieront également d’une nouvelle option de configuration permettant l’affectation flexible des règles générales comptables locales (par exemple, le code de commerce et les normes comptables (HGB) en vigueur en Allemagne) en tant que norme comptable principale pour le ledger du groupe. Cette innovation est particulièrement bénéfique pour nos clients exploitant des solutions Cloud, car elle leur offre cette flexibilité de haut niveau qui leur manquait auparavant. Une seule activité de configuration est requise pour mettre à jour l’affectation du ledger à la norme comptable dans toutes les applications financières, comme le grand livre, la gestion de trésorerie, la constatation des produits, etc.

La reddition parallèle des comptes universelle au cœur de l’entreprise intelligente : prochaines phases d’innovation

En outre, la valorisation parallèle est la prochaine innovation majeure qui verra le jour dans le domaine de la finance. Prévue pour SAP S/4HANA en cette année 2021, elle garantira la prise en charge cohérente et universelle des normes de reddition parallèle des comptes pour les processus de bout en bout, tels que la fabrication sur stock/commande et la fabrication d’immobilisations. La reddition parallèle des comptes est désormais active pour l’intégralité de ces processus et permet la représentation de différentes normes comptables dans tout le flux de valeurs. Ainsi, la solution sera en mesure d’évaluer en temps réel les processus de gestion en parallèle pour chaque norme comptable requise. Les clients bénéficieront également d’une transparence et d’une disponibilité accrues des données en temps réel, ainsi que d’une réduction des tâches d’implémentation et de configuration.

À l’avenir, nous continuerons d’améliorer la reddition parallèle des comptes en ajoutant d’autres cas d’utilisation s’inspirant des autres thèmes au programme de la feuille de route, afin d’inclure des vues consolidées et des versions d’exercice alternatives. Les vues consolidées serviront aux clients de base optimisée pour encore plus d’efficacité dans la prise de décision et l’orientation globale de l’entreprise, grâce à une transparence et une précision accrues des données. En outre, la prise en charge cohérente des versions d’exercice alternatives permettra de monter d’un cran le niveau de normalisation, tout en abaissant le degré requis de solutions de contournement et de tâches manuelles connexes. La comptabilité des immobilisations est, par exemple, l’une des composantes où le nombre de tâches manuelles sera considérablement réduit avec les versions d’exercice alternatives.

La finance à l’ère du numérique

Les professionnels de la finance endossent graduellement des rôles plus stratégiques au sein de leur entreprise et doivent de toute urgence dépasser les limites imposées par des infrastructures système complexes et redondantes. Ils ont besoin d’un cœur numérique unique qui réponde à toutes leurs exigences, tant pour les processus transactionnels qu’analytiques. Un système ERP doit faire office de source d’informations unique pour les données financières et opérationnelles d’une entreprise. Les réplications de données, rapprochements et redondances doivent être éliminés à travers la simplification des processus et des technologies, tandis que la continuité des activités se doit d’être garantie et les efforts manuels, limités, via des fonctions financières optimisées par les outils d’analyse.

Riches en innovations, SAP S/4HANA est notre solution de finance intelligente à l’ère du numérique, disponible en édition cloud, on-premise ou un mélange de ces deux options de déploiement. S’exécutant sur la plateforme in-memory SAP HANA, notre solution permet une reddition des comptes flexible et facile d’utilisation pour la gestion comptable, la clôture comptable et financière, la gestion de trésorerie et des flux, la comptabilité fournisseurs et clients, la gestion des risques et bien plus encore. Pour en savoir plus sur les avantages que SAP S/4HANA peut procurer à votre entreprise, rendez-vous sur SAP.com.

Jan Gilg est président de SAP S/4HANA
Cet article est initialement paru sur LinkedIn.

The post Passer au niveau supérieur avec la reddition parallèle des comptes universelle dans SAP S/4HANA appeared first on SAP France News.

Source de l’article sur sap.com

L’ERP Intelligent : la clé pour renforcer la résilience financière aujourd’hui et demain

L’argent est roi, certes mais pas que. C’est également l’un des éléments clés pour assurer la résilience et la continuité de l’activité sur le long terme. Il joue un rôle dans les challenges qui touchent l’entreprise, comme par exemple l’expérience collaborateur et client, le partenariat avec les fournisseurs ou mêmes les résultats financiers. Avec SAP S/4HANA, les entreprises peuvent répondre à tous ces enjeux en optimisant leur bilan.

Selon les partenaires de McKinsey, Kevin Laczkowski et Mihir Mysore, il est essentiel de combiner les compétences centrales avec des leviers financiers (tels que l’optimisation du bilan) pour renforcer la résilience, en prévision d’une récession ou d’une reprise.

Pour obtenir un tel avantage concurrentiel, il faut disposer d’informations intelligentes issues d’une infrastructure technologique axée sur l’intégration. En intégrant étroitement les systèmes et les données communes, les entreprises peuvent tirer parti de la rapidité et de l’agilité des outils in-memory pour dégager des modèles et perspectives cachés. Ce faisant, les entreprises peuvent consolider leurs opérations, maintenir des relations étroites avec leurs clients, développer l’agilité des chaînes logistiques dynamiques et gérer les ressources de manière plus synchronisée.

Une résilience optimisée grâce à des données ERP en temps réel et une connectivité intelligente

Bien que les systèmes hérités puissent automatiser différentes parties des opérations de gestion, ils ne peuvent pas fournir les informations en temps réel nécessaires pour régler le problème des surstocks ou offrir un service client à l’instant t. Trop souvent, les décisions sont basées sur des modèles transactionnels historiques peu centrés sur le client et trop rigides pour laisser place aux idées novatrices qui nécessiteraient d’être distribuées et adaptées dans toute l’entreprise.

Dès que l’entreprise passe à un progiciel de gestion intégré (ERP) intelligent, c’est une plateforme pour la reprise, la croissance et la résilience qui prend vie. Et en cette ère criblée d’incertitudes, il est grand temps de prendre conscience de cette force. Mais les dirigeants doivent d’abord sélectionner et implémenter une solution ERP qui offre des avantages quantifiables à l’échelle de l’entreprise : depuis le service client, les ventes et les stocks, jusqu’à la gestion du fonds de roulement, du coût des articles, de la main-d’œuvre et des frais généraux.

Envisagez de passer à SAP S/4HANA. Ses retombées n’ont pas tant affaire avec la taille de l’entreprise et le secteur d’activité. Il s’agit surtout de mettre en place un système informatique complet et unifié que tous les employés peuvent adopter et comprendre de façon intuitive. La solution relie directement les processus externes et tiers aux processus internes et aux structures de données, de manière suffisamment cohérente et flexible pour rendre des informations intelligentes rapidement accessibles, visibles et exploitables. 

Grâce à une visibilité accrue, des outils de prévision précis et des données pertinentes générées en temps réel sur les partenaires internes et externes, les entreprises peuvent, par exemple, abaisser considérablement leurs coûts de stock et améliorer leur taux de rotation de plus de 20 %. Nous ne parlons pas ici d’une réduction ponctuelle des dépenses, mais d’une vaste baisse continue des frais généraux dans les domaines du transport, de l’entreposage et de la manutention, avec en outre moins d’obsolescence, de frais d’assurance, de taxes, de dommages et de pertes au niveau des stocks. Même en ces temps où les taux d’intérêt diminuent, les entreprises peuvent réduire leurs coûts de stockage.

Voici les autres avantages à tirer de l’utilisation de SAP S/4HANA pour optimiser votre bilan :

1. Opérations hautes performances

Avec les fonctionnalités des solutions ERP intelligentes, les entreprises peuvent fabriquer et acheter les produits ou services dont elles ont besoin, et les livrer en temps voulu et à l’endroit convenu. Et tout s’opère avec l’agilité nécessaire pour ajuster les plans opérationnels et les pratiques, afin de répondre aux attentes des clients.

Les fonctionnalités prédictives de SAP S/4HANA permettent de revoir rapidement la planification des besoins en composants en tenant compte des données en temps réel. Elles permettent d’éliminer les décisions hypothétiques lors de la gestion des opérations internes, et de minimiser les en-cours de fabrication et les stocks de produits finis de manière optimale et précise.

2. Plus grande collaboration au sein du réseau de fournisseurs

L’amélioration des pratiques d’approvisionnement donne souvent lieu à des négociations plus poussées avec les fournisseurs, ce qui se traduit par des réductions de coûts et une hausse de 30 %d’efficacité dans les achats de matières premières (intrants). L’intégration et la collaboration étroites entre les fournisseurs renforcent la capacité de l’entreprise à planifier les changements, à négocier et à fournir une meilleure assurance qualité, avec plus de répercussions positives sur l’expérience finale du client.

SAP S/4HANA peut aider les entreprises à identifier et à éliminer les goulots d’étranglement dans les processus des chaînes logistiques, ainsi qu’à répondre à l’évolution de la demande. Les responsables opérationnels utilisent ces informations pour ajuster les quantités de produits et les délais de livraison. Leurs fournisseurs qui bénéficient d’une visibilité sur les besoins des consommateurs peuvent alors mieux remplir leurs obligations et répercuter les économies qui en résultent sur le prix de vente.

3. Optimisation de la main-d’œuvre

Avec des possibilités de prévision et d’organisation plus étendues, les cas de ruptures de stock et d’interruptions sont moins fréquents. Ces bons résultats offrent d’autres avantages : la gestion plus avisée des ressources, une meilleure qualité et une formation revalorisée ; moins de temps consacré aux commandes urgentes et reprises précipitées et moins d’heures supplémentaires effectuées par les collaborateurs ; et une contraction des travaux effectués dans des conditions stressantes et ne répondant pas aux attentes.

Avec SAP S/4HANA, les entreprises bénéficient d’une visibilité accrue sur l’évolution des priorités. Elles peuvent automatiser la communication avec les clients et fournisseurs, et fixer des dates de livraison judicieuses, ce qui est essentiel pour fidéliser les clients.

4. Opérations financières maîtrisées

Grâce à une expérience de livraison et de réception plus automatisée ainsi qu’à des contrats clients et fournisseurs bien négociés, les organisations peuvent optimiser leur solidité financière de manière à augmenter leur fonds de roulement.

SAP S/4HANA sert de base pour automatiser la gestion du recouvrement et des liquidités grâce à l’apprentissage automatique et à l’intelligence artificielle (IA). Cela peut conduire, en retour, à une baisse du nombre de jours de retard des créances et à des délais de facturation réduits de plus de 50 %, tout en limitant la fraude et en augmentant les liquidités disponibles. De plus, le processus de vérification automatisée passant par la mise en correspondance de trois facteurs favorise les remises fournisseurs, la planification de la trésorerie et les prévisions financières afin d’optimiser le capital à portée de main.

5. Cohérence et rentabilité du service client et des ventes

À l’aide des données expérientielles et opérationnelles qu’elles exploitent pour comprendre leurs clients, les entreprises peuvent exécuter des modèles de gestion ciblés et différenciés. Par exemple, les modèles de tarification qui répondent de manière créative aux besoins des clients peuvent prendre en charge le stock géré par le fournisseur, la facturation basée sur l’utilisation, les configurations de produits uniques et d’autres stratégies d’intégration à long terme.

En connectant étroitement les besoins des clients aux services de ventes et production, SAP S/4HANA donne aux entreprises les moyens d’offrir un service client plus prévisible et différencié, contribuant au chiffre d’affaires et à la fidélité des clients. Les améliorations apportées dans la gestion de la relation client donnent lieu à des livraisons dans les délais, avec moins de retours et de reprises, quelle que soit l’unicité du produit.

Gagner en force grâce à un bilan optimisé

Dans la dimension économique, nous arrivons à un point où les priorités des directeurs financiers dépassent le cadre de la finance. En plus de gérer les flux de trésorerie, les délais de recouvrement des créances ainsi que la comptabilité clients et fournisseurs en vue d’optimiser les flux de trésorerie, ceux-ci guident les tâches organisationnelles pour améliorer les processus de gestion et l’intelligence à l’échelle de l’entreprise. Plus important encore, après examen de leurs bilans et comptes de résultat, ils élaborent de nouvelles stratégies pour faire face aux incertitudes du marché actuel.

Avec une telle approche de la direction financière, les entreprises sont plus à même de se différencier et de pénétrer le marché de façon organique, tout en réduisant les créances et les stocks, en optimisant le nombre d’articles gérés en stock et la main-d’œuvre, et en accroissant le volume des ventes. Et plus les entreprises font preuve de résilience grâce à SAP S/4HANA, plus leur situation financière s’améliore : les cours des actions affichent une tendance à la hausse, les bénéfices augmentent et le chiffre d’affaires est plus prévisible.


Découvrez comment SAP S/4HANA peut vous aider à obtenir un bilan consolidant la résilience de votre entreprise, pour surmonter les difficultés d’aujourd’hui et se préparer au monde de demain. Consultez l’article « What Companies Should Do to Prepare for a Recession » (Ce que les entreprises doivent faire pour se préparer à la récession) de la Harvard Business Review et découvrez l’ERP intelligent d’aujourd’hui, SAP S/4HANA.

The post L’ERP Intelligent : la clé pour renforcer la résilience financière aujourd’hui et demain appeared first on SAP France News.

Source de l’article sur sap.com

Qu’est-ce que le Big Data ?

Le Big Data est le flot d’informations dans lequel nous nous trouvons tous les jours (des zettaoctets de données provenant de nos ordinateurs, des terminaux mobiles et des capteurs). Ces données sont utilisées par les entreprises pour orienter la prise de décisions, améliorer les processus et les stratégies, et créer des produits, des services et des expériences centrés sur le client.

Le Big Data désigne non seulement de gros volumes de données, mais aussi des données de nature variée et complexe. Il dépasse généralement la capacité des bases de données traditionnelles à capturer, gérer et traiter ce type de données. De plus, le Big Data peut provenir de n’importe où et de tout ce que nous sommes en mesure de surveiller numériquement. Les satellites, les appareils IoT (Internet des Objets), les radars et les tendances des réseaux sociaux ne sont que quelques exemples parmi la multitude de sources de données explorées et analysées pour rendre les entreprises plus résilientes et compétitives.


L’importance de l’analyse du Big Data

La véritable valeur du Big Data se mesure d’après votre capacité à l’analyser et à le comprendre. L’intelligence artificielle (IA), le machine learning et les technologies de base de données modernes permettent de visualiser et d’analyser le Big Data pour fournir des informations exploitables en temps réel. L’analyse du Big Data aide les entreprises à exploiter leurs données en vue de saisir de nouvelles opportunités et de créer de nouveaux modèles de gestion. Comme l’a si bien dit Geoffrey Moore, auteur et analyste de gestion, « sans analyse du Big Data, les entreprises sont aveugles et sourdes, errant sur le Web comme des cerfs sur une autoroute ».

How does Big Data and Analytics work? Simply Explained

Click the button below to load the content from YouTube.

How does Big Data and Analytics work? Simply Explained


L’évolution du Big Data

Aussi inconcevable que cela puisse paraître aujourd’hui, l’Apollo Guidance Computer a emmené l’homme sur la lune avec moins de 80 kilo-octets de mémoire. Depuis, la technologie informatique s’est développée à un rythme exponentiel, de même que la génération de données. La capacité technologique mondiale à stocker des données a doublé tous les trois ans depuis les années 1980. Il y a un peu plus de 50 ans, lors du lancement d’Apollo 11, la quantité de données numériques générées dans le monde aurait pu tenir dans un ordinateur portable. Aujourd’hui, l’IDC estime ce chiffre à 44 zettaoctets (soit 44 000 milliards de gigaoctets) et prévoit qu’il atteindra 163 zettaoctets en 2025.

44 zettaoctets de données numériques aujourd’hui, IDC

163 zettaoctets de données numériques en 2025, IDC

Plus les logiciels et la technologie se développent, moins les systèmes non numériques sont viables. Le traitement des données générées et collectées numériquement requiert des systèmes de data management plus avancés. En outre, la croissance exponentielle des plates-formes de réseaux sociaux, des technologies pour smartphones et des appareils IoT connectés numériquement ont contribué à l’émergence du Big Data.


Types de Big Data : que sont les données structurées et non structurées ?

Les ensembles de données sont généralement catégorisés en trois types, selon leur structure et la complexité de leur indexation.

Illustration des différents types de big data : données structurées, données non-structurées, données semi-structurées.

  1. Données structurées : ce type de données est le plus simple à organiser et à rechercher. Il peut inclure des données financières, des machine logs et des détails démographiques. Une feuille de calcul Microsoft Excel, avec sa mise en forme de colonnes et de lignes prédéfinies, offre un moyen efficace de visualiser les données structurées. Ses composants peuvent facilement être catégorisés, ce qui permet aux concepteurs et administrateurs de bases de données de définir des algorithmes simples pour la recherche et l’analyse. Même lorsque les données structurées sont très volumineuses, elles ne sont pas nécessairement qualifiées de Big Data, car elles sont relativement simples à gérer et ne répondent donc pas aux critères qui définissent le Big Data. Traditionnellement, les bases de données utilisent un langage de programmation appelé SQL (Structured Query Language) pour gérer les données structurées. SQL a été développé par IBM dans les années 1970 pour permettre aux développeurs de créer et gérer des bases de données relationnelles (de type feuille de calcul) qui commençaient à émerger à l’époque.
  2. Données non structurées : cette catégorie de données peut inclure des publications sur les réseaux sociaux, des fichiers audio, des images et des commentaires client ouverts. Ces données ne peuvent pas être facilement capturées dans les bases de données relationnelles standard en lignes et colonnes. Auparavant, les entreprises qui voulaient rechercher, gérer ou analyser de grandes quantités de données non structurées devaient utiliser des processus manuels laborieux. La valeur potentielle liée à l’analyse et à la compréhension de ces données ne faisait aucun doute, mais le coût associé était souvent trop exorbitant pour en valoir la peine. Compte tenu du temps nécessaire, les résultats étaient souvent obsolètes avant même d’être générés. Contrairement aux feuilles de calcul ou aux bases de données relationnelles, les données non structurées sont généralement stockées dans des lacs de données, des entrepôts de données et des bases de données NoSQL.
  3. Données semi-structurées : comme leur nom l’indique, les données semi-structurées intègrent à la fois des données structurées et non structurées. Les e-mails en sont un bon exemple, car ils incluent des données non structurées dans le corps du message, ainsi que d’autres propriétés organisationnelles telles que l’expéditeur, le destinataire, l’objet et la date. Les dispositifs qui utilisent le marquage géographique, les horodatages ou les balises sémantiques peuvent également fournir des données structurées avec un contenu non structuré. Une image de smartphone non identifiée, par exemple, peut indiquer qu’il s’agit d’un selfie et préciser l’heure et l’endroit où il a été pris. Une base de données moderne exécutant une technologie d’IA peut non seulement identifier instantanément différents types de données, mais aussi générer des algorithmes en temps réel pour gérer et analyser efficacement les ensembles de données disparates.

Les sources du Big Data

Les objets générateurs de données se développent à un rythme spectaculaire, depuis les drones jusqu’aux grille-pains. Toutefois, à des fins de catégorisation, les sources de données sont généralement divisées en trois types :

Illustration des différentes sources du big data : données sociales, données machine, données altérables.

Données sociales

Comme leur nom l’indique, les données sociales sont générées par les réseaux sociaux : commentaires, publications, images et, de plus en plus, vidéos. En outre, compte tenu de l’ubiquité croissante des réseaux 4G et 5G, on estime que le nombre de personnes dans le monde qui regardent régulièrement des contenus vidéo sur leur smartphone atteindra 2,72 milliards en 2023. Bien que les tendances concernant les réseaux sociaux et leur utilisation évoluent rapidement et de manière imprévisible, leur progression en tant que générateurs de données numériques est incontestable.

Données machine

Les machines et appareils IoT sont équipés de capteurs et ont la capacité d’envoyer et de recevoir des données numériques. Les capteurs IoT aident les entreprises à collecter et traiter les données machine provenant des appareils, des véhicules et des équipements. Globalement, le nombre d’objets générateurs de données augmente rapidement, des capteurs météorologiques et de trafic jusqu’à la surveillance de la sécurité. Selon l’IDC, il y aura plus de 40 milliards d’appareils IoT en 2025, générant près de la moitié des données numériques mondiales.

Données altérables

Il s’agit des données parmi les plus évolutives au monde. Par exemple, un détaillant international traite plus d’un million de transactions client par heure. Si l’on ajoute à cela les transactions d’achat et bancaires au niveau mondial, on comprend mieux le volume phénoménal de données générées. En outre, les données altérables contiennent de plus en plus de données semi-structurées, y compris des images et des commentaires, ce qui les rend d’autant plus complexes à gérer et à traiter.


Les cinq V du Big Data

Ce n’est pas parce qu’un ensemble de données est volumineux qu’il s’agit nécessairement de Big Data. Pour être qualifiées en tant que telles, les données doivent posséder au minimum les cinq caractéristiques suivantes :

Illustration des 5 V du Big Data : Volume, Vitesse, Variété, Véracité, Valeur.

  1. Volume : même si le volume n’est pas le seul composant qui constitue le Big Data, il s’agit d’une de ses caractéristiques principales. Pour gérer et exploiter pleinement le Big Data, des algorithmes avancés et des analyses pilotées par l’IA sont nécessaires. Mais avant tout cela, il doit exister un moyen fiable et sécurisé de stocker, d’organiser et d’extraire les téraoctets de données détenus par les grandes entreprises.
  2. Vitesse : auparavant, les données générées devaient ensuite être saisies dans un système de base de données traditionnel (souvent manuellement) avant de pouvoir être analysées ou extraites. Aujourd’hui, grâce à la technologie du Big Data, les bases de données sont capables de traiter, d’analyser et de configurer les données lorsqu’elles sont générées, parfois en l’espace de quelques millisecondes. Pour les entreprises, cela signifie que les données en temps réel peuvent être exploitées pour saisir des opportunités financières, répondre aux besoins des clients, prévenir la fraude et exécuter toute autre activité pour laquelle la rapidité est un facteur clé.
  3. Variété : les ensembles de données contenant uniquement des données structurées ne relèvent pas nécessairement du Big Data, quel que soit leur volume. Le Big Data comprend généralement des combinaisons de données structurées, non structurées et semi-structurées. Les solutions de gestion des données et les bases de données traditionnelles n’offrent pas la flexibilité et le périmètre nécessaires pour gérer les ensembles de données complexes et disparates qui constituent le Big Data.
  4. Véracité : bien que les bases de données modernes permettent aux entreprises d’accumuler et d’identifier des volumes considérables de Big Data de différents types, elles ne sont utiles que si elles sont précises, pertinentes et opportunes. S’agissant des bases de données traditionnelles alimentées uniquement avec des données structurées, le manque de précision des données était souvent dû à des erreurs syntaxiques et des fautes de frappe. Les données non structurées présentent toute une série de nouvelles difficultés en matière de véracité. Les préjugés humains, le « bruit social » et les problèmes liés à la provenance des données peuvent avoir un impact sur la qualité des données.
  5. Valeur : les résultats de l’analyse du Big Data sont souvent fascinants et inattendus. Mais pour les entreprises, l’analyse du Big Data doit fournir une visibilité qui les aident à gagner en compétitivité et en résilience, et à mieux servir leurs clients. Les technologies modernes du Big Data offrent la possibilité de collecter et d’extraire des données susceptibles de procurer un avantage mesurable à la fois en termes de résultats et de résilience opérationnelle.

Avantages du Big Data

Les solutions modernes de gestion du Big Data permettent aux entreprises de transformer leurs données brutes en informations pertinentes avec une rapidité et une précision sans précédent.

  • Développement de produits et de services :l’analyse du Big Data permet aux développeurs de produits d’analyser les données non structurées, telles que les témoignages clients et les tendances culturelles, et de réagir rapidement.
  • Maintenance prédictive : dans le cadre d’uneenquête internationale, McKinsey a constaté que l’analyse du Big Data émanant des machines IoT pouvait réduire les coûts de maintenance des équipements jusqu’à 40 %.
  • Expérience client :dans le cadre d’une enquête réalisée en 2020 auprès de responsables d’entreprises du monde entier, Gartner a déterminé que « les entreprises en croissance collectent plus activement des données sur l’expérience client que les entreprises à croissance nulle ». L’analyse du Big Data permet aux entreprises d’améliorer et de personnaliser l’expérience de leurs clients avec leur marque.
  • Gestion de la résilience et des risques :la pandémie de COVID-19 a été une véritable prise de conscience pour de nombreux dirigeants d’entreprise qui se sont rendu compte à quel point leur activité était vulnérable. La visibilité offerte par le Big Data peut aider les entreprises à anticiper les risques et à se préparer aux imprévus.
  • Économies et efficacité accrue : lorsque les entreprises effectuent une analyse avancée du Big Data pour tous les processus de l’organisation, elles peuvent non seulement détecter les inefficacités, mais aussi déployer des solutions rapides et efficaces.
  • Amélioration de la compétitivité : les informations obtenues grâce au Big Data peuvent aider les entreprises à réaliser des économies, à satisfaire leurs clients, à concevoir de meilleurs produits et à innover dans les opérations de gestion.

IA et Big Data

La gestion du Big Data repose sur des systèmes capables de traiter et d’analyser efficacement de gros volumes d’informations disparates et complexes. À cet égard, le Big Data et l’IA ont une relation de réciprocité. Sans l’IA pour l’organiser et l’analyser, le Big Data n’aurait pas grande utilité. Et pour que l’IA puisse générer des analyses suffisamment fiables pour être exploitables, le Big Data doit contenir des ensembles de données suffisamment étendus. Comme l’indique Brandon Purcell, analyste chez Forrester Research, « les données sont au cœur de l’intelligence artificielle. Un système d’IA doit apprendre des données pour remplir sa fonction ».

« Les données sont au cœur de l’intelligence artificielle. Un système d’IA doit apprendre des données pour remplir sa fonction ».

Brandon Purcell, analyste, Forrester Research


Machine learning et Big Data

Les algorithmes de machine learning définissent les données entrantes et identifient des modèles associés. Ces informations permettent de prendre des décisions avisées et d’automatiser les processus. Le machine learning se nourrit du Big Data, car plus les ensembles de données analysés sont fiables, plus le système est susceptible d’apprendre, de faire évoluer et d’adapter ses processus en continu.


Technologies du Big Data

Architecture du Big Data

À l’instar de l’architecture du bâtiment, l’architecture du Big Data fournit un modèle pour la structure de base déterminant la manière dont les entreprises gèrent et analysent leurs données. L’architecture du Big Data mappe les processus requis pour gérer le Big Data à travers quatre « couches » de base, des sources de données au stockage des données, puis à l’analyse du Big Data, et enfin via la couche de consommation dans laquelle les résultats analysés sont présentés en tant que Business Intelligence.

‍Analyse du Big Data

Ce processus permet de visualiser les données de manière pertinente grâce à l’utilisation de la modélisation des données et d’algorithmes spécifiques aux caractéristiques du Big Data. Dans le cadre d’une étude approfondie et d’une enquête de la MIT Sloan School of Management, plus de 2 000 dirigeants d’entreprise ont été interrogés sur leur expérience en matière d’analyse du Big Data. Comme on pouvait s’y attendre, ceux qui s’étaient impliqués dans le développement de stratégies de gestion du Big Data ont obtenu les résultats les plus significatifs.

Big Data et Apache Hadoop

Imaginez une grande boîte contenant 10 pièces de 10 centimes et 100 pièces de 5 centimes. Puis imaginez 10 boîtes plus petites, côte à côte, contenant chacune 10 pièces de 5 centimes et une seule pièce de 10 centimes. Dans quel scénario sera-t-il plus facile de repérer les pièces de 10 centimes ? Hadoop fonctionne sur ce principe. Il s’agit d’une structure en open source permettant de gérer le traitement du Big Data distribué sur un réseau constitué de nombreux ordinateurs connectés. Ainsi, au lieu d’utiliser un gros ordinateur pour stocker et traiter toutes les données, Hadoop regroupe plusieurs ordinateurs sur un réseau pouvant évoluer presque à l’infini et analyse les données en parallèle. Ce processus utilise généralement un modèle de programmation appelé MapReduce, qui coordonne le traitement du Big Data en regroupant les ordinateurs distribués.

Lacs de données, entrepôts de données et NoSQL

Les bases de données traditionnelles de type feuille de calcul SQL servent à stocker les données structurées. Le Big Data non structuré et semi-structuré nécessite des modèles de stockage et de traitement uniques, car il ne peut pas être indexé et catégorisé. Les lacs de données, les entrepôts de données et les bases de données NoSQL sont des référentiels de données capables de gérer les ensembles de données non traditionnels. Un lac de données est un vaste pool de données brutes qui n’ont pas encore été traitées. Un entrepôt de données est un référentiel de données qui ont déjà été traitées à des fins spécifiques. Les bases de données NoSQL fournissent un schéma flexible qui peut être modifié en fonction de la nature des données à traiter. Ces systèmes présentent chacun des avantages et des inconvénients, c’est pourquoi de nombreuses entreprises utilisent plutôt une combinaison de ces référentiels de données pour répondre au mieux à leurs besoins.

Bases de données in-memory

Les bases de données traditionnelles sur disque ont été conçues pour SQL et les bases de données relationnelles. Bien qu’elles soient capables de traiter de gros volumes de données structurées, elles ne sont pas adaptées au stockage et au traitement des données non structurées. Dans le cas des bases de données in-memory, le traitement et l’analyse se font entièrement dans la RAM, pour ne pas avoir à extraire les données d’un système sur disque. Les bases de données in-memory reposent également sur des architectures distribuées. Cela signifie qu’elles peuvent atteindre des vitesses beaucoup plus élevées en utilisant le traitement parallèle, par rapport aux modèles de base de données sur disque à un seul nœud.


Fonctionnement du Big Data

Le Big Data remplit ses fonctions lorsque son analyse fournit des informations pertinentes et exploitables qui améliorent l’activité de manière significative. Pour se préparer à la transition vers le Big Data, les entreprises doivent s’assurer que leurs systèmes et processus sont en mesure de collecter, de stocker et d’analyser le Big Data.

Illustration du fonctionnement du Big Data : collecter le Big Data, stocker le Big Data, Analyser le Big Data

  1. Collecter le Big Data.Une grande partie du Big Data est constituée d’énormes ensembles de données non structurées qui émanent de sources disparates et incohérentes. Les bases de données traditionnelles sur disque et les mécanismes d’intégration des données ne sont pas suffisamment performants pour les gérer. La gestion du Big Data requiert des solutions de base de données in-memory et des solutions logicielles spécifiques de l’acquisition de ce type de données.
  2. Stocker le Big Data.Comme son nom l’indique, le Big Data est volumineux. De nombreuses entreprises utilisent des solutions de stockage sur site pour leurs données existantes et espèrent réaliser des économies en réutilisant ces référentiels pour traiter le Big Data. Toutefois, le Big Data est plus performant lorsqu’il n’est pas soumis à des contraintes de taille et de mémoire. Les entreprises qui n’intègrent pas dès le départ des solutions de stockage Cloud dans leurs modèles de Big Data le regrettent souvent quelques mois plus tard.
  3. Analyser le Big Data. Il est impossible d’exploiter pleinement le potentiel du Big Data sans utiliser les technologies d’IA et de machine learning pour l’analyser. L’un des cinq V du Big Data est la « vitesse ». Pour être utiles et exploitables, les informations du Big Data doivent être générées rapidement. Les processus d’analyse doivent s’auto-optimiser et tirer régulièrement profit de l’expérience, un objectif qui ne peut être atteint qu’avec l’IA et les technologies modernes de bases de données.

Applications du Big Data

La visibilité offerte par le Big Data est bénéfique à la plupart des entreprises ou secteurs d’activité. Cependant, ce sont les grandes entreprises aux missions opérationnelles complexes qui en tirent souvent le meilleur parti.

Finance

Dans le Journal of Big Data, une étude de 2020 souligne que le Big Data « joue un rôle important dans l’évolution du secteur des services financiers, en particulier dans le commerce et les investissements, la réforme fiscale, la détection et les enquêtes en matière de fraude, l’analyse des risques et l’automatisation ». Le Big Data a également contribué à transformer le secteur financier en analysant les données et les commentaires des clients pour obtenir les informations nécessaires à l’amélioration de la satisfaction et de l’expérience client. Les ensembles de données altérables figurent parmi les plus importants et les plus évolutifs au monde. L’adoption croissante de solutions avancées de gestion du Big Data permettra aux banques et aux établissements financiers de protéger ces données et de les utiliser d’une manière qui bénéficie à la fois au client et à l’entreprise.

Hygiène et santé
publique

L’analyse du Big Data permet aux professionnels de santé d’établir des diagnostics plus précis, fondés sur des données avérées. De plus, le Big Data aide les administrateurs d’hôpitaux à identifier les tendances, à gérer les risques et à limiter les dépenses inutiles, afin de consacrer le maximum de fonds aux soins des patients et à la recherche. En cette période de pandémie, les chercheurs du monde entier s’efforcent de traiter et de gérer au mieux la COVID-19, et le Big Data joue un rôle fondamental dans ce processus. Un article de juillet 2020 paru dans The Scientist explique comment des équipes médicales ont pu collaborer et analyser le Big Data afin de lutter contre le coronavirus : « Nous pourrions transformer la science clinique en exploitant les outils et les ressources du Big Data et de la science des données d’une manière que nous pensions impossible ».

Transport et logistique

L’« effet Amazon » est un terme qui définit la manière dont Amazon a fait de la livraison en un jour la nouvelle norme, les clients exigeant désormais la même vitesse d’expédition pour tout ce qu’ils commandent en ligne. Le magazine Entrepreneur souligne qu’en raison de l’effet Amazon, « la course logistique au dernier kilomètre ne fera que s’intensifier ». Les entreprises du secteur s’appuient de plus en plus sur l’analyse du Big Data pour optimiser la planification des itinéraires, la consolidation des charges et les mesures d’efficacité énergétique.

Éducation

Depuis l’apparition de la pandémie, les établissements d’enseignement du monde entier ont dû réinventer leurs programmes d’études et leurs méthodes d’enseignement afin de faciliter l’apprentissage à distance. L’un des principaux défis a été de trouver des moyens fiables d’analyser et d’évaluer la performance des étudiants et l’efficacité globale des méthodes d’enseignement en ligne. Un article paru en 2020 au sujet de l’impact du Big Data sur la formation et l’apprentissage en ligne indique, au sujet des enseignants, que « le Big Data les aide à gagner en confiance pour personnaliser l’enseignement, développer l’apprentissage mixte, transformer les systèmes d’évaluation et promouvoir l’apprentissage continu ».

Énergie et services publics

Selon le U.S. Bureau of Labor Statistics, le service public consacre plus de 1,4 milliard de dollars aux relevés de compteurs et s’appuie généralement sur des compteurs analogiques et des lectures manuelles peu fréquentes. Les relevés de compteurs intelligents fournissent des données numériques plusieurs fois par jour et, grâce à l’analyse du Big Data, ces informations permettent d’accroître l’efficacité de la consommation énergétique, ainsi que la précision des prix et des prévisions. En outre, lorsque les agents n’ont plus à se charger des relevés de compteurs, la saisie et l’analyse des données peuvent permettre de les réaffecter plus rapidement là où les réparations et les mises à niveau sont les plus urgentes.

Publié en anglais sur insights.sap.com

The post Qu’est-ce que le Big Data ? appeared first on SAP France News.

Source de l’article sur sap.com