Articles

The One Timeless Benefit of Design Patterns

,

There’s not much buzz about design patterns these days. They appear to have joined the hall of fame of accepted wisdom, alongside the Silver Bullet, SOLID and DRY. Lately, I had the opportunity to share some thoughts on the importance of good old design patterns with Koen Aerts, CTO of Team Rockstars IT. Here’s the gist of that talk in a more digestible format.

Before I start, let me set some boundaries, as people can get doctrinaire about definitions. I refer to the good old bridge, builder, decorator, and factory patterns. Architectural patterns like MVC do not fall into the same category, much fewer paradigms like serverless and microservices (aka SOA the next generation).

Source de l’article sur DZONE

/par

15 Best New Fonts, January 2022

,

With a new year here, it’s time to try out some new fonts.

Whether you’re designing a brand new website or redesigning an existing one, the following list of fonts has you covered. In addition to the dependable serifs and sans serifs we use to create attractive and readable content, this roundup also has some fun additions, including one you can use for websites advertising Valentine’s Day deals next month.

Antona

Antona is a geometric sans serif font family with 16 different styles. The solid structures and ample white space within the characters give off a safe and friendly vibe.

Aromanis

Aromanis is a small font family with just two variations: Regular and Shadow. This new font supports nearly 70 languages and has an extensive Latin character set with localized forms. This font works best in branding for youthful companies with a playful vibe — from logos to posters and everything in between.

Black Coopy

Black Coopy is an edgy display typeface that would work well for sporty brands. In addition to the standard alpha, numeric, and punctuation sets, the font also comes with a variety of “swash” characters that can be used to frame your bold headlines.

Cimory Love

Don’t wait until February to start thinking about how to infuse a little romance into your designs. Cimory Love is a script font that comes in two styles: Regular and Italic. In addition to using it to promote Valentine’s Day sales, this could also be a cute font to use on websites for small gift shops, bakeries, and so on.

Cotford

Cotford is a contemporary serif font with a ton of flexibility built into it. It comes with eight variations — three text and five display weights. Designers can use one of the many pre-designed styles or they can modify this dynamic font set to make it suit their specific needs.

Digno

Digno is a beautiful, informal serif font that’s easy on the eyes. The font family comes with 14 weights covering a wide spectrum — lights, mediums, heavies, and even a couple of “Book” weights are thrown in if you want to add some personality to those text-dense pages of yours.

Dogly Comika

Dogly Comika is a rounded display font with two styles: Regular and outline. While it’s promoted as a font for animals and pets, you could use it for any type of website hero image, mobile app splash screen, video game, or social media graphic for brands with a fun vibe.

Guzzo

Guzzo is a nostalgic typeface inspired by mid-century grotesques. With 24 styles ranging from Condensed Thin to Extended Black and unexpected character variations (like the random cursives in the italics), you could realistically create interesting font pairings right from within this family.

Idem

Idem is a contemporary serif with nine wide-ranging styles that would work well for headers and text alike. Inspired by literary publications and commercial artists from the earlier part of the 20th century, this font family has a highly legible structure with a bold flare.

Jantur Type

Jantur Type is a geometric sans font that supports over 200 Latin-based languages. While you could use one of the Thin or Regular weights for editorial content, this font will be most effective in shorter headers and paragraphs where it can make a greater impact on messaging.

Loretta

Loretta is an elegant serif designed specifically for the body of your web pages. Because of its calligraphic roots, this particular font would work great for high-end digital publications or blogs that promote luxury lifestyles and goods.

Rebrand

Rebrand is an exciting take on geometric sans. There are two sub-families in Rebrand: Display comes with nine weights as well as alternative characters and dingbats; Text comes with seven weights that cover a broad spectrum of styles. Because of the size and variety of this font family, you could easily make this the go-to font for a company’s branding, headers, and body type.

Royal Grotesque

Royal Grotesque is a resurrection of a 1914 sans serif font called Wotan. Only one version of this font is available (Regular) and it would work great pretty much anywhere on the web with its clean and neutral design.

Selva

Selva is an attractive Scotch typeface that has a traditional Roman serif family, an italicized version of each Roman, as well as a script family. If you’re considering using a script font for branding or headlines, the classic and delicate details of this particular font would make for an interesting choice.

Sunset Gothic

Sunset Gothic is a sans serif inspired by signage found near and around Los Angeles. Because this signage was often painted directly onto shop windows and building facades, the letterforms had to be extremely legible for passersby and drivers alike. This font draws upon the hand-painted, vector-based styling of those painted promotions.

Source

The post 15 Best New Fonts, January 2022 first appeared on Webdesigner Depot.

Source de l’article sur Webdesignerdepot

/par

3 Essential Design Trends, December 2021

,

The year might be coming to an end, but plenty of design trends are still beginning to emerge. It’ll be interesting to see how many of these website design elements remain popular into the new year. From vintage elements to circles to happier feelings, there’s a lot to play with here.

Here’s what’s trending in design this month…

Old-School Print Inspired

Vintage design elements seem to circle back in new iterations at a pretty frequent pace. This time website designers are finding inspiration from old-school print design.

These projects mimic the look of old newspapers and magazines with styles that look like news or advertising content. One of the most exciting takeaways might be color, with beige backgrounds that almost seem like aged paper.

Note the font choices, scale, and imagery as well. All of these things have an old-school feel that’s modern enough to help encourage interaction.

Each of these designs keeps visitors engaged with trendy effects that pair with the vintage aesthetic so that while there’s an old-school look, the overall design is modern and fresh.

The portfolio of Niccolo Miranda feels like a “WAR” day on the front page of a major newspaper, but with modern touches – computer illustrations, animated images, and button-style icons.

Enfant Sauvage Music takes on the feel of an old-style newspaper or magazine ad with a single color design and grainy imagery. An oversized funky pointer on hover and side navigation keeps the design interesting.

Kalso uses a giant timeline with typography and effects that mimic the era on the screen. Animation and motion keep the design with the times and on-trend.

Center-Screen Circles

Circles seem to be a website design trend that just never goes out of style – it only evolves.

The newest iteration includes center-screen circles. And you can use them in all kinds of different ways. The nice thing about a circle is the shape is innately harmonious and can pull a design together and make everything feel together and unified.

They can be an excellent container for text or other elements or serve as a button.

Circles work with almost any overall design pattern, in any color, and with virtually any type of image or video. The shape is practically perfect! (That’s why it’s a trend that never really gets old.)

Each of these examples uses a center-screen circle in a slightly different way.

Aflote uses a center circle as part of its overall branding effort and to help draw the eye from the split-screen images to the center arrow, encouraging users to scroll to the next bit of content. Color helps here, and the circle is a container for brand and some other content with a nice layer on top of the images.

One Ocean Science uses one of the oldest circles we know – the globe – as a dominant art element that rotates in the center of the screen. The layer on top – the exact text in multiple languages – gets extra attention thanks to the center placement. The design also uses a top left corner circle for branding and a bottom right corner circle as a CTA, helping create a visual flow through the design from top to center to bottom to click.

To Be Love uses a fantastic animated set of concentric circles to pull together the name of the event and draw interest to the CTAs. The circle is just the right size in a sea of black sky to draw the eye to the content in the middle of the screen.

Lighter, Happier Designs

After a couple of years of pandemic life and a world that’s just been a little less than cheery, website designers include lighter, happier elements to projects. This might just be the design trend we all need right now.

This effect can be designed in several ways, including color, imagery, animation, scale, and even typography. It’s hard to pinpoint what makes a design lighter and happier until you see it, but when you do, you’ll know it. (It might just be that little grin at the corner of your mouth when you see it.)

Meanpug uses fun, animated illustrations as a load screen with a full-text homepage (you’ll have to click through to see it). Between color and animation, you can’t help but feel good looking at the design. What might be most interesting is that the website is for a marketing agency that works with law firms. (Probably not what you expected at all.)

Happy smiling faces are hard not to feel good about. Even the devil emoji seems somewhat joyful. Add in big, bold typography and the yellow smiley, and the world just feels a little less dark.

Oatly uses lots of small elements in a cartoon-style aesthetic that is light and interesting. In addition to fun fonts and animation, all of the words on the website also contribute to a feeling of ease and happiness. It’s a solid strategy for sales; make people feel good about what they are thinking of buying to help propel them toward a purchase.

 

Conclusion

One of the most exciting things that we’ve seen with design trends in the past year is how world events – from the pandemic to isolation to working remotely – have impacted design projects as a whole.

We’ve seen fewer faces, more illustrations and typography, and an overall shift in feeling to some of the lighter, happier design elements featured here. Cheers to 2022!

Source

The post 3 Essential Design Trends, December 2021 first appeared on Webdesigner Depot.

Source de l’article sur Webdesignerdepot

/par

21 Exceptional Google Fonts You Probably Haven’t Discovered Yet

,

Google Fonts may be the single most significant contribution Google has made to the evolution of the web — yes, more significant than search, advertising, or analytics.

Google Fonts gives every business access to a visual voice with which to distinguish itself. Fonts can be downloaded for use in design software and then embedded using best practices for a consistent experience on the web.

If there’s anything wrong with Google Fonts, it’s that its default listings are based on “Trending,” a self-fulfilling criterion that keeps Noto Sans high up the list, destined to be over-used.

But if you spend a little time lower down the listings, you’ll find some exceptional typefaces that are hardly used. Yes, some of them are highly stylized, but there are also usable sans, serifs, and display fonts worthy of your consideration.

All you have to do is scroll; here’s a selection of some of the treasures you’ll find if you do…

Piazzolla

Piazzolla features dramatic and expressive angular shapes when previewed in large sizes, but its real strength is in setting large amounts of body text.

Mulish

If you’re looking for a solid workhorse sans, look no further than Mulish. Halfway between a humanist and geometric sans, there’s even a variable font version.

Ceviche One

Reminiscent of the cool lettering of 60s advertising, Ceviche One is packed with energy, thanks to the dramatic zig-zag formed along its baseline.

Vollkorn

Released by Friedrich Althausen in 2005, Vollkorn is an excellent typeface for body copy, excelling at small sizes. It now boasts a variable font option.

Merienda

Merienda is a delightfully energetic display script. The bold weight feels more confident, but both weights have a dancing rhythm that brings the page alive.

Raleway Dots

Raleway is a hugely popular — and perhaps overused font — but this dotted version is less known. It’s a simple geometric sans that functions as a display face.

Kenia

Kenia is a wonderful, uncategorizable typeface. The stencil forms result in entirely original letter constructions, and the lowercase s is magnificent.

DM Sans

DM Sans is a low-contrast geometric sans-serif that performs wonderfully well at smaller sizes. It only has three weights, but each comes with a matching italic.

Oxygen

Designed by Vernon Adams as part of the KDE project for GNU+Linux, Oxygen is a very readable sans-serif, with a generous x-height and a hint of pen stroke.

Alice

Ksenia Erulevich’s Alice was inspired by Lewis Carrol’s novel Alice’s Adventures in Wonderland. It presents itself as an Edwardian serif with fanciful flourishes.

Carter One

Carter One uses bold strokes, with a medium amount of contrast, to create a sans-style script. It has dozens of beautiful details like the notch on the lowercase o.

Bodoni Moda

Bodoni Moda is a didone-style serif with strong vertical strokes and high-contrast slab-like serifs. It’s the best variable font in this genre that I’ve found.

Ultra

Ultra is a slab-serif that you won’t even consider for body text. Its sculptural shapes are almost American-western. The counter on the lowercase n is charming.

Azeret Mono

Most mono-spaced fonts fail to inspire; practical they can be, charming they are not. But Azeret Mono bucks that trend, its bold weights being particularly fantastic.

Nunito

It’s tough to find a serious sans-serif with rounded terminals, but Nunito is it. There’s also a Nunito Sans with square terminals, but I love the rounded tips.

Bungee Inline

Designed for signage, Bungee is great for display sizes and works well vertically. There are several versions, but my favorite is this classy inline version.

Oi

Oi is unapologetically loud. A slab-serif that swallows its own detail, the counters and ink traps give it a 3D quality, and the curves feel almost nautical.

Expletus Sans

One of the significant trends in typography is the angled clip of adjoining strokes, creating the effect of shadow. This effect is brilliantly achieved in Expletus Sans.

Lustria

It’s comparatively unusual to find a serif face designed to work well at display sizes. At large sizes, Lustria’s rounded terminals evoke ink spread delightfully.

Yatra One

Yatra One is a Devanagari and Latin typeface that uses the Devanagari brush angle for its strokes, giving the Latin text an unusually slanted, stand-out character.

Amiko

Amiko is a highly legible typeface and excellent at tiny font sizes. It’s perfect as a secondary font if your main font is too fancy for elements like legal notices.

Keep Scrolling

It’s always tempting to leap at the first typeface you find that meets your needs, but if you dig a little deeper into Google Fonts, you’ll find a vast range of typefaces that offer both practicality and character.

Source

The post 21 Exceptional Google Fonts You Probably Haven’t Discovered Yet first appeared on Webdesigner Depot.


Source de l’article sur Webdesignerdepot

/par

3 Essential Design Trends, August 2021

,

Sometimes the designs that make the most impact do a lot of unexpected things and break some of the most tried and true rules of visual theory.

Sometimes these design elements work brilliantly, and other times they are fleeting or fall flat. This month all of the examples here seem to break some conventional design rules. Here’s what’s trending in design this month…

1. Alternative Homepage Image/Video Crops

This trend breaks some traditional standards and is pretty refreshing – alternative homepage crops for images and video.

The full screen or 16:9 aspect ratio is out the window with vertical and square options that prove you can do more with your photo collection.

What’s great about this trend is that it’s super attention-getting because of the interesting use of space and imagery. Almost any design without the full-width hero header will grab your attention because it is different. These examples prove that point, and each design does it differently.

Now here’s the challenge: You have to make sure that this style has a solid fallback for mobile so that the result is equally impressive.

Janmaat Fotografie does a great job accounting for interesting photo shapes and flips the script on mobile. (Rather than what you might expect with text then photos because of the desktop placement, the photo stack uses the same shape and layering and is above the text on mobile.) The result is phenomenal.

N3 uses a very vertical image in an almost split-screen style design. It’s a sharp contrast to many of the other split screens we are accustomed to with an equal divide. The distinct shape of the image is interesting and intriguing. It’s definitely not a shape we see in website design frequently.

Bounce uses a similar split-screen effect in the opposite manner as the example above, with the tall, vertical space as an “empty” area and the right side filled with a square video. The shapes help push and pull your eyes across the screen to look at all of the elements and take in the overall design. It’s one of those ideas that if you only talked about it, you might talk yourself out of it, but here, it’s pretty striking.

 

 

2. On-Screen “Stickers”

Stickers are a design trend that has made its way from social media to website design.

These website stickers break design rules because they cover content or seem to be put on the canvas haphazardly. And that’s why they are so attention-getting!

The benefit to these stickers is that they can highlight specific items or content or help focus a call to action.

Friesday uses stickers in conjunction with hover effects to keep users interacting with the design. Multiple stickers can even pop onto the screen in the same location. The animation is simple and fun and feels like a digital sticker book.

August Eighth uses a center sticker as a call to action. It’s a true focal point in the center of the screen with an almost three-dimensional effect that lifts it off the background video. It’s a borderline dark pattern since the only way to get the box off the screen is to click through to the shopping part of the website.

EasyGreen has a bright yellow sticker in the bottom corner that feels almost like the sticker on a piece of fruit. This style and placement work well for the content and product featured. It’s bringing the digital and real-world a little closer with this design element.

 

 

3. Breaking Design “Rules”

The third trend this month is kind of a catch-all for general rule-breaking. While the other trends show certain design elements that aren’t the norm, each of these examples really tosses everything you traditionally think about design out the window. (And that’s ok.)

The trick to a rule-breaking design is that it has to be focused and simple enough to keep users interested and provide intuitive elements that tell them how to interact with the design. It’s a delicate balance.

Here’s how these sites do just that.

Supercontinent has a lot going on. At least four typefaces on the screen at a time, movement (using different shapes and aspect ratios), overlapping elements, hidden navigation, and you may even find a few more broken rules if you look closely. And somehow, it still works.

What’s pulling this design together is a key unbroken rule – the chaos is rooted in a grid system that keeps it all somewhat organized. Plus, there’s plenty of white space to keep elements from feeling crowded and overwhelming.

Source of Plastic Waste combines elements in unexpected ways. There’s no real navigation; the site is just a continuous scroll. That’s a big website usability rule broken right out of the gate. There are other design elements as well, from the “header”/logo moving to the top right corner to the almost over-designed transparent box for text elements. There are a lot of scroll elements and actions happening and layers of text on text in some of the screens.

But here’s the thing about this design. As many rules as it breaks, the story is interesting enough to keep you scrolling. The question is, how long and how far do you go without getting lost or confused.

The Debris of Attention is designed to show “bad design” with elements that are frustrating and annoying on websites. The gamified design allows you to hover on each element to remove it and clean up the design.

While this site breaks the rules on purpose, it is still an experiment in how long a user will hang on with so many visual effects happening at once.

 

 

Conclusion

While most of the time, people think about “breaking the rules” as a bad thing, that’s not always true in the design space. Sometimes breaking the rules can result in an unexpected delight.

The challenge is to make sure that when you break the rules, the design is still usable, functional, and understandable. If so, you’ve found a winning combination.

Source

The post 3 Essential Design Trends, August 2021 first appeared on Webdesigner Depot.


Source de l’article sur Webdesignerdepot

/par

Poll: Is AMP Dead, and Do We Care?

, ,

It’s fair to say that AMP (Accelerated Mobile Pages) is a controversial topic among web developers.

AMP is a Google-guided technology that strips down web pages to a limited sub-set of tags to serve pages faster. It was developed as a web-based rival to native news apps from vendors like Apple.

The controversy first arose when it was clear how much influence Google had over the conventions, essentially creating a tiered Web overseen by a single entity. The clamor didn’t calm when it became clear that Google prioritized AMP pages for mobile search results. Developers were left in a difficult position: stand by best practices supporting a platform-agnostic Web, or do what’s right for their clients by building the most competitive mobile site possible.

But that was 2015, six years is a lifetime for a web technology, and things are about to change.

Hidden among the announcements about the much-delayed Core Web Vitals update — it’s finally rolling out, a year after originally planned, but don’t expect to see much impact until the end of August — is the news that Google mobile search will no longer prioritize AMP pages.

Beginning immediately (from the 17th June onwards) and completing sometime before the end of August, AMP will cease to be a factor in mobile site ranking. The AMP badge on mobile search results will disappear, and AMP is not required to have your site included on Google’s news app.

This significant move is due to the fact that the Core Web Vitals update from Google will expect the same speed and usability as AMP from non-AMP pages. Google still expects the same optimized user experience; it simply isn’t offering a cheat sheet on how to achieve it.

You can continue to use AMP, but there’s no automatic benefit to doing so, and the housekeeping involved in maintaining multiple front-ends means it’s far simpler to optimize your base site. Without a solid purpose, AMP ceases to fill a need. And just like that, one of the most controversial technologies of recent years slips away.

Featured image via Unsplash.

Source

The post Poll: Is AMP Dead, and Do We Care? first appeared on Webdesigner Depot.


Source de l’article sur Webdesignerdepot

/par

Qu’est-ce que le data mining ?

, ,

Le data mining est le processus d’extraction d’informations utiles à partir d’une accumulation de données, souvent à partir d’un data warehouse (entrepôt de données) ou d’une collection d’ensembles de données liés. Les outils de data mining incluent de puissantes fonctionnalités statistiques, mathématiques et analytiques dont l’objectif principal est de passer au crible de vastes ensembles de données pour identifier les tendances, les modèles et les relations, pour des prises de décisions et une planification éclairées.

Souvent associé aux demandes du service marketing, le data mining est considéré par de nombreux dirigeants comme un moyen de mieux comprendre la demande et de voir l’impact des modifications apportées aux produits, des prix ou des promotions sur les ventes. Mais le data mining présente également des avantages considérables pour d’autres domaines d’activité. Les ingénieurs et les concepteurs peuvent analyser l’efficacité des modifications de produit et rechercher les causes possibles de la réussite ou de l’échec d’un produit en fonction de la manière, du moment et du lieu d’utilisation des produits. Le MRO (entretien, réparation et fonctionnement) est en mesure de mieux planifier le stock de pièces et l’affectation du personnel. Les entreprises de services professionnels peuvent utiliser le data mining pour identifier les nouvelles opportunités liées à l’évolution des tendances économiques et aux changements démographiques.

Le data mining s’avère davantage utile et précieux maintenant que l’on se retrouve avec des ensembles de données plus volumineux et une expérience utilisateur accrue. Logiquement, plus il y a de données, plus elles cachent d’informations et de renseignements. Par ailleurs, plus les utilisateurs se familiarisent avec les outils et comprennent la base de données, plus ils deviennent créatifs vis-à-vis des explorations et des analyses.

Pourquoi utiliser le data mining ?

Le principal avantage du data mining est sa capacité à repérer des modèles et des relations dans de grands volumes de données provenant de plusieurs sources. Avec de plus en plus de données disponibles, provenant de sources aussi variées que les réseaux sociaux, les capteurs à distance et les rapports de plus en plus détaillés sur les mouvements de produits et l’activité du marché, le data mining offre les outils nécessaires pour exploiter pleinement le Big Data et le transformer en renseignements exploitables. De plus, il peut aider à « sortir des sentiers battus ».

Le processus de data mining peut détecter des relations et des modèles surprenants et intrigants dans des fragments d’informations apparemment non liées. Comme les informations tendent à être compartimentées, il a toujours été difficile, voire impossible, de les analyser dans leur ensemble. Toutefois, il peut exister une relation entre les facteurs externes (démographiques ou économiques, par exemple) et la performance des produits d’une entreprise. Les dirigeants, qui examinent régulièrement les chiffres des ventes par territoire, ligne de produits, canal de distribution et région, manquent souvent de contexte externe pour ces informations. Leur analyse souligne « ce qui s’est passé », mais ne détaille pas vraiment « pourquoi cela s’est passé de cette manière ». Le data mining peut apporter une solution.

Le data mining peut rechercher des corrélations avec des facteurs externes. Si la corrélation n’indique pas toujours la causalité, ces tendances peuvent être des indicateurs précieux pour guider les décisions relatives aux produits, aux canaux et à la production. La même analyse peut être bénéfique pour d’autres domaines de l’activité, de la conception de produit à l’efficacité opérationnelle, en passant par la prestation de services.

Historique du data mining

Nous collectons et analysons des données depuis des milliers d’années et, à bien des égards, le processus est resté le même : identifier les informations nécessaires, trouver des sources de données de qualité, collecter et combiner les données, utiliser les outils les plus efficaces pour analyser les données, et tirer parti des enseignements appris. À mesure que l’informatique et les systèmes basés sur les données se sont développés, il en a été de même pour les outils de gestion et d’analyse des données. Le véritable point d’inflexion est venu dans les années 1960 avec le développement de la technologie de base de données relationnelle et des outils de requête en langage naturel orienté utilisateur, tels que Structured Query Language (SQL). Les données n’étaient plus disponibles uniquement via des programmes codés personnalisés. Grâce à cette avancée, les utilisateurs pouvaient explorer leurs données de manière interactive et en extraire les « joyaux cachés ».

Le data mining est traditionnellement un ensemble de compétences spécialisées dans la science des données. Cependant, chaque nouvelle génération d’outils analytiques nécessite dans un premier temps des compétences techniques avancées, mais évolue rapidement pour devenir accessible aux utilisateurs. L’interactivité, c’est-à-dire la possibilité de laisser les données vous parler, est la principale avancée. Posez une question et visualisez la réponse. En fonction de ce que vous apprenez, posez une autre question. Ce type d’itinérance non structurée à travers les données permet à l’utilisateur d’aller au-delà des limites de la conception de bases de données spécifiques à une application et permet de découvrir des relations qui dépassent les limites fonctionnelles et organisationnelles.

Le data mining est une composante clé de la Business Intelligence. Les outils d’exploration de données sont créés dans les tableaux de bord décisionnels, en extrayant des informations du Big Data, y compris les données des réseaux sociaux, des flux de capteurs IoT, des appareils de localisation, du texte non structuré, des vidéos, etc. Le data mining moderne s’appuie sur le Cloud, l’informatique virtuel et les bases de données in-memory pour gérer les données de diverses sources de manière rentable et s’adapter à la demande.

Comment cela fonctionne ?

Il y a environ autant d’approches du data mining qu’il y a d’explorateurs de données. L’approche dépend du type de questions posées, du contenu et de l’organisation de la base de données ou des ensembles de données fournissant la matière première pour la recherche et l’analyse. Cela dit, certaines étapes organisationnelles et préparatoires doivent être accomplies pour préparer les données, les outils et les utilisateurs :

  1. Comprendre le problème, ou du moins le domaine d’enquête.Le décideur, qui doit prendre les commandes de cette grande aventure de data mining, a besoin d’une compréhension générale du domaine dans lequel il travaillera, à savoir les types de données internes et externes qui doivent faire partie de cette exploration. On suppose qu’il a une connaissance approfondie de l’entreprise et des domaines fonctionnels impliqués.
  2. Collecte de données. Commencez par vos systèmes et bases de données internes. Liez-les à l’aide de leurs modèles de données et de divers outils relationnels, ou rassemblez les données dans un entrepôt de données (data warehouse). Cela inclut toutes les données provenant de sources externes qui font partie de vos opérations, telles que les données de force de vente et/ou de service, les données IoT ou des réseaux sociaux. Recherchez et acquérez auprès des associations professionnelles et des gouvernements les droits sur les données externes, notamment les données démographiques, économiques et relatives au marché, telles que les tendances du secteur et les indices financiers. Intégrez-les dans le périmètre du kit d’outils (intégrez-les dans votre data warehouse ou reliez-les à l’environnement de data mining).
  3. Préparation et compréhension des données.Faites appel aux experts en la matière pour définir, catégoriser et organiser les données. Cette partie du processus est parfois appelée « remaniement des données ». Certaines données peuvent nécessiter un nettoyage pour supprimer les doublons, les incohérences, les enregistrements incomplets ou les formats obsolètes. La préparation et le nettoyage des données peuvent se poursuivre à mesure que de nouveaux projets ou des données provenant de nouveaux champs d’enquête deviennent intéressants.
  4. Formation des utilisateurs.Vous ne donneriez pas à votre adolescent les clés de la Ferrari sans qu’il n’ait appris à conduire ou qu’il n’ait pratiqué la conduite sur route avec un moniteur. Par conséquent, veillez à dispenser une formation formelle à vos futurs explorateurs de données et à les familiariser avec ces outils puissants. La formation continue est également bienvenue une fois qu’ils maîtrisent les bases et qu’ils peuvent passer à des techniques plus avancées.

Techniques de data mining

Gardez à l’esprit que l’exploration de données est basée sur un kit d’outils plutôt que sur une routine ou un processus fixe. Les techniques spécifiques de data mining citées ici ne sont que des exemples d’utilisation des outils par les organisations afin d’explorer leurs données et rechercher des tendances, des corrélations et des renseignements.

D’une manière générale, les approches de data mining peuvent être catégorisées comme étant orientées (vers un résultat spécifique souhaité) ou non orientées, comme un simple processus de découverte. D’autres explorations peuvent être destinées au tri ou à la classification des données, telles que le regroupement des clients potentiels en fonction d’attributs commerciaux comme le secteur, les produits, la taille et le lieu géographique. De même, la détection de cas particuliers ou d’anomalies est une méthode automatisée de reconnaissance des anomalies réelles (plutôt que simple variabilité) dans un ensemble de données qui affiche des modèles identifiables.

Association

Un autre objectif intéressant est l’association, qui relie deux événements ou activités apparemment non liés. Il existe un récit bien connu des débuts de l’analyse et du data mining, peut-être fictif, selon lequel une chaîne de magasins découvrait une corrélation entre les ventes de bière et de couches. Il avait été supposé que les nouveaux papas stressés qui sortaient tard le soir pour acheter des couches pouvaient aussi prendre un pack de 6 bières dans la foulée. Les magasins ont alors placé la bière et les couches à proximité, ce qui a augmenté les ventes de bière.

Clustering

Cette approche vise à regrouper les données par similitudes plutôt que par hypothèses prédéfinies. Par exemple, lorsque vous explorez vos informations commerciales clients combinées à des données externes démographiques et de crédit à la consommation, vous pourriez découvrir que vos clients les plus rentables vivent dans des villes de taille moyenne.

La majorité du temps, le data mining est exécuté en soutien à la prévision. Plus vous comprenez les modèles et les comportements, mieux vous pouvez prévoir les actions futures liées aux causes ou aux corrélations.

Régression

L’une des techniques mathématiques proposées dans les kits d’outils de data mining est l’analyse de régression, qui prédit un nombre en fonction de modèles historiques projetés dans le futur. Divers autres algorithmes de détection et de suivi des modèles fournissent des outils flexibles pour aider les utilisateurs à mieux comprendre les données et le comportement qu’elles représentent.

Ce ne sont là que quelques-uns des outils et des techniques disponibles dans les kits d’outils de data mining. Le choix de l’outil ou de la technique est en quelque sorte automatisé en ce sens que les techniques seront appliquées en fonction de la manière dont la question est posée. Auparavant, l’exploration de données revenait à « découper en tranches » la base de données, mais la pratique est aujourd’hui plus sophistiquée et les termes comme association, clustering et régression sont monnaie courante.

Exemples de cas d’utilisation

Le data mining est essentiel à l’analyse des sentiments, à l’optimisation des prix, au marketing de bases de données, à la gestion des risques de crédit, à la formation et à l’assistance, à la détection des fraudes, aux diagnostics médicaux, à l’évaluation des risques, aux systèmes de recommandation (à savoir, « les clients qui ont acheté ceci ont également aimé… »), et bien plus encore. Elle peut être un outil efficace dans pratiquement n’importe quel secteur, y compris la distribution de détail, la distribution de gros, les services, la fabrication, les télécommunications, les communications, les assurances, l’éducation, la santé, la banque, la science, l’ingénierie et le marketing en ligne ou les réseaux sociaux.

Développement de produit

Les entreprises qui conçoivent, fabriquent ou distribuent des produits physiques peuvent identifier des opportunités pour mieux cibler leurs produits en analysant les habitudes d’achat conjuguées aux données économiques et démographiques. Leurs concepteurs et ingénieurs peuvent également recouper les commentaires des clients et des utilisateurs, les données de réparation et d’autres données pour identifier les opportunités d’amélioration des produits.

Production

Les fabricants peuvent suivre les tendances de qualité, les données de réparation, les taux de production et les données de performance des produits sur le terrain pour identifier les problèmes de production. Ils peuvent également détecter les améliorations pouvant être apportées aux processus afin d’accroître la qualité, gagner du temps, réduire les coûts, améliorer la performance des produits et/ou repérer tout besoin de renouvellement d’équipements.

Industries
des services

Dans le secteur des services, les utilisateurs peuvent trouver des opportunités similaires d’amélioration des produits en comparant les commentaires des clients (directs ou publiés sur les réseaux sociaux ou d’autres sources) et les données relatives aux services, canaux, performance des pairs, régions, tarifs, ou encore les données démographiques ou économiques.

Enfin, toutes ces découvertes doivent être transposées dans les prévisions et la planification afin que l’ensemble de l’entreprise soit en phase avec les changements de la demande anticipés grâce à une connaissance plus approfondie du client, et soit ainsi mieux positionnée pour exploiter les opportunités venant d’être identifiées.

Défis liés au data mining

  • Big Data : la génération de données est de plus en plus rapide, ce qui offre de plus en plus d’opportunités pour le data mining. Cependant, des outils d’exploration de données modernes sont nécessaires pour extraire une signification du Big Data, compte tenu du volume élevé, de la grande rapidité et de la grande variété des structures de données, ainsi que du volume croissant de données non structurées. De nombreux systèmes existants ont du mal à gérer, à stocker et à utiliser ce grand flux d’intrants.
  • Compétence de l’utilisateur : les outils d’exploration et d’analyses des données sont conçus pour aider les utilisateurs et les décideurs à comprendre et à obtenir des informations à partir de grands volumes de données. Bien que hautement techniques, ces outils puissants offrent désormais une excellente expérience utilisateur, de sorte que pratiquement tous les utilisateurs sont en mesure d’utiliser ces outils avec un minimum de formation. Toutefois, pour tirer pleinement profit des avantages, l’utilisateur doit comprendre les données disponibles et le contexte commercial des informations qu’il recherche. Il doit également savoir, au moins de manière générale, comment fonctionnent les outils et ce qu’ils peuvent faire. Ces outils ne sont pas hors de portée du responsable ou dirigeant moyen, mais nécessitent un apprentissage, raison pour laquelle les utilisateurs doivent consacrer du temps au développement de cette nouvelle compétence.
  • Qualité et disponibilité des données : avec ces énormes quantités de nouvelles données, il existe également des masses de données incomplètes, incorrectes, trompeuses, frauduleuses, endommagées ou simplement inutiles. Les outils peuvent contribuer à résoudre ce problème, mais les utilisateurs doivent constamment tenir compte de la source des données et de sa crédibilité et fiabilité. Les préoccupations en matière de confidentialité sont également importantes, tant en ce qui concerne l’acquisition des données que la prise en charge et la gestion une fois qu’elles sont en votre possession.

Pictogramme qui représente un entrepôt de données

Renforcez votre expertise en matière de gestion des données

Comprenez le processus de gestion des données et les avantages qu’il peut apporter à votre organisation.

En savoir plus

 

FAQ sur le data mining

Quelle est la différence entre le machine learning et le data mining ?

Le data mining consiste à utiliser des outils analytiques avancés pour extraire des informations utiles d’une accumulation de données. Le machine learning est un type d’intelligence artificielle (IA) qui permet aux systèmes d’apprendre par l’expérience. L’exploration de données peut utiliser le machine learning lorsque les programmes analytiques ont la possibilité d’adapter leurs fonctionnalités en fonction de l’analyse de données qu’ils effectuent.

Existe-t-il une différence entre le data mining et l’analyse de données ?

L’analyse des données est un terme général pour le large éventail de pratiques visant à identifier les informations utiles, à les évaluer et à fournir des réponses spécifiques. Le data mining est un type d’analyse des données qui se concentre sur l’exploration de grands ensembles de données combinés pour découvrir des modèles, des tendances et des relations susceptibles de générer des informations et des prévisions.

Le data mining est-il identique à la science des données ?

La science des données est un terme qui inclut de nombreuses technologies de l’information, y compris les statistiques, les mathématiques et les techniques de calcul sophistiquées appliquées aux données. Le data mining est un cas d’utilisation de la science des données centré sur l’analyse de grands ensembles de données provenant d’un large éventail de sources.

Le data mining est-il identique au data warehouse ?

Un data warehouse est un ensemble de données, généralement provenant de sources multiples (ERP, CRM, par exemple) qu’une entreprise rassemblera dans l’entrepôt à des fins d’archivage et d’analyse à grande échelle, comme le data mining.

The post Qu’est-ce que le data mining ? appeared first on SAP France News.

Source de l’article sur sap.com

/par

No-Code:  »It’s a Trap! »

,
Gartner predicts that by 2023, over 50% of medium to large enterprises will have adopted a Low-code/No-code application as part of their platform development.
The proliferation of Low-code/No-code tooling can be partially attributed to the COVID-19 pandemic, which has put pressure on businesses around the world to rapidly implement digital solutions. However, adoption of these tools — while indeed accelerated by the pandemic — would have occurred either way.
Even before the pandemic, the largest, richest companies had already formed an oligopsony around the best tech talent and most advanced development tools. Low-Code/No-code, therefore, is an attractive solution for small and mid-sized organizations to level the playing field, and it does so by giving these smaller players the power to do more with their existing resources.
While these benefits are often realized in the short term, the long-term effect of these tools is often shockingly different. The promise of faster and cheaper delivery is the catch — or lure — inside this organizational mousetrap, whereas backlogs, vendor contracts, technical debts, and constant updates are the hammer.
So, what exactly is the No-Code trap, and how can we avoid it?

What is a No-Code Tool?

First, let’s make sure we clear up any confusion regarding naming. So far I have referred Low-Code and No-Code as if they were one term. It’s certainly easy to confuse them — even large analyst firms seem to have a hard time differentiating between the two — and in the broader context of this article, both can lead to the same set of development pitfalls.
Under the magnifying glass, however, there are lots of small details and capabilities that differentiate Low-code and No-code solutions. Most of them aren’t apparent at the UI level, leading to much of the confusion between where the two come from.
In this section, I will spend a little bit of time exploring the important differences between those two, but only to show that when it comes to the central premise of this article they are virtually equivalent.

Low-Code vs. No-Code Tools

The goal behind Low-Code is to minimize the amount of coding necessary for complex tasks through a visual interface (such as Drag ‘N’ Drop) that integrates existing blocks of code into a workflow.
Skilled professionals have the potential to work smarter and faster with Low-Code tools because repetitive coding or duplicating work is streamlined. Through this, they can spend less time on the 80% of work that builds the foundation and focuses more on optimizing the 20% that makes it different. It, therefore, takes on the role of an entry-level employee doing the grunt work for more senior developers/engineers.
No-Code has a very similar look and feel to Low-Code, but is different in one very important dimension. Where Low-Code is meant to optimize the productivity of developers or engineers that already know how to code (even if just a little), No-Code is built for business and product managers that may not know any actual programming languages. It is meant to equip non-technical workers with the tools they need to create applications without formal development training.
No-Code applications need to be self-contained and everything the No-Code vendor thinks the user may need is already built into the tool.
As a result, No-Code applications create a lot of restrictions for the long-term in exchange for quick results in the short-term. This is a great example of a ‘deliberate-prudent’ scenario in the context of the Technical Debt Quadrant, but more on this later.

Advantages of No-Code Solutions

The appeal of both Low-Code and No-Code is pretty obvious. By removing code organizations can remove those that write it — developers — because they are expensive, in short supply, and fundamentally don’t produce things quickly.
The benefits of these two forms of applications in their best forms can be pretty substantial:
  • Resources: Human Capital is becoming increasingly scarce — and therefore expensive. This can stop a lot of ambitious projects dead in their tracks. Low-Code and No-Code tools minimize the amount of specialized technical skills needed to get an application of the ground, which means things can get done more quickly and at a lower cost.
  • Low Risk/High ROI: Security processes, data integrations, and cross-platform support are all built into Low-Code and No-Code tools, meaning less risk and more time to focus on your business goals.
  • Moving to Production: Similarly, for both types of tools a single click is all it takes to send or deploy a model or application you built to production.
Looking at these advantages, it is no wonder that both Low-Code and No-Code have been taking industries by storm recently. While being distinctly different in terms of users, they serve the same goal — that is to say, faster, safer and cheaper deployment. Given these similarities, both terms will be grouped together under the ‘No-Code’ term for the rest of this article unless otherwise specified.

List of No-Code Data Tools

So far, we have covered the applications of No-Code in a very general way, but for the rest of this article, I would like to focus on data modeling. No-Code tools are prevalent in software development, but have also, in particular, started to take hold in this space, and some applications even claim to be an alternative to SQL and other querying languages (crazy, right?!). My reasons for focusing on this are two-fold: 
Firstly, there is a lot of existing analysis around this problem for software development and very little for data modeling. Secondly, this is also the area in which I have the most expertise.
Now let’s take a look at some of the vendors that provide No-Code solutions in this space. These in no way constitute a complete list and are, for the most part, not exclusively built for data modeling. 

1. No-Code Data Modeling in Power BI

Power BI was created by Microsoft and aims to provide interactive visualizations and business intelligence capabilities to all types of business users. Their simple interface is meant to allow end-users to create their own reports and dashboards through a number of features, including data mapping, transformation, and visualization through dashboards. Power BI does support some R coding capabilities for visualization, but when it comes to data modeling, it is a true No-Code tool.

2. Alteryx as a Low-Code Alternative

Alteryx is meant to make advanced analytics accessible to any data worker. To achieve this, it offers several data analytics solutions. Alteryx specializes in self-service analytics with an intuitive UI. Their offerings can be used as Extract, Transform, Load (ETL) Tools within their own framework. Alteryx allows data workers to organize their data pipelines through their custom features and SQL code blocks. As such, they are easily identified as a Low-Code solution.

3. Is Tableau a No-Code Data Modeling Solution?

Tableau is a visual analytics platform and a direct competitor to Power BI. They were recently acquired by Salesforce which is now hoping to ‘transform the way we use data to solve problems—empowering people and organizations to make the most of their data.’ It is also a pretty obvious No-Code platform that is supposed to appeal to all types of end-users. As of now, it offers fewer tools for data modeling than Power BI, but that is likely to change in the future.

4. Looker is a No-Code Alternative to SQL

Looker is a business intelligence software and big data analytics platform that promises to help you explore, analyze, and share real-time business analytics easily. Very much in line with Tableau and Power BI, it aims to make non-technical end-users proficient in a variety of data tasks such as transformation, modeling, and visualization.

You might be wondering why I am including so many BI/Visualization platforms when talking about potential alternatives to SQL. After all, these tools are only set up to address an organization’s reporting needs, which constitute only one of the use cases for data queries and SQL. This is certainly a valid point, so allow me to clarify my reasoning a bit more.

While it is true that reporting is only one of many potential uses for SQL, it is nevertheless an extremely important one. There is a good reason why there are so many No-Code BI tools in the market—to address heightening demand from enterprises around the world — and therefore, it is worth taking a closer look at their almost inevitable shortcomings.

Source de l’article sur DZONE

/par

Qu’est-ce qu’un Data Warehouse ?

, ,

Un data warehouse (entrepôt de données) est un système de stockage numérique qui connecte et harmonise de grandes quantités de données provenant de nombreuses sources différentes. Il a pour but d’alimenter la Business Intelligence (BI), le reporting et l’analyse, ainsi que soutenir la conformité aux exigences réglementaires afin que les entreprises puissent exploiter leurs données et prendre des décisions intelligentes fondées sur les données. Les data warehouse stockent les données actuelles et historiques dans un seul et même endroit et constituent ainsi une source unique de vérité pour une organisation.

Les données sont envoyées vers un data warehouse à partir de systèmes opérationnels (tels qu’un système ERP ou CRM), de bases de données et de sources externes comme les systèmes partenaires, les appareils IoT, les applications météo ou les réseaux sociaux, généralement de manière régulière. L’émergence du cloud computing a changé la donne. Ces dernières années, le stockage des données a été déplacé de l’infrastructure sur site traditionnelle vers de multiples emplacements, y compris sur site, dans le Cloud privé et dans le Cloud public.

Les data warehouse modernes sont conçus pour gérer à la fois les données structurées et les données non structurées, comme les vidéos, les fichiers image et les données de capteurs. Certains utilisent les outils analytiques intégrés et la technologie de base de données in-memory (qui conserve l’ensemble de données dans la mémoire de l’ordinateur plutôt que dans l’espace disque) pour fournir un accès en temps réel à des données fiables et favoriser une prise de décision en toute confiance. Sans entreposage de données, il est très difficile de combiner des données provenant de sources hétérogènes, de s’assurer qu’elles sont au bon format pour les analyses et d’obtenir une vue des données sur le court terme et sur le long terme.

Schéma qui montre ce qu'est un data warehouse

Avantages de l’entreposage de données

Un data warehouse bien conçu constitue la base de tout programme de BI ou d’analyse réussi. Son principal objectif est d’alimenter les rapports, les tableaux de bord et les outils analytiques devenus indispensables aux entreprises d’aujourd’hui. Un entrepôt de données fournit les informations dont vous avez besoin pour prendre des décisions basées sur les données et vous aide à faire les bons choix, que ce soit pour le développement de nouveaux produits ou la gestion des niveaux de stock. Un data warehouse présente de nombreux avantages. En voici quelques-uns :

  • Un meilleur reporting analytique : grâce à l’entreposage de données, les décideurs ont accès à des données provenant de plusieurs sources et n’ont plus besoin de prendre des décisions basées sur des informations incomplètes.
  • Des requêtes plus rapides : les data warehouse sont spécialement conçus pour permettre l’extraction et l’analyse rapides des données. Avec un entrepôt de données, vous pouvez très rapidement demander de grandes quantités de données consolidées avec peu ou pas d’aide du service informatique.
  • Une amélioration de la qualité des données : avant de charger les données dans l’entrepôt de données le système met en place des nettoyages de données afin de garantir que les données sont converties dans un seul et même format dans le but de faciliter les analyses (et les décisions), qui reposent alors sur des données précises et de haute qualité.
  • Une visibilité sur les données historiques : en stockant de nombreuses données historiques, un data warehouse permet aux décideurs d’analyser les tendances et les défis passés, de faire des prévisions et d’améliorer l’organisation au quotidien.

Capture d'écran de la solution SAP Data Warehouse Cloud

Que peut stocker un data warehouse ?

Lorsque les data warehouse sont devenus populaires à la fin des années 1980, ils étaient conçus pour stocker des informations sur les personnes, les produits et les transactions. Ces données, appelées données structurées, étaient bien organisées et mises en forme pour en favoriser l’accès. Cependant, les entreprises ont rapidement voulu stocker, récupérer et analyser des données non structurées, comme des documents, des images, des vidéos, des e-mails, des publications sur les réseaux sociaux et des données brutes issues de capteurs.

Un entrepôt de données moderne peut contenir des données structurées et des données non structurées. En fusionnant ces types de données et en éliminant les silos qui les séparent, les entreprises peuvent obtenir une vue complète et globale sur les informations les plus précieuses.

Termes clés

Il est essentiel de bien comprendre un certain nombre de termes en lien avec les data warehouse. Les plus importants ont été définis ci-dessous. Découvrez d’autres termes et notre FAQ dans notre glossaire.

Data warehouse et base de données

Les bases de données et les data warehouse sont tous deux des systèmes de stockage de données, mais diffèrent de par leurs objectifs. Une base de données stocke généralement des données relatives à un domaine d’activité particulier. Un entrepôt de données stocke les données actuelles et historiques de l’ensemble de l’entreprise et alimente la BI et les outils analytiques. Les data warehouse utilisent un serveur de base de données pour extraire les données présentes dans les bases de données d’une organisation et disposent de fonctionnalités supplémentaires pour la modélisation des données, la gestion du cycle de vie des données, l’intégration des sources de données, etc.

Data warehouse et lac de données

Les data warehouse et les lacs de données sont utilisés pour stocker le Big Data, mais sont des systèmes de stockage très différents. Un data warehouse stocke des données qui ont été formatées dans un but spécifique, tandis qu’un lac de données stocke les données dans leur état brut, non traité, dont l’objectif n’a pas encore été défini. Les entrepôts de données et les lacs de données se complètent souvent. Par exemple, lorsque des données brutes stockées dans un lac s’avèrent utiles pour répondre à une question, elles peuvent être extraites, nettoyées, transformées et utilisées dans un data warehouse à des fins d’analyse. Le volume de données, les performances de la base de données et les coûts du stockage jouent un rôle important dans le choix de la solution de stockage adaptée.

Diagramme qui montre la différence entre un data warehouse et un lac de données

Data warehouse et datamart

Un datamart est une sous-section d’un data warehouse, partitionné spécifiquement pour un service ou un secteur d’activité, comme les ventes, le marketing ou la finance. Certains datamarts sont également créés à des fins opérationnelles autonomes. Alors qu’un data warehouse sert de magasin de données central pour l’ensemble de l’entreprise, un datamart utilise des données pertinentes à un groupe d’utilisateurs désigné. Ces utilisateurs peuvent alors accéder plus facilement aux données, accélérer leurs analyses et contrôler leurs propres données. Plusieurs datamarts sont souvent déployés dans un data warehouse.

Diagramme d'un data mart et de son fonctionnement

Quels sont les composants clés d’un data warehouse ?

Un data warehouse classique comporte quatre composants principaux : une base de données centrale, des outils ETL (extraction, transformation, chargement), des métadonnées et des outils d’accès. Tous ces composants sont conçus pour être rapides afin de vous assurer d’obtenir rapidement des résultats et vous permettre d’analyser les données à la volée.

Diagramme montrant les composants d'un data warehouse

  1. Base de données centrale : une base de données sert de fondement à votre data warehouse. Depuis le départ, on utilisait essentiellement des bases de données relationnelles standard exécutées sur site ou dans le Cloud. Mais en raison du Big Data, du besoin d’une véritable performance en temps réel et d’une réduction drastique des coûts de la RAM, les bases de données in-memory sont en train de monter en puissance.
  2. Intégration des données : les données sont extraites des systèmes source et modifiées pour aligner les informations afin qu’elles puissent être rapidement utilisées à des fins analytiques à l’aide de différentes approches d’intégration des données telles que l’ETL (extraction, transformation, chargement) et les services de réplication de données en temps réel, de traitement en masse, de transformation des données et de qualité et d’enrichissement des données.
  3. Métadonnées : les métadonnées sont des données relatives à vos données. Elles indiquent la source, l’utilisation, les valeurs et d’autres fonctionnalités des ensembles de données présents dans votre data warehouse. Il existe des métadonnées de gestion, qui ajoutent du contexte à vos données, et des métadonnées techniques, qui décrivent comment accéder aux données, définissent leur emplacement ainsi que leur structure.
  4. Outils d’accès du data warehouse : les outils d’accès permettent aux utilisateurs d’interagir avec les données de votre data warehouse. Exemples d’outils d’accès : outils de requête et de reporting, outils de développement d’applications, outils d’exploration de données et outils OLAP.

Architecture de data warehouse 

Auparavant, les data warehouse fonctionnaient par couches, lesquelles correspondaient au flux des données de gestion.

Diagramme de l'architecture d'un data warehouse

Couche de données

Les données sont extraites de vos sources, puis transformées et chargées dans le niveau inférieur à l’aide des outils ETL. Le niveau inférieur comprend votre serveur de base de données, les datamarts et les lacs de données. Les métadonnées sont créées à ce niveau et les outils d’intégration des données, tels que la virtualisation des données, sont utilisés pour combiner et agréger les données en toute transparence.

Couche sémantique

Au niveau intermédiaire, les serveurs OLAP (Online Analytical Processing) et OLTP (Online Transaction Processing) restructurent les données pour favoriser des requêtes et des analyses rapides et complexes.

Couche analytique

Le niveau supérieur est la couche du client frontend. Il contient les outils d’accès du data warehouse qui permettent aux utilisateurs d’interagir avec les données, de créer des tableaux de bord et des rapports, de suivre les KPI, d’explorer et d’analyser les données, de créer des applications, etc. Ce niveau inclut souvent un workbench  ou une zone de test pour l’exploration des données et le développement de nouveaux modèles de données.

Un data warehouse standard comprend les trois couches définies ci-dessus. Aujourd’hui, les entrepôts de données modernes combinent OLTP et OLAP dans un seul système.

Les data warehouse, conçus pour faciliter la prise de décision, ont été essentiellement créés et gérés par les équipes informatiques. Néanmoins, ces dernières années, ils ont évolué pour renforcer l’autonomie des utilisateurs fonctionnels, réduisant ainsi leur dépendance aux équipes informatiques pour accéder aux données et obtenir des informations exploitables. Parmi les fonctionnalités clés d’entreposage de données qui ont permis de renforcer l’autonomie des utilisateurs fonctionnels, on retrouve les suivantes :

  1. La couche sémantique ou de gestion fournit des expressions en langage naturel et permet à tout le monde de comprendre instantanément les données, de définir des relations entre les éléments dans le modèle de données et d’enrichir les zones de données avec de nouvelles informations.
  2. Les espaces de travail virtuels permettent aux équipes de regrouper les connexions et modèles de données dans un lieu sécurisé et géré, afin de mieux collaborer au sein d’un espace commun, avec un ensemble de données commun.
  3. Le Cloud a encore amélioré la prise de décision en permettant aux employés de disposer d’un large éventail d’outils et de fonctionnalités pour effectuer facilement des tâches d’analyse des données. Ils peuvent connecter de nouvelles applications et de nouvelles sources de données sans avoir besoin de faire appel aux équipes informatiques.

 

The Future of Analytics Has Arrived

Click the button below to load the content from YouTube.

Always allow YouTube

The Future of Analytics Has Arrived

Kate Wright, responsable de la Business Intelligence augmentée chez SAP, évoque la valeur d’un data warehouse Cloud moderne.

Les 7 principaux avantages d’un data warehouse Cloud  

Les data warehouse Cloud gagnent en popularité, à juste titre. Ces entrepôts modernes offrent plusieurs avantages par rapport aux versions sur site traditionnelles. Voici les sept principaux avantages d’un data warehouse Cloud :

  1. Déploiement rapide : grâce à l’entreposage de données Cloud, vous pouvez acquérir une puissance de calcul et un stockage de données presque illimités en quelques clics seulement, et créer votre propre data warehouse, datamarts et systèmes de test en quelques minutes.
  2. Faible coût total de possession (TCO) : les modèles de tarification du data warehouse en tant que service (DWaaS) sont établis de sorte que vous payez uniquement les ressources dont vous avez besoin, lorsque vous en avez besoin. Vous n’avez pas besoin de prévoir vos besoins à long terme ou de payer pour d’autres traitements tout au long de l’année. Vous pouvez également éviter les coûts initiaux tels que le matériel coûteux, les salles de serveurs et le personnel de maintenance. Séparer les coûts du stockage des coûts informatiques vous permet également de réduire les dépenses.
  3. Élasticité : un data warehouse Cloud vous permet d’ajuster vos capacités à la hausse ou à la baisse selon vos besoins. Le Cloud offre un environnement virtualisé et hautement distribué capable de gérer d’immenses volumes de données qui peuvent diminuer ou augmenter.
  4. Sécurité et restauration après sinistre : dans de nombreux cas, les data warehouse Cloud apportent une sécurité des données et un chiffrage plus forts que les entrepôts sur site. Les données sont également automatiquement dupliquées et sauvegardées, ce qui vous permet de minimiser le risque de perte de données.
  5. Technologies en temps réel : les data warehouse Cloud basés sur la technologie de base de données in-memory présentent des vitesses de traitement des données extrêmement rapides, offrant ainsi des données en temps réel et une connaissance instantanée de la situation.
  6. Nouvelles technologies : les data warehouse Cloud vous permettent d’intégrer facilement de nouvelles technologies telles que l’apprentissage automatique, qui peuvent fournir une expérience guidée aux utilisateurs fonctionnels et une aide décisionnelle sous la forme de suggestions de questions à poser, par exemple.
  7. Plus grande autonomie des utilisateurs fonctionnels : les data warehouse Cloud offrent aux employés, de manière globale et uniforme, une vue unique sur les données issues de nombreuses sources et un vaste ensemble d’outils et de fonctionnalités pour effectuer facilement des tâches d’analyse des données. Ils peuvent connecter de nouvelles applications et de nouvelles sources de données sans avoir besoin de faire appel aux équipes informatiques.
Capture d'écran de la solution SAP Data Warehouse Cloud
L’entreposage de données prend en charge l’analyse complète des dépenses de l’entreprise par service, fournisseur, région et statut, pour n’en citer que quelques-unes.

Meilleures pratiques concernant l’entreposage des données

Pour atteindre vos objectifs et économiser du temps et de l’argent, il est recommandé de suivre certaines étapes éprouvées lors de la création d’un data warehouse ou l’ajout de nouvelles applications à un entrepôt existant. Certaines sont axées sur votre activité tandis que d’autres s’inscrivent dans le cadre de votre programme informatique global. Vous pouvez commencer avec la liste de meilleures pratiques ci-dessous, mais vous en découvrirez d’autres au fil de vos collaborations avec vos partenaires technologiques et de services.

Meilleures pratiques métier

Meilleures pratiques informatiques

Définir les informations dont vous avez besoin. Une fois que vous aurez cerné vos besoins initiaux, vous serez en mesure de trouver les sources de données qui vous aideront à les combler. La plupart du temps, les groupes commerciaux, les clients et les fournisseurs auront des recommandations à vous faire. 

Surveiller la performance et la sécurité. Les informations de votre data warehouse sont certes précieuses, mais elles doivent quand même être facilement accessibles pour apporter de la valeur à l’entreprise. Surveillez attentivement l’utilisation du système pour vous assurer que les niveaux de performance sont élevés. 

Documenter l’emplacement, la structure et la qualité de vos données actuelles. Vous pouvez ensuite identifier les lacunes en matière de données et les règles de gestion pour transformer les données afin de répondre aux exigences de votre entrepôt.

Gérer les normes de qualité des données, les métadonnées, la structure et la gouvernance. De nouvelles sources de données précieuses sont régulièrement disponibles, mais nécessitent une gestion cohérente au sein d’un data warehouse. Suivez les procédures de nettoyage des données, de définition des métadonnées et de respect des normes de gouvernance.

Former une équipe. Cette équipe doit comprendre les dirigeants, les responsables et le personnel qui utiliseront et fourniront les informations. Par exemple, identifiez le reporting standard et les KPI dont ils ont besoin pour effectuer leurs tâches.

Fournir une architecture agile. Plus vos unités d’affaires et d’entreprise utiliseront les données, plus vos besoins en matière de datamarts et d’entrepôts augmenteront. Une plate-forme flexible s’avérera bien plus utile qu’un produit limité et restrictif. 

Hiérarchiser vos applications de data warehouse. Sélectionnez un ou deux projets pilotes présentant des exigences raisonnables et une bonne valeur commerciale.

Automatiser les processus tels que la maintenance. Outre la valeur ajoutée apportée à la Business Intelligence, l’apprentissage automatique peut automatiser les fonctions de gestion technique du data warehouse pour maintenir la vitesse et réduire les coûts d’exploitation.

Choisir un partenaire technologique compétent pour l’entrepôt de données. Ce dernier doit offrir les services d’implémentation et l’expérience dont vous avez besoin pour la réalisation de vos projets. Assurez-vous qu’il puisse répondre à vos besoins en déploiement, y compris les services Cloud et les options sur site. 

Utiliser le Cloud de manière stratégique. Les unités d’affaires et les services ont des besoins en déploiement différents. Utilisez des systèmes sur site si nécessaire et misez sur des data warehouse Cloud pour bénéficier d’une évolutivité, d’une réduction des coûts et d’un accès sur téléphone et tablette.  

Développer un bon plan de projet. Travaillez avec votre équipe sur un plan et un calendrier réalistes qui rendent possible les communications et le reporting de statut.

En résumé 

Les data warehouse modernes, et, de plus en plus, les data warehouse Cloud, constitueront un élément clé de toute initiative de transformation numérique pour les entreprises mères et leurs unités d’affaires. Les data warehouse exploitent les systèmes de gestion actuels, en particulier lorsque vous combinez des données issues de plusieurs systèmes internes avec de nouvelles informations importantes provenant d’organisations externes.

Les tableaux de bord, les indicateurs de performance clés, les alertes et le reporting répondent aux exigences des cadres dirigeants, de la direction et du personnel, ainsi qu’aux besoins des clients et des fournisseurs importants. Les data warehouse fournissent également des outils d’exploration et d’analyse de données rapides et complexes, et n’ont pas d’impact sur les performances des autres systèmes de gestion.

Pictogramme qui représente un entrepôt de données

Découvrez la solution SAP Data Warehouse Cloud

Unifiez vos données et analyses pour prendre des décisions avisées et obtenir la flexibilité nécessaire pour un contrôle efficace des coûts, notamment grâce à un paiement selon l’utilisation.

En savoir plus

Publié en anglais sur insights.sap.com

The post Qu’est-ce qu’un Data Warehouse ? appeared first on SAP France News.

Source de l’article sur sap.com

/par

Qu’est-ce que le Big Data ?

, ,

Le Big Data est le flot d’informations dans lequel nous nous trouvons tous les jours (des zettaoctets de données provenant de nos ordinateurs, des terminaux mobiles et des capteurs). Ces données sont utilisées par les entreprises pour orienter la prise de décisions, améliorer les processus et les stratégies, et créer des produits, des services et des expériences centrés sur le client.

Le Big Data désigne non seulement de gros volumes de données, mais aussi des données de nature variée et complexe. Il dépasse généralement la capacité des bases de données traditionnelles à capturer, gérer et traiter ce type de données. De plus, le Big Data peut provenir de n’importe où et de tout ce que nous sommes en mesure de surveiller numériquement. Les satellites, les appareils IoT (Internet des Objets), les radars et les tendances des réseaux sociaux ne sont que quelques exemples parmi la multitude de sources de données explorées et analysées pour rendre les entreprises plus résilientes et compétitives.

L’importance de l’analyse du Big Data

La véritable valeur du Big Data se mesure d’après votre capacité à l’analyser et à le comprendre. L’intelligence artificielle (IA), le machine learning et les technologies de base de données modernes permettent de visualiser et d’analyser le Big Data pour fournir des informations exploitables en temps réel. L’analyse du Big Data aide les entreprises à exploiter leurs données en vue de saisir de nouvelles opportunités et de créer de nouveaux modèles de gestion. Comme l’a si bien dit Geoffrey Moore, auteur et analyste de gestion, « sans analyse du Big Data, les entreprises sont aveugles et sourdes, errant sur le Web comme des cerfs sur une autoroute ».

How does Big Data and Analytics work? Simply Explained

Click the button below to load the content from YouTube.

Always allow YouTube

How does Big Data and Analytics work? Simply Explained

L’évolution du Big Data

Aussi inconcevable que cela puisse paraître aujourd’hui, l’Apollo Guidance Computer a emmené l’homme sur la lune avec moins de 80 kilo-octets de mémoire. Depuis, la technologie informatique s’est développée à un rythme exponentiel, de même que la génération de données. La capacité technologique mondiale à stocker des données a doublé tous les trois ans depuis les années 1980. Il y a un peu plus de 50 ans, lors du lancement d’Apollo 11, la quantité de données numériques générées dans le monde aurait pu tenir dans un ordinateur portable. Aujourd’hui, l’IDC estime ce chiffre à 44 zettaoctets (soit 44 000 milliards de gigaoctets) et prévoit qu’il atteindra 163 zettaoctets en 2025.

44 zettaoctets de données numériques aujourd’hui, IDC

163 zettaoctets de données numériques en 2025, IDC

Plus les logiciels et la technologie se développent, moins les systèmes non numériques sont viables. Le traitement des données générées et collectées numériquement requiert des systèmes de data management plus avancés. En outre, la croissance exponentielle des plates-formes de réseaux sociaux, des technologies pour smartphones et des appareils IoT connectés numériquement ont contribué à l’émergence du Big Data.

Types de Big Data : que sont les données structurées et non structurées ?

Les ensembles de données sont généralement catégorisés en trois types, selon leur structure et la complexité de leur indexation.

Illustration des différents types de big data : données structurées, données non-structurées, données semi-structurées.

  1. Données structurées : ce type de données est le plus simple à organiser et à rechercher. Il peut inclure des données financières, des machine logs et des détails démographiques. Une feuille de calcul Microsoft Excel, avec sa mise en forme de colonnes et de lignes prédéfinies, offre un moyen efficace de visualiser les données structurées. Ses composants peuvent facilement être catégorisés, ce qui permet aux concepteurs et administrateurs de bases de données de définir des algorithmes simples pour la recherche et l’analyse. Même lorsque les données structurées sont très volumineuses, elles ne sont pas nécessairement qualifiées de Big Data, car elles sont relativement simples à gérer et ne répondent donc pas aux critères qui définissent le Big Data. Traditionnellement, les bases de données utilisent un langage de programmation appelé SQL (Structured Query Language) pour gérer les données structurées. SQL a été développé par IBM dans les années 1970 pour permettre aux développeurs de créer et gérer des bases de données relationnelles (de type feuille de calcul) qui commençaient à émerger à l’époque.
  2. Données non structurées : cette catégorie de données peut inclure des publications sur les réseaux sociaux, des fichiers audio, des images et des commentaires client ouverts. Ces données ne peuvent pas être facilement capturées dans les bases de données relationnelles standard en lignes et colonnes. Auparavant, les entreprises qui voulaient rechercher, gérer ou analyser de grandes quantités de données non structurées devaient utiliser des processus manuels laborieux. La valeur potentielle liée à l’analyse et à la compréhension de ces données ne faisait aucun doute, mais le coût associé était souvent trop exorbitant pour en valoir la peine. Compte tenu du temps nécessaire, les résultats étaient souvent obsolètes avant même d’être générés. Contrairement aux feuilles de calcul ou aux bases de données relationnelles, les données non structurées sont généralement stockées dans des lacs de données, des entrepôts de données et des bases de données NoSQL.
  3. Données semi-structurées : comme leur nom l’indique, les données semi-structurées intègrent à la fois des données structurées et non structurées. Les e-mails en sont un bon exemple, car ils incluent des données non structurées dans le corps du message, ainsi que d’autres propriétés organisationnelles telles que l’expéditeur, le destinataire, l’objet et la date. Les dispositifs qui utilisent le marquage géographique, les horodatages ou les balises sémantiques peuvent également fournir des données structurées avec un contenu non structuré. Une image de smartphone non identifiée, par exemple, peut indiquer qu’il s’agit d’un selfie et préciser l’heure et l’endroit où il a été pris. Une base de données moderne exécutant une technologie d’IA peut non seulement identifier instantanément différents types de données, mais aussi générer des algorithmes en temps réel pour gérer et analyser efficacement les ensembles de données disparates.

Les sources du Big Data

Les objets générateurs de données se développent à un rythme spectaculaire, depuis les drones jusqu’aux grille-pains. Toutefois, à des fins de catégorisation, les sources de données sont généralement divisées en trois types :

Illustration des différentes sources du big data : données sociales, données machine, données altérables.

Données sociales

Comme leur nom l’indique, les données sociales sont générées par les réseaux sociaux : commentaires, publications, images et, de plus en plus, vidéos. En outre, compte tenu de l’ubiquité croissante des réseaux 4G et 5G, on estime que le nombre de personnes dans le monde qui regardent régulièrement des contenus vidéo sur leur smartphone atteindra 2,72 milliards en 2023. Bien que les tendances concernant les réseaux sociaux et leur utilisation évoluent rapidement et de manière imprévisible, leur progression en tant que générateurs de données numériques est incontestable.

Données machine

Les machines et appareils IoT sont équipés de capteurs et ont la capacité d’envoyer et de recevoir des données numériques. Les capteurs IoT aident les entreprises à collecter et traiter les données machine provenant des appareils, des véhicules et des équipements. Globalement, le nombre d’objets générateurs de données augmente rapidement, des capteurs météorologiques et de trafic jusqu’à la surveillance de la sécurité. Selon l’IDC, il y aura plus de 40 milliards d’appareils IoT en 2025, générant près de la moitié des données numériques mondiales.

Données altérables

Il s’agit des données parmi les plus évolutives au monde. Par exemple, un détaillant international traite plus d’un million de transactions client par heure. Si l’on ajoute à cela les transactions d’achat et bancaires au niveau mondial, on comprend mieux le volume phénoménal de données générées. En outre, les données altérables contiennent de plus en plus de données semi-structurées, y compris des images et des commentaires, ce qui les rend d’autant plus complexes à gérer et à traiter.

Les cinq V du Big Data

Ce n’est pas parce qu’un ensemble de données est volumineux qu’il s’agit nécessairement de Big Data. Pour être qualifiées en tant que telles, les données doivent posséder au minimum les cinq caractéristiques suivantes :

Illustration des 5 V du Big Data : Volume, Vitesse, Variété, Véracité, Valeur.

  1. Volume : même si le volume n’est pas le seul composant qui constitue le Big Data, il s’agit d’une de ses caractéristiques principales. Pour gérer et exploiter pleinement le Big Data, des algorithmes avancés et des analyses pilotées par l’IA sont nécessaires. Mais avant tout cela, il doit exister un moyen fiable et sécurisé de stocker, d’organiser et d’extraire les téraoctets de données détenus par les grandes entreprises.
  2. Vitesse : auparavant, les données générées devaient ensuite être saisies dans un système de base de données traditionnel (souvent manuellement) avant de pouvoir être analysées ou extraites. Aujourd’hui, grâce à la technologie du Big Data, les bases de données sont capables de traiter, d’analyser et de configurer les données lorsqu’elles sont générées, parfois en l’espace de quelques millisecondes. Pour les entreprises, cela signifie que les données en temps réel peuvent être exploitées pour saisir des opportunités financières, répondre aux besoins des clients, prévenir la fraude et exécuter toute autre activité pour laquelle la rapidité est un facteur clé.
  3. Variété : les ensembles de données contenant uniquement des données structurées ne relèvent pas nécessairement du Big Data, quel que soit leur volume. Le Big Data comprend généralement des combinaisons de données structurées, non structurées et semi-structurées. Les solutions de gestion des données et les bases de données traditionnelles n’offrent pas la flexibilité et le périmètre nécessaires pour gérer les ensembles de données complexes et disparates qui constituent le Big Data.
  4. Véracité : bien que les bases de données modernes permettent aux entreprises d’accumuler et d’identifier des volumes considérables de Big Data de différents types, elles ne sont utiles que si elles sont précises, pertinentes et opportunes. S’agissant des bases de données traditionnelles alimentées uniquement avec des données structurées, le manque de précision des données était souvent dû à des erreurs syntaxiques et des fautes de frappe. Les données non structurées présentent toute une série de nouvelles difficultés en matière de véracité. Les préjugés humains, le « bruit social » et les problèmes liés à la provenance des données peuvent avoir un impact sur la qualité des données.
  5. Valeur : les résultats de l’analyse du Big Data sont souvent fascinants et inattendus. Mais pour les entreprises, l’analyse du Big Data doit fournir une visibilité qui les aident à gagner en compétitivité et en résilience, et à mieux servir leurs clients. Les technologies modernes du Big Data offrent la possibilité de collecter et d’extraire des données susceptibles de procurer un avantage mesurable à la fois en termes de résultats et de résilience opérationnelle.

Avantages du Big Data

Les solutions modernes de gestion du Big Data permettent aux entreprises de transformer leurs données brutes en informations pertinentes avec une rapidité et une précision sans précédent.

  • Développement de produits et de services :l’analyse du Big Data permet aux développeurs de produits d’analyser les données non structurées, telles que les témoignages clients et les tendances culturelles, et de réagir rapidement.
  • Maintenance prédictive : dans le cadre d’uneenquête internationale, McKinsey a constaté que l’analyse du Big Data émanant des machines IoT pouvait réduire les coûts de maintenance des équipements jusqu’à 40 %.
  • Expérience client :dans le cadre d’une enquête réalisée en 2020 auprès de responsables d’entreprises du monde entier, Gartner a déterminé que « les entreprises en croissance collectent plus activement des données sur l’expérience client que les entreprises à croissance nulle ». L’analyse du Big Data permet aux entreprises d’améliorer et de personnaliser l’expérience de leurs clients avec leur marque.
  • Gestion de la résilience et des risques :la pandémie de COVID-19 a été une véritable prise de conscience pour de nombreux dirigeants d’entreprise qui se sont rendu compte à quel point leur activité était vulnérable. La visibilité offerte par le Big Data peut aider les entreprises à anticiper les risques et à se préparer aux imprévus.
  • Économies et efficacité accrue : lorsque les entreprises effectuent une analyse avancée du Big Data pour tous les processus de l’organisation, elles peuvent non seulement détecter les inefficacités, mais aussi déployer des solutions rapides et efficaces.
  • Amélioration de la compétitivité : les informations obtenues grâce au Big Data peuvent aider les entreprises à réaliser des économies, à satisfaire leurs clients, à concevoir de meilleurs produits et à innover dans les opérations de gestion.

IA et Big Data

La gestion du Big Data repose sur des systèmes capables de traiter et d’analyser efficacement de gros volumes d’informations disparates et complexes. À cet égard, le Big Data et l’IA ont une relation de réciprocité. Sans l’IA pour l’organiser et l’analyser, le Big Data n’aurait pas grande utilité. Et pour que l’IA puisse générer des analyses suffisamment fiables pour être exploitables, le Big Data doit contenir des ensembles de données suffisamment étendus. Comme l’indique Brandon Purcell, analyste chez Forrester Research, « les données sont au cœur de l’intelligence artificielle. Un système d’IA doit apprendre des données pour remplir sa fonction ».

« Les données sont au cœur de l’intelligence artificielle. Un système d’IA doit apprendre des données pour remplir sa fonction ».

Brandon Purcell, analyste, Forrester Research

Machine learning et Big Data

Les algorithmes de machine learning définissent les données entrantes et identifient des modèles associés. Ces informations permettent de prendre des décisions avisées et d’automatiser les processus. Le machine learning se nourrit du Big Data, car plus les ensembles de données analysés sont fiables, plus le système est susceptible d’apprendre, de faire évoluer et d’adapter ses processus en continu.

Technologies du Big Data

Architecture du Big Data

À l’instar de l’architecture du bâtiment, l’architecture du Big Data fournit un modèle pour la structure de base déterminant la manière dont les entreprises gèrent et analysent leurs données. L’architecture du Big Data mappe les processus requis pour gérer le Big Data à travers quatre « couches » de base, des sources de données au stockage des données, puis à l’analyse du Big Data, et enfin via la couche de consommation dans laquelle les résultats analysés sont présentés en tant que Business Intelligence.

‍Analyse du Big Data

Ce processus permet de visualiser les données de manière pertinente grâce à l’utilisation de la modélisation des données et d’algorithmes spécifiques aux caractéristiques du Big Data. Dans le cadre d’une étude approfondie et d’une enquête de la MIT Sloan School of Management, plus de 2 000 dirigeants d’entreprise ont été interrogés sur leur expérience en matière d’analyse du Big Data. Comme on pouvait s’y attendre, ceux qui s’étaient impliqués dans le développement de stratégies de gestion du Big Data ont obtenu les résultats les plus significatifs.

Big Data et Apache Hadoop

Imaginez une grande boîte contenant 10 pièces de 10 centimes et 100 pièces de 5 centimes. Puis imaginez 10 boîtes plus petites, côte à côte, contenant chacune 10 pièces de 5 centimes et une seule pièce de 10 centimes. Dans quel scénario sera-t-il plus facile de repérer les pièces de 10 centimes ? Hadoop fonctionne sur ce principe. Il s’agit d’une structure en open source permettant de gérer le traitement du Big Data distribué sur un réseau constitué de nombreux ordinateurs connectés. Ainsi, au lieu d’utiliser un gros ordinateur pour stocker et traiter toutes les données, Hadoop regroupe plusieurs ordinateurs sur un réseau pouvant évoluer presque à l’infini et analyse les données en parallèle. Ce processus utilise généralement un modèle de programmation appelé MapReduce, qui coordonne le traitement du Big Data en regroupant les ordinateurs distribués.

Lacs de données, entrepôts de données et NoSQL

Les bases de données traditionnelles de type feuille de calcul SQL servent à stocker les données structurées. Le Big Data non structuré et semi-structuré nécessite des modèles de stockage et de traitement uniques, car il ne peut pas être indexé et catégorisé. Les lacs de données, les entrepôts de données et les bases de données NoSQL sont des référentiels de données capables de gérer les ensembles de données non traditionnels. Un lac de données est un vaste pool de données brutes qui n’ont pas encore été traitées. Un entrepôt de données est un référentiel de données qui ont déjà été traitées à des fins spécifiques. Les bases de données NoSQL fournissent un schéma flexible qui peut être modifié en fonction de la nature des données à traiter. Ces systèmes présentent chacun des avantages et des inconvénients, c’est pourquoi de nombreuses entreprises utilisent plutôt une combinaison de ces référentiels de données pour répondre au mieux à leurs besoins.

Bases de données in-memory

Les bases de données traditionnelles sur disque ont été conçues pour SQL et les bases de données relationnelles. Bien qu’elles soient capables de traiter de gros volumes de données structurées, elles ne sont pas adaptées au stockage et au traitement des données non structurées. Dans le cas des bases de données in-memory, le traitement et l’analyse se font entièrement dans la RAM, pour ne pas avoir à extraire les données d’un système sur disque. Les bases de données in-memory reposent également sur des architectures distribuées. Cela signifie qu’elles peuvent atteindre des vitesses beaucoup plus élevées en utilisant le traitement parallèle, par rapport aux modèles de base de données sur disque à un seul nœud.

Fonctionnement du Big Data

Le Big Data remplit ses fonctions lorsque son analyse fournit des informations pertinentes et exploitables qui améliorent l’activité de manière significative. Pour se préparer à la transition vers le Big Data, les entreprises doivent s’assurer que leurs systèmes et processus sont en mesure de collecter, de stocker et d’analyser le Big Data.

Illustration du fonctionnement du Big Data : collecter le Big Data, stocker le Big Data, Analyser le Big Data

  1. Collecter le Big Data.Une grande partie du Big Data est constituée d’énormes ensembles de données non structurées qui émanent de sources disparates et incohérentes. Les bases de données traditionnelles sur disque et les mécanismes d’intégration des données ne sont pas suffisamment performants pour les gérer. La gestion du Big Data requiert des solutions de base de données in-memory et des solutions logicielles spécifiques de l’acquisition de ce type de données.
  2. Stocker le Big Data.Comme son nom l’indique, le Big Data est volumineux. De nombreuses entreprises utilisent des solutions de stockage sur site pour leurs données existantes et espèrent réaliser des économies en réutilisant ces référentiels pour traiter le Big Data. Toutefois, le Big Data est plus performant lorsqu’il n’est pas soumis à des contraintes de taille et de mémoire. Les entreprises qui n’intègrent pas dès le départ des solutions de stockage Cloud dans leurs modèles de Big Data le regrettent souvent quelques mois plus tard.
  3. Analyser le Big Data. Il est impossible d’exploiter pleinement le potentiel du Big Data sans utiliser les technologies d’IA et de machine learning pour l’analyser. L’un des cinq V du Big Data est la « vitesse ». Pour être utiles et exploitables, les informations du Big Data doivent être générées rapidement. Les processus d’analyse doivent s’auto-optimiser et tirer régulièrement profit de l’expérience, un objectif qui ne peut être atteint qu’avec l’IA et les technologies modernes de bases de données.

Applications du Big Data

La visibilité offerte par le Big Data est bénéfique à la plupart des entreprises ou secteurs d’activité. Cependant, ce sont les grandes entreprises aux missions opérationnelles complexes qui en tirent souvent le meilleur parti.

Finance

Dans le Journal of Big Data, une étude de 2020 souligne que le Big Data « joue un rôle important dans l’évolution du secteur des services financiers, en particulier dans le commerce et les investissements, la réforme fiscale, la détection et les enquêtes en matière de fraude, l’analyse des risques et l’automatisation ». Le Big Data a également contribué à transformer le secteur financier en analysant les données et les commentaires des clients pour obtenir les informations nécessaires à l’amélioration de la satisfaction et de l’expérience client. Les ensembles de données altérables figurent parmi les plus importants et les plus évolutifs au monde. L’adoption croissante de solutions avancées de gestion du Big Data permettra aux banques et aux établissements financiers de protéger ces données et de les utiliser d’une manière qui bénéficie à la fois au client et à l’entreprise.

Hygiène et santé
publique

L’analyse du Big Data permet aux professionnels de santé d’établir des diagnostics plus précis, fondés sur des données avérées. De plus, le Big Data aide les administrateurs d’hôpitaux à identifier les tendances, à gérer les risques et à limiter les dépenses inutiles, afin de consacrer le maximum de fonds aux soins des patients et à la recherche. En cette période de pandémie, les chercheurs du monde entier s’efforcent de traiter et de gérer au mieux la COVID-19, et le Big Data joue un rôle fondamental dans ce processus. Un article de juillet 2020 paru dans The Scientist explique comment des équipes médicales ont pu collaborer et analyser le Big Data afin de lutter contre le coronavirus : « Nous pourrions transformer la science clinique en exploitant les outils et les ressources du Big Data et de la science des données d’une manière que nous pensions impossible ».

Transport et logistique

L’« effet Amazon » est un terme qui définit la manière dont Amazon a fait de la livraison en un jour la nouvelle norme, les clients exigeant désormais la même vitesse d’expédition pour tout ce qu’ils commandent en ligne. Le magazine Entrepreneur souligne qu’en raison de l’effet Amazon, « la course logistique au dernier kilomètre ne fera que s’intensifier ». Les entreprises du secteur s’appuient de plus en plus sur l’analyse du Big Data pour optimiser la planification des itinéraires, la consolidation des charges et les mesures d’efficacité énergétique.

Éducation

Depuis l’apparition de la pandémie, les établissements d’enseignement du monde entier ont dû réinventer leurs programmes d’études et leurs méthodes d’enseignement afin de faciliter l’apprentissage à distance. L’un des principaux défis a été de trouver des moyens fiables d’analyser et d’évaluer la performance des étudiants et l’efficacité globale des méthodes d’enseignement en ligne. Un article paru en 2020 au sujet de l’impact du Big Data sur la formation et l’apprentissage en ligne indique, au sujet des enseignants, que « le Big Data les aide à gagner en confiance pour personnaliser l’enseignement, développer l’apprentissage mixte, transformer les systèmes d’évaluation et promouvoir l’apprentissage continu ».

Énergie et services publics

Selon le U.S. Bureau of Labor Statistics, le service public consacre plus de 1,4 milliard de dollars aux relevés de compteurs et s’appuie généralement sur des compteurs analogiques et des lectures manuelles peu fréquentes. Les relevés de compteurs intelligents fournissent des données numériques plusieurs fois par jour et, grâce à l’analyse du Big Data, ces informations permettent d’accroître l’efficacité de la consommation énergétique, ainsi que la précision des prix et des prévisions. En outre, lorsque les agents n’ont plus à se charger des relevés de compteurs, la saisie et l’analyse des données peuvent permettre de les réaffecter plus rapidement là où les réparations et les mises à niveau sont les plus urgentes.

Publié en anglais sur insights.sap.com

The post Qu’est-ce que le Big Data ? appeared first on SAP France News.

Source de l’article sur sap.com

/par