Articles

The need for data engineers and analysts to run interactive, ad hoc analytics on large amounts of data continues to grow explosively. Data platform teams are increasingly using the federated SQL query engine PrestoDB to run such analytics for a variety of use cases across a wide range of data lakes and databases in-place, without the need to move data. PrestoDB is hosted by the Linux Foundation’s Presto Foundation and is the same project running at massive scale at Facebook, Uber and Twitter.

Let’s look at some important characteristics of Presto that account for its growing adoption.  

Source de l’article sur DZONE

In the digital era, Big Data has drastically changed the landscape of business and risk management. With unlimited access to information about potential customers and user behavior, companies are using analytics to improve their risk management practices in more advanced ways than ever before.


Big Data Analytics

Techwave’s Big data analytics consulting services help you maximize revenue options and win loyal and happy customers.

Why Big Data Is Important

Big data has been around a long time, but it has taken a while for organizations to see the usefulness of big data. Big data doesn’t just track the consumer when they are online – it provides a history of behaviors that big data services can analyze and extrapolate from. If the consumer uses smart devices, makes a purchase with credit cards or checks, or visits establishments that use smart devices, they leave a data trail that can be analyzed by big data consulting to determine possible trends. These trends help businesses understand what drives their customers to make certain purchases over others.

Source de l’article sur DZONE

Two years ago, our  team started developing and training a neural network for recognizing cars in parking lots. During this time, we have collected a dataset of more than 26 thousand images, connected 376 cameras to the car recognition service, 122 parking lots, of which only 5400 parking spaces. We have developed a mobile application displaying free and occupied parking spaces, and also created an SpotVision API that anyone can use to solve business problems.

 

Source de l’article sur DZONE

As businesses become AI-ready, efficient data management has acquired an unprecedented role in ensuring their success. Bottlenecks in the data pipeline can cause massive revenue loss while having a negative impact on reputation and brand value. Consequently, there’s a growing need for agility and resilience in data preparation, analysis, and implementation.

On the one hand, data-analytics teams extract value from incoming data, preparing and organizing it for the production cycle. On the other, they facilitate feedback loops that enable continuous integration and deployment (CI/CD) of new ideas.

Source de l’article sur DZONE

A data scientist extracts manipulate and generate insights from humongous data. To leverage the power of data science, data scientists apply statistics, programming languages, data visualization, databases, etc.

So, when we observe the required skills for a data scientist in any job description, we understand that data science is mainly associated with Python, SQL, and R. The common skills and knowledge expected from a data scientist in the data science industry includes – Probability, Statistics, Calculus, Algebra, Programming, data visualization, machine learning, deep learning, and cloud computing. Also, they expect non-technical skills like business acumen, communication, and intellectual curiosity.

Source de l’article sur DZONE

These statistics represent the universal interest and the importance of business intelligence software across the world.

The worldwide market size for business intelligence and analytics software applications is forecast to reach 16.5 billion in 2023
[Source: Statista]

Source de l’article sur DZONE


Agile 

AI

Big Data

Cloud

Database

DevOps

Integration

  • Mulesoft 4: Continuous Delivery/Deployment With Maven by Ashok S — This article is a great example of what we want every tutorial to look like on DZone. The main aim of this article is to provide a standard mechanism to release project artifacts and deploy to Anypoint Platform, from the local machine or configure in continuous delivery pipelines.
  • Integration With Social Media Platforms Series (Part 1) by Sravan Lingam — This article helps you to build a RESTful API through MuleSoft that integrates with LinkedIn and shares a post on behalf of one’s personal account. I like this article because, in the age of social media, it’s so important for businesses to be connected and integrated!

IoT

Java

Microservices

Open Source

Performance

  • What Is Big O Notation? by Huyen Pham — Aside from a silly name, this article is an example of an in-depth analysis on a little-spoken-about concept. In this article, take a look at a short guide to get to know Big O Notation and its usages.
  • Is Python the Future of Programming? by Shormisthsa Chatterjee — Where is programming going? This article attempts to answer this question in a well-rounded way. The author writes, "Python will be the language of the future. Testers will have to upgrade their skills and learn these languages to tame the AI and ML tools".

Security

Web Dev

  • A Better Way to Learn Python by Manas Dash: There’s so many resources available for learning Python — so many that it’s difficult to find a good and flexible place to start. Check out Manas’ curated list of courses, articles, projects, etc. to get your Python journey started today. 
  • Discovering Rust by Joaquin Caro: I’m a sucker for good Rust content, as there’s still so many gaps in what’s available. Joaquin does a great job of giving readers his perspective of the language’s features in a way that traditional docs just 

Source de l’article sur DZONE

Alors que le confinement – mis en place pour ne par faire de nouvelles victimes – se poursuit, le terme Folding @ home fait le tour des cercles scientifiques.

Il ne s’agit pas d’une nouvelle façon de s’attaquer à cette « pile de linge » qui semble grossir de semaine en semaine ; c’est une approche technologique fascinante pour aider les scientifiques à découvrir un remède contre le COVID-19.

Selon les scientifiques, les protéines sont constituées d’une chaîne linéaire de substances chimiques – les acides aminés – qui, si elles sont efficaces, se « plient » en structures compactes et fonctionnelles. La façon dont les composants d’une protéine s’arrangent et se déplacent détermine sa fonction. Les virus ont également des protéines, qui sont utilisées pour supprimer notre système immunitaire et se reproduire.

Pour aider à lutter contre le coronavirus, les scientifiques et les médecins doivent comprendre comment la protéine virale fonctionne, ou «se replie», s’ils veulent trouver des moyens de l’arrêter.

C’est là que le Big Data rencontre l’épidémiologie. En exécutant des simulations informatiques qui les aident à comprendre les parties mobiles des protéines, les chercheurs pensent que les données qu’ils collectent les rapprocheront d’un remède.

«Il n’y a jamais eu plus d’experts réunis pour se concentrer sur un seul et même sujet», déclare Michael Schmidt, architecte de Converged Cloud chez SAP.

Cependant, l’exécution des innombrables simulations nécessaires requiert une puissance de calcul énorme. C’est là que les entreprises et le grand public entrent en jeu. Le don de la puissance de calcul inutilisée peut accélérer la vitesse d’exécution de ces simulations, ce qui peut nous rapprocher d’un remède.

Big Data Meets Epidemiology

Click the button below to load the content from YouTube.

Big Data Meets Epidemiology

 

L’initiative a eu un grand coup de pouce lorsque NVIDIA a lancé un appel aux joueurs du monde entier, leur demandant de rejoindre le combat.

« Les ordinateurs de jeu sont des machines extrêmement puissantes », explique M. Schmidt. Avant cette crise, les joueurs utilisaient souvent leur capacité de réserve pour « miner » des cryptomonnaies et gagner un peu d’argent en parallèle. Mais maintenant, ils font don de la puissance de leur unité de traitement graphique (GPU) à la science ».

SAP s’est joint à cet effort. Pour que cela démarre rapidement, l’équipe DevOps de Schmidt a automatisé sa contribution en capacité, en augmentant la capacité de calcul de réserve existante. Cette capacité est située sur la plateforme d’édition d’entreprise convergente en nuage de la société, la même plateforme qui héberge un grand nombre de clients de SAP. Lorsque la crise COVID-19 a frappé, l’équipe a envisagé d’utiliser cette première mise en œuvre pour programmer et faire évoluer dynamiquement une unité centrale de traitement (CPU) et un GPU Folding@home à partir de la plateforme, en les augmentant lorsque les systèmes sont inactifs et en les réduisant lorsque d’autres charges utiles en ont besoin.

«L’une des choses que notre cloud fait vraiment bien est de répartir la charge sur les nombreux ordinateurs que nous avons dans nos centres de données», explique Schmidt. «Nous pouvons mesurer en temps réel la pression que nous mettons dans le système et réduire automatiquement la capacité que nous accordons à Folding @ home si nécessaire, en nous assurant vraiment qu’aucune charge utile productive n’est affectée.»

De plus, comme SAP maintient toujours une capacité de réserve pour ses clients, quelques nœuds GPU de rechange ont été ajoutés au projet. Bien que ces serveurs dédiés soient peu nombreux, ils peuvent calculer des unités de travail étendues qui donnent une très grande puissance de traitement pour des charges de travail très lourdes. L’équipe a ensuite augmenté sa contribution au projet Folding@home, en fournissant une moyenne de 19 pétaflops – ce qui équivaut à environ 50 000 CPU et GPU supplémentaires par rapport à sa capacité de réserve normale dans le cloud.

La charge de travail est répartie sur trois continents et neuf régions. L’équipe SAP se classe actuellement parmi les 200 premiers contributeurs, plus que les autres entreprises de logiciels. M. Schmidt se dit ravi des résultats, mais se souvient qu’il ne s’agit pas vraiment d’une compétition. « Nous sommes tous dans le même bateau, et je suis heureux que les autres entreprises donnent aussi beaucoup ».

En savoir plus sur l’objectif et la promesse de SAP: https://www.sap.com/corporate/en/purpose.html

Article publié pour la première fois en anglais sur news.sap.com

The post Quand le Big Data rencontre l’épidémiologie appeared first on SAP France News.

Source de l’article sur sap.com

Most CPU manufacturers are creating multi-core CPUs now. Even cell phones come with multiple cores! Python threads can’t use those cores because of the Global Interpreter Lock. Starting in Python 2.6, the multiprocessing module was added which lets you take full advantage of all the cores on your machine.

In this article, you will learn about the following topics:

Source de l’article sur DZONE

                                                      Gradient Descent v/s Normal Equation

In this article, we will see the actual difference between gradient descent and the normal equation in a practical approach. Most of the newbie machine learning enthusiasts learn about gradient descent during the linear regression and move further without even knowing about the most underestimated Normal Equation that is far less complex and provides very good results for small to medium size datasets.

If you are new to machine learning, or not familiar with a normal equation or gradient descent, don’t worry I’ll try my best to explain these in layman’s terms. So, I will start by explaining a little about the regression problem.

Source de l’article sur DZONE