Articles

Optimisation des charges de travail I/O par le profilage en Python

Optimisation des charges de travail I/O par le profilage en Python

,

Le profilage en Python est un outil puissant pour optimiser les charges de travail I/O. Il permet d’analyser et de comprendre le comportement des applications et de trouver des moyens d’améliorer les performances.

Optimiser les charges de travail I/O en Python

Testing the Performance

Once you have identified the type of I/O workloads, the next step is to test the performance. This can be done by running the code and measuring the time taken for execution. This will help you understand the areas that need to be optimized. You can also use profiling tools like cProfile and line_profiler to measure the performance of individual functions. These tools provide detailed information about the time taken for each function to execute.

Optimizing the Performance

Once you have identified the areas that need optimization, you can start applying strategies to reduce or manage the bottlenecks. For example, if your code involves multiple disk I/O operations, you can use caching to reduce the number of disk reads and writes. Similarly, if your code involves network I/O, you can use asynchronous programming techniques to improve the performance. Finally, if your code involves database I/O, you can use query optimization techniques to reduce the number of database queries.

Identifier les charges de travail d’E/S

Comprendre le type de charges de travail d’E/S est essentiel comme première étape. Est-ce qu’ils impliquent des opérations d’E/S sur disque, telles que des opérations de lecture/écriture de fichiers, des opérations d’E/S réseau, qui incluent la transmission de données sur un réseau, ou des opérations d’E/S de base de données, comprenant les interactions avec une base de données? Des techniques d’optimisation distinctes s’appliquent à chaque catégorie. J’ai pris en compte les goulots d’étranglement liés aux opérations E/S réseau et aux opérations de lecture/écriture de fichiers pour cet article.

Tester les performances

Une fois que vous avez identifié le type de charges de travail d’E/S, la prochaine étape consiste à tester les performances. Cela peut être fait en exécutant le code et en mesurant le temps nécessaire à son exécution. Cela vous aidera à comprendre les domaines qui doivent être optimisés. Vous pouvez également utiliser des outils de profilage tels que cProfile et line_profiler pour mesurer les performances de chaque fonction. Ces outils fournissent des informations détaillées sur le temps nécessaire à l’exécution de chaque fonction.

Optimiser les performances

Une fois que vous avez identifié les domaines qui doivent être optimisés, vous pouvez commencer à appliquer des stratégies pour réduire ou gérer les goulots d’étranglement. Par exemple, si votre code implique plusieurs opérations d’E/S sur disque, vous pouvez utiliser le cache pour réduire le nombre de lectures et d’écritures sur disque. De même, si votre code implique des opérations d’E/S réseau, vous pouvez utiliser des techniques de programmation asynchrones pour améliorer les performances. Enfin, si votre code implique des opérations d’E/S de base de données, vous pouvez utiliser des techniques d’optimisation des requêtes pour réduire le nombre de requêtes vers la base de données.

L’optimisation des charges de travail d’E/S en Python implique généralement la compréhension des goulots d’étranglement et l’application de stratégies pour les réduire ou les gérer. Le profilage est une ét

Source de l’article sur DZONE

/par
Traitement de flux supérieur : l'impact d'Apache Flink sur l'architecture Data Lakehouse.

Traitement de flux supérieur : l’impact d’Apache Flink sur l’architecture Data Lakehouse.

,

Le traitement de flux supérieur est une technologie qui offre de nombreux avantages aux entreprises. Apache Flink est l’un des principaux outils pour exploiter pleinement les avantages de l’architecture Data Lakehouse.

« Explorer le Paradigme du Data Lakehouse: Une Solution Prometteuse pour les Décisions Basées sur les Données »

Dans l’ère de la prise de décision basée sur les données, le paradigme du Data Lakehouse est apparu comme une solution prometteuse, réunissant le meilleur des data lakes et des data warehouses. En combinant la scalabilité des data lakes avec les fonctionnalités de gestion des données des entrepôts, les Data Lakehouses offrent une infrastructure de données hautement scalable, agile et rentable. Ils fournissent un support robuste pour les charges de travail analytiques et opérationnelles, permettant aux organisations d’extraire plus de valeur de leurs données.

Dans nos articles précédents, nous avons exploré en profondeur le concept des Data Lakehouses. Data Lakehouses: The Future of Scalable, Agile, and Cost-Effective Data Infrastructure a posé les bases en mettant en évidence les principaux avantages commerciaux des lakehouses. A New Era of Data Analytics: Exploring the Innovative World of Data Lakehouse Architectures a examiné de plus près les aspects architecturaux des lakehouses, tandis que Delta, Hudi et Iceberg: The Data Lakehouse Trifecta se sont concentrés sur les trois principales solutions lakehouse: Delta Lake, Hudi et Iceberg.

Afin de mieux comprendre comment le Data Lakehouse peut être mis en œuvre dans un environnement d’entreprise, nous allons maintenant examiner le processus de testing. Le testing est un élément essentiel du développement logiciel et est également très important pour l’implémentation réussie des Data Lakehouses. Le processus de testing permet aux organisations de s’assurer que leurs systèmes sont conformes aux exigences et aux spécifications fonctionnelles et techniques. Il permet également de vérifier que le système est prêt à être mis en production et qu’il fonctionne correctement.

Le testing des Data Lakehouses peut être divisé en trois étapes principales : la vérification des fonctionnalités, la validation des performances et la validation des données. La vérification des fonctionnalités consiste à vérifier que toutes les fonctionnalités du système sont correctement implémentées et qu’elles répondent aux exigences et aux spécifications fonctionnelles. La validation des performances consiste à vérifier que le système est capable de gérer le volume et la variété des données et qu’il est capable de fournir les résultats attendus dans les délais impartis. Enfin, la validation des données consiste à vérifier que les données sont correctement stockées et accessibles dans le système.

Le processus de testing des Data Lakehouses est essentiel pour s’assurer que le système est conforme aux exigences et qu’il fonctionne correctement. Il permet aux organisations d’identifier et de résoudre rapidement tout problème avant la mise en production, ce qui permet d’améliorer la qualité du système et d’accroître sa fiabilité. En outre, le testing permet aux organisations de s’assurer que leurs systèmes sont prêts à être mis en production et qu’ils sont capables de fournir les résultats attendus.

Source de l’article sur DZONE

/par

Manage Microservices With Docker Compose

,

As microservices systems expand beyond a handful of services, we often need some way to coordinate everything and ensure consistent communication (avoid human error). Tools such as Kubernetes or Docker Compose have quickly become commonplace for these types of workloads. Today’s example will use Docker Compose.

Docker Compose is an orchestration tool that manages containerized applications, and while I have heard many lament the complexity of Kubernetes, I found Docker Compose to have some complexities as well. We will work through these along the way and explain how I solved them.

Source de l’article sur DZONE

/par

Advanced Cloud Security

,

Cyber threats have become more sophisticated. Hence, it is a good idea to utilize the expertise of public cloud providers to better manage assets against security threats. Cloud security is a collection of proactive measures to protect your cloud assets from internal and external threats. In this Refcard, we will walk through common cloud security challenges, continuous security for cloud infrastructure, and advanced strategies for securing cloud workloads.
Source de l’article sur DZONE

/par

Atos bascule son ERP SAP S/4HANA vers le Cloud avec l’offre RISE with SAP

, ,

Le cœur du système d’information d’Atos, comprenant 42 systèmes et 500 interfaces, a été basculé vers le cloud Microsoft Azure, au travers de l’offre RISE with SAP. Un projet mené en seulement 9 mois par les équipes d’Atos.

Atos est un des leaders mondiaux des entreprises de services du numérique, avec une présence dans 71 pays et un effectif de 105.000 collaborateurs, pour un chiffre d’affaires annuel de près de 11 milliards d’euros. Atos est un acteur engagé : partenaire des Jeux olympiques et paralympiques depuis 2001, le groupe met également en œuvre une stratégie net-zéro visant à la fois à atteindre la neutralité carbone en interne, mais aussi à proposer des services et produits décarbonés à ses clients.

Jusqu’alors, Atos hébergeait son système d’information dans ses propres datacenters, dont l’ERP Nessie. Une offre basée sur des solutions SAP, ayant basculé en 2020 vers l’ERP Intelligent SAP S/4HANA. Fin 2020, l’entreprise a décidé de migrer Nessie vers le cloud.

« Plusieurs raisons ont mené à ce choix, explique Frédéric Aubrière, DSI groupe d’Atos. Chaque changement opéré sur un SI on-premise se traduit par des dépenses d’investissement (CAPEX), qu’il faut valider auprès de la direction financière. Avec le cloud, la discussion peut se recentrer sur les seules dépenses d’exploitation (OPEX), ce qui participe à lever certains verrous. En déléguant la gestion des infrastructures à un hyperscaleur, nous libérons également des ressources IT internes, qui peuvent se concentrer sur leur cœur de métier. Enfin, la crise sanitaire a démontré que la flexibilité apportée par le cloud était un atout pour les entreprises. »

Un des arguments mis en avant par Atos est que le cloud est devenu suffisamment mature pour supporter des workloads critiques. « Pendant longtemps, le cloud a été réservé à des systèmes connexes, l’ERP restant hébergé sur site. Aujourd’hui, le cœur du SI n’est plus un terrain interdit au cloud. J’estime qu’il peut et doit basculer vers le cloud. » En migrant le cœur de son système d’information vers le cloud, Atos entend lancer un message fort en direction des entreprises qui hésiteraient encore à adopter ce modèle de déploiement. Le projet est donc particulièrement stratégique pour le groupe. « Ce que nous avons réalisé avec notre SI, nous pouvons le faire pour celui de nos clients », confirme Frédéric Aubrière.

Un projet mené à bien en seulement 9 mois

Atos a mis en œuvre tout son savoir-faire – et la force de frappe de ses nombreux experts – pour réaliser cette migration en un temps record. Le choix s’est porté sur l’offre RISE with SAP, avec un déploiement effectué sur les infrastructures Microsoft Azure de Francfort. Un choix stratégique là encore, les serveurs utilisés dans ce datacenter Microsoft étant des Bull Sequana S. Du matériel conçu par Bull, filiale d’Atos, et certifié SAP, avec des instances pouvant atteindre les 12 To en scale up (et plus d’une centaine de téraoctets en scale out).

Le projet a démarré fin 2020. Dès avril 2021, le système de test basculait en live, suivi par les instances de développement et de qualité. L’instance de production est entrée en fonction le 13 septembre 2021, soit environ 9 mois après le début du projet. Un tour de force de la part d’Atos. Si l’ERP a été migré sans modifications majeures, le périmètre du projet reste en effet particulièrement important. « Nous avons migré notre ERP vers le cloud, mais aussi l’ensemble des systèmes connexes gravitant autour de lui », explique Frédéric Aubrière. Au total, 42 systèmes ont été migrés et 500 interfaces. 5000 tests ont été effectués afin de couvrir un large spectre de cas d’utilisation.

« Hormis quelques ajustements dans les paramètres de connexion, la bascule a été transparente pour les utilisateurs. Le portail MyAtos est toujours accessible de la même façon et permet toujours d’accéder aux mêmes services. Notre SI est par ailleurs toujours aussi stable et performant. » Les performances des infrastructures correspondent jusqu’à maintenant au cahier des charges d’Atos, avec un SLA de 99,7% et un RPO très proche de zéro (30 minutes). « Nous allons exécuter un dry run du DRP dans les prochains mois, afin de mesurer le délai de reprise d’activité de notre SI », confie le DSI d’Atos.

SAP BTP et décarbonisation en ligne de mire

Avec son contrat unique, l’offre RISE with SAP est un facteur de simplification lors du passage au cloud. « Avoir un unique contrat, signé en direct avec SAP, nous permet de nous affranchir de la complexité de la tarification des hyperscaleurs, confirme Frédéric Aubrière. C’est une forme de contrat plus confortable pour les clients et apportant une meilleure prédictibilité sur les coûts. RISE with SAP nous permet également de conserver notre code et nos applications. Il permet de basculer vers le cloud de façon non violente, en respectant les processus et spécificités du groupe. »

Une fois le SI stabilisé et les processus calés entre SAP et Atos, l’entreprise compte travailler sur la prochaine génération de son ERP. Au menu, un nettoyage du code spécifique et son adaptation à la SAP Business Technology Platform (SAP BTP). En parallèle, une connexion avec certains services Microsoft Azure sera mise en place. Autre tâche confiée à la DSI d’Atos, la décarbonation du fonctionnement de sa nouvelle plate-forme cloud. L’élasticité propre aux infrastructures cloud devrait permettre au groupe d’ajuster les ressources au plus près des besoins. L’objectif d’Atos est d’atteindre la neutralité carbone d’ici 2028.

The post Atos bascule son ERP SAP S/4HANA vers le Cloud avec l’offre RISE with SAP appeared first on SAP France News.

Source de l’article sur sap.com

/par

Using CockroachDB Workloads With Kerberos

,

GSSAPI authentication is becoming increasingly popular as CockroachDB starting to make inroads in Fortune 2000 customer bases and financial services segment. That said, ecosystem coverage for GSS needs to improve for parity with other authN methods. Today, we are providing a workaround and a look at the future. By the way, do you realize this is my 15th article on Kerberos and CockroachDB?

Articles Covering CockroachDB and Kerberos

I find the topic of Kerberos very interesting and my colleagues commonly refer to me for help with this complex topic. I am by no means an expert at Kerberos, I am however familiar enough with it to be dangerous. That said, I’ve written multiple articles on the topic which you may find below:

Source de l’article sur DZONE

/par

IBM et SAP renforcent leur partenariat afin d’aider leurs clients à migrer les applications des solutions SAP® vers le Cloud

, ,

IBM et SAP renforcent leur partenariat afin d’aider leurs clients à migrer les applications des solutions SAP® vers le Cloud

IBM est le premier partenaire à proposer une infrastructure Cloud et des services techniques managés de manière intégrée dans le cadre de l’offre RISE with SAP

 

ARMONK, N.Y. et Walldorf, Allemagne, le 10 février 2022 : IBM (NYSE: IBM) a annoncé aujourd’hui qu’elle s’associait avec SAP (NYSE : SAP) pour fournir une expertise en matière de technologie et de conseil afin de permettre aux clients d’adopter plus facilement une approche Cloud hybride et de migrer les applications critiques des solutions SAP® vers le Cloud pour les secteurs réglementés et non réglementés.

Alors que les clients cherchent à adopter des stratégies de Cloud hybride, la migration des applications qui constituent l’épine dorsale du fonctionnement de leur entreprise nécessite un environnement Cloud hautement sécurisé et fiable. Avec le lancement aujourd’hui de l’option IBM – Premium Supplier pour RISE with SAP, les clients disposeront des outils nécessaires pour accélérer la migration de leurs applications SAP en local vers IBM Cloud, avec des capacités de sécurité de pointe[1].

IBM dévoile également un nouveau programme, BREAKTHROUGH with IBM pour RISE with SAP, un portefeuille de solutions et de services de conseil qui permettent d’accélérer et d’amplifier le passage à SAP S/4HANA® Cloud. Construits sur une plateforme flexible et évolutive, les solutions et services utilisent des processus intelligents pour rationaliser les opérations. Ils offrent un modèle d’engagement qui permet de planifier, d’exécuter et de soutenir la transformation globale de l’entreprise. Les clients ont également la flexibilité et le choix de migrer les applications des solutions SAP vers le Cloud en bénéficiant d’une expertise sectorielle approfondie.

L’annonce faite aujourd’hui qu’IBM devient un premium supplier fait de la compagnie le premier fournisseur Cloud à proposer des services d’infrastructure, de transformation métier et de gestion technique des applications de manière intégrée dans le cadre de RISE with SAP. La désignation d’IBM en tant que premium supplier s’inscrit dans la continuité des efforts de longue date déployés par SAP pour offrir un choix et des options aux clients, en soutenant davantage les clients d’IBM qui préfèrent que leur package RISE with SAP s’exécute sur IBM Cloud.

De plus, la migration vers SAP S/4HANA® sur IBM Cloud à partir de datacenters en local peut potentiellement apporter les avantages suivants, selon une étude d’IDC, sponsorisée par IBM[2] :

  • Retour sur investissement : selon les utilisateurs interrogés, la migration vers SAP S/4HANA® sur IBM Cloud a entraîné une augmentation du chiffre d’affaires pour jusqu’à 90 % des entreprises qui ont effectué la transition.
  • Réduction des coûts : Plus de 80 % des organisations ayant participé à l’étude ont déclaré avoir constaté une réduction des coûts opérationnels.
  • Une productivité accrue : 9 entreprises sur 10 interrogées dans l’étude ont déclaré avoir amélioré leur productivité après avoir migré vers SAP S/4HANA® sur IBM Cloud.

« Nous sommes ravis de faire progresser notre partenariat de longue date avec SAP à travers RISE », a déclaré John Granger, Senior Vice President, IBM Consulting. « Notre engagement commun est de répondre à nos clients, notamment ceux des secteurs hautement réglementés, là où ils en sont dans leur parcours numérique, tout en leur offrant des choix pour migrer ou moderniser leurs applications critiques avec une approche de Cloud hybride. »

« BREAKTHROUGH with IBM est un complément exceptionnel à RISE with SAP, car il jette les bases permettant à nos clients de se lancer dans la transformation de leur entreprise ou de la faire progresser. En outre, il réaffirme la valeur que les clients reconnaissent à RISE with SAP ainsi que l’impact et l’opportunité d’innovation que RISE with SAP offre aux organisations qui migrent vers le Cloud. Je suis convaincu que l’expertise et l’expérience combinées de SAP et d’IBM permettront d’accélérer l’adoption du Cloud et la croissance des activités pour les clients du monde entier », a déclaré Brian Duffy, President of Cloud, SAP.

IBM et SAP ont travaillé avec des centaines de clients dans le monde entier sur des milliers de projets individuels visant à moderniser leurs systèmes et leurs processus métier sur la base d’une approche Cloud hybride ouverte. Parmi les exemples récents, citons Coca-Cola European Partners, Parle Products, Harmont & Blaine, Puravankara Ltd et Virgin Megastore KSA.

Soulignant son engagement envers SAP S/4HANA®, à la fois en tant que client SAP et partenaire commercial depuis 50 ans, IBM a également réalisé un investissement important dans RISE with SAP en engageant la transformation de ses propres applications SAP. IBM est un nouveau Premium Supplier pour l’offre RISE with SAP et utilise le Cloud hybride d’IBM, y compris l’Infrastructure as a Service IBM Power, afin d’améliorer les performances, la disponibilité et la sécurité des déploiements d’éditions privées de SAP S/4HANA® Cloud.

Pour en savoir plus sur le programme BREAKTHROUGH with IBM pour l’offre RISE with SAP : https://www.ibm.com/services/sap/rise-with-sap.

 

À propos d’IBM

IBM est un leader mondial du Cloud hybride et de l’IA, ainsi que des services aux entreprises, qui aide ses clients dans plus de 175 pays à capitaliser sur les connaissances issues de leurs données, à rationaliser leurs processus métier, à réduire leurs coûts et à acquérir un avantage concurrentiel dans leurs secteurs d’activité. Près de 3 000 entités gouvernementales et entreprises dans des domaines d’infrastructures critiques tels que les services financiers, les télécommunications et les soins de santé font confiance à la plateforme Cloud hybride d’IBM et à Red Hat OpenShift pour impacter leurs transformations numériques rapidement, efficacement et en toute sécurité. Les innovations révolutionnaires d’IBM en matière d’IA, d’informatique quantique, de solutions Cloud spécifiques à certains secteurs et de services aux entreprises offrent des options ouvertes et flexibles à nos clients. Tout cela est soutenu par l’engagement légendaire d’IBM en matière de confiance, de transparence, de responsabilité, d’inclusivité et de service.

Pour en savoir plus : www.ibm.com

Les déclarations d’IBM concernant ses orientations et intentions futures sont sujettes à modification ou retrait sans préavis et ne représentent que des buts et des objectifs.

 

À propos de SAP

La stratégie de SAP vise à aider chaque organisation à fonctionner en « entreprise intelligente ». En tant que leader du marché des logiciels d’application d’entreprise, nous aidons les entreprises de toutes tailles et de tous secteurs à opérer au mieux : Les clients de SAP génèrent 87 % du commerce mondial total. Nos technologies de Machine Learning, d’Internet des objets (IoT) et d’analytique avancées aident nos clients à transformer leurs activités en « entreprises intelligentes ». SAP permet aux personnes et aux organisations d’avoir une vision approfondie de leur business et favorise la collaboration afin qu’elles puissent garder une longueur d’avance sur leurs concurrents. Nous simplifions la technologie afin que les entreprises puissent utiliser nos logiciels comme elles le souhaitent – sans interruption. Notre suite d’applications et de services de bout en bout permet aux clients privés et publics de 25 secteurs d’activité dans le monde de fonctionner de manière rentable, de s’adapter en permanence et de faire la différence. Avec son réseau mondial de clients, partenaires, employés et leaders d’opinion, SAP aide le monde à mieux fonctionner et à améliorer la vie de chacun.

Pour plus d’informations, visitez le site www.sap.com.

[1] Based on IBM Hyper Protect Crypto Service, the only service in the industry built on FIPS 140-2 Level 4-certified hardware. FIPS 140-2 Security Level 4 provides the highest level of security defined in this standard. At this security level, the physical security mechanisms provide a comprehensive envelope of protection around the cryptographic module with the intent of detecting and responding to all unauthorized attempts at physical access.

[2]  IDC White Paper, sponsored by IBM, Business Benefits Possible by Choosing the Right Cloud Provider to Run SAP Workloads. Doc #US47166220, December 2020.

 

The post IBM et SAP renforcent leur partenariat afin d’aider leurs clients à migrer les applications des solutions SAP® vers le Cloud appeared first on SAP France News.

Source de l’article sur sap.com

/par

Deploy RAPIDs on GPU-Enabled Virtual Servers on a Virtual Private Cloud

,

Learn how to set up a GPU-enabled virtual server instance (VSI) on a Virtual Private Cloud (VPC) and deploy RAPIDS using IBM Schematics.

The GPU-enabled family of profiles provides on-demand, cost-effective access to NVIDIA GPUs. GPUs help to accelerate the processing time required for compute-intensive workloads, such as artificial intelligence (AI), machine learning, inferencing, and more. To use the GPUs, you need the appropriate toolchain – such as CUDA (an acronym for Compute Unified Device Architecture) – ready.

Let’s start with a simple question.

Source de l’article sur DZONE

/par

Top Practices for Containers, Kubernetes

,

Is your organization ready to move containerized workloads into production or yet struggling with these challenges? Adopting complex stateful workloads with many dependencies, deploying containerization tooling without well-framed DevOps practices, and becoming gripped into vendor lock-in faster may be a few of such challenges. Having the right DevOps team in place and finding out how Kubernetes integrates with your company’s technological infrastructure to undergo effective legacy application modernization should be the way out. As an organization, you should consider if you have the requisite roles and skillsets before adopting new technologies. You must decide on runtime and orchestration engines in technical terms while selecting containerization workloads with utmost care and attention.

With more than 70% of organizations running containerized applications in production, Kubernetes has emerged to be one of the most sought-after methods to organize containers. Here are a few of the Kubernetes best practices that ensure its adoption truly advancing container deployment.

Source de l’article sur DZONE

/par

The Advent of Data Hyper-Protection

,

Critical system-of-record data must be compartmentalized and accessed by the right people and applications, at the right time.

Since the turn of the millennium, the art of cryptography has continuously evolved to meet the data security and privacy needs of doing business at Internet speed, by taking advantage of the ready processing horsepower of mainframe platforms for data encryption and decryption workloads.

Source de l’article sur DZONE

/par