Data Engineer
Missions
- Conception et développement d’architectures de données:
- Élaborer des architectures de données robustes et évolutives pour stocker et traiter de grandes quantités de données.
- Choisir et mettre en œuvre les technologies appropriées (exemple : bases de données relationnelles, NoSQL, data warehouses, data lakes,etc).
- Intégration de données:
- Collecter des données provenant de diverses sources (exemple : bases de données, API, fichiers,etc).
- Nettoyer, transformer et structurer les données pour les rendre exploitables.
- Mise en place de pipelines de données:
- Automatiser les flux de données en utilisant des outils d’orchestration (exemple : Airflow, Luigi,etc).
- Garantir la qualité et la fiabilité des données.
- Optimisation des performances:
- Améliorer les performances des requêtes et des traitements de données.
- Mettre en place des mécanismes de monitoring et d’alerting.
- Collaboration avec les équipes:
- Travailler en étroite collaboration avec les data scientists, les analystes et les équipes métiers.
- Fournir aux utilisateurs les outils et les données nécessaires pour prendre des décisions éclairées.
Compétences/Expériences
- Certifications: Certifications Cloud (exemple: AWS, GCP, Azure, Tc), certifications sur des outils spécifiques (exemple: Spark, Hadoop, Tc).
- Expérience avec:
- Les outils d’orchestration (Airflow, Luigi).
- Les outils de visualisation (Tableau, Power BI).
- Les concepts de machine learning et d’intelligence artificielle.
TJM
- Entre 550€ et 750€ par jour, en fonction de l’expérience et de la durée de mission.