Data Engineer cloud Azure – Distribution – IDF H F

Description de la mission

Nous sommes un acteur majeur de la distribution. Au cœur de notre stratégie de transformation numérique, notre département IT déploie un programme ambitieux de rénovation de notre Système d’Information centré sur la data et le cloud (Azure). Cette mission s’inscrit dans une démarche de structuration de notre Big Data et de nos solutions BI répondant aux besoins critiques de nos métiers.
▶️ Missions
Développer et mettre en œuvre des solutions d’analyses Big Data.
Analyser les besoins, réaliser des études d’impact et concevoir des solutions techniques innovantes.
Concevoir et modéliser des données dans un Data Lake utilisant des formats optimisés.
Construire et optimiser des pipelines de données.
Développer des notebooks avancés pour le traitement des données.
Participer au Cloud Datawarehousing, incluant tuning et optimisation SQL.
Rédiger des documentations techniques.
Être impliqué dans la revue de code et les tests unitaires.
Assurer la maintenance et l’évolution des solutions.
Contribuer à l’optimisation des processus de livraison en environnement DevOps.
?Stack technique
À maîtriser
Azure Cloud
Databricks, Spark
Langages : Scala, Python, SQL
CI/CD, Azure DevOps
Architecture Lakehouse
=> Environnement technique global
Outils Agile, notamment JIRA
Environnement DevOps