DATA ENGINEER

Description de la mission

Profil recherché:
Data Engineer confirmé/senior

Contexte mission :
En tant que Data Engineer confirmé/senior, votre mission est de concevoir et déployer des solutions Big Data Analytics sur l’infrastructure cloud Azure, avec une utilisation intensive de Databricks et Spark. Vous serez en charge de créer et d’optimiser les pipelines de données afin de garantir des analyses en temps réel tout en améliorant l’efficacité globale des processus de gestion des données dans un environnement retail complexe.

Contexte client :
Le client est une grande entreprise dans le secteur du retail, cherchant à moderniser et optimiser sa gestion des données pour mieux comprendre les besoins des clients. L’entreprise vise à centraliser et traiter ses données de manière efficace en utilisant un Data Lake basé sur Azure, afin d’accélérer les analyses et l’optimisation des processus métier, notamment dans la gestion des stocks, les ventes, et la logistique.

Tâches à réaliser:

•Développement et l’implémentation de solutions Big Data Analytics
•Analyse du besoin, étude d’impacts et conception de la solution technique
•Conception et modélisation des données au niveau d’un Data Lake (format Parquet, Delta table, …)
•Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake
•Développements de notebooks (ex : Databricks) de traitements avancés des données
•Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
•Rédaction de documentation technique (Dossier d’Analyse Technique, release delivery note, ….)
•Revue de code
•Réalisation de tests unitaires
•Maintenance corrective et évolutive
•Livraison dans un environnement Devops, CI/CD et outils associés

Expérience requise:
Data Engineer confirmé/sénior avec une forte expertise sur Azure, Databricks, Spark, Scala, Python et SQL
Expérience: 5 à 8 ans sur la fonction

Localisation/En télétravail: 3 jours sur site (Houilles/IDF) et 2 jours en télétravail