Data Ingénieur Spark scala Databricks

Description de la mission

Nous recherchons un Data Engineer Sénior avec une forte expertise sur Azure, Databricks, Spark, Scala.
 Développement et l’implémentation de solutions Big Data Analytics
 Analyse du besoin, étude d’impacts et conception de la solution technique
 Conception et modélisation des données au niveau d’un Data Lake (format Parquet, Delta table, )
 Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake
 Développements de notebooks (ex : Databricks) de traitements avancés des données
 Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
 Rédaction de documentation technique (Dossier d’Analyse Technique, release delivery note, .)
 Revue de code
 Réalisation de tests unitaires
 Maintenance corrective et évolutive
 Livraison dans un environnement Devops, CI/CD et outils associés

3 – Compétences techniques requises
 Expérience Data minimum 5 ans
 Azure minimum 3 ans
 Expérience architecture Lakehouse minimum 2 ans
 Databricks minimum 5 ans
 Spark minimum 5 ans
 Scala minimum 5 ans
 Maitrise de CI/CD, Azure DevOps minimum 3 ans
 Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an