Big Data Ingénieur -Spark Scala – ETL

Description de la mission

Consultant Tech Lead Big Data / Data Engineer
Contexte de la Mission :
La mission s’inscrit dans le cadre de projets stratégiques portant sur les services de paiements internationaux. L’objectif principal est la migration des données et des applications legacy vers un cloud privé, tout en assurant une gestion optimisée des données transactionnelles, référentielles et la visualisation d’indicateurs clés via des outils de reporting.
Vos principales missions :
Développement et optimisation des pipelines ETL :
Conception et maintenance des pipelines d’ingestion et de traitement de données (Spark-Scala, OOZIE, Airflow).
Normalisation des données transactionnelles et enrichissement par des données référentielles.
Ordonnancement et gestion des workflows.
Qualité et gouvernance des données :
Mise en place et suivi des règles de contrôle de la qualité des données.
Gestion des données référentielles (SCD, snapshots, alimentations incrémentales).
Audit des processus de développement et proposition d’améliorations.
Visualisation et reporting :
Création et mise à jour de dashboards pour le suivi des indicateurs métiers (PowerBI).
Gestion des rapports réglementaires pour des organismes comme la Banque de France.
Optimisation des performances :
Analyse et optimisation des applications Spark (gestion des ressources, compactage des fichiers, techniques de pruning).
Monitoring des pipelines (observabilité, systèmes d’alertes, météo applicative).
Configuration et suivi de clusters TRINO et des espaces HDFS.
Collaboration et documentation :
Introduction aux pratiques de développement collaboratif (code review, pair programming, git flow).
Documentation des applications (run books, bases de connaissances, wikis).
Formation et accompagnement des équipes sur les bonnes pratiques de développement.
Déploiement et support :
Participation au packaging, au déploiement (Jenkins, Ansible) et au support des applications en production.
Application des directives groupe en matière de release management.
Profil recherché :
Expérience :
Minimum 5 ans d’expérience en tant que Data Engineer ou Tech Lead Big Data.
Solide expertise en migration de données et en développement de pipelines ETL.
Pourquoi rejoindre ce projet ?
Vous aurez l’opportunité d’évoluer dans un environnement technologique avancé, en lien avec des enjeux métiers critiques.. Vous contribuerez activement à des projets à forte valeur ajoutée, tout en partageant votre expertise au sein d’une équipe dynamique et collaborative.