Data engineer – GCP BigQuery Spark Scala

Description de la mission

Notre client bancaire recherche un consultant Data engineer – GCP BigQuery Spark Scala (H/F) pour renforcer l’équipe au sein de laquelle preste déjà un consultant de NEXORIS.

Récupérer, traiter et mettre à disposition des agrégats de données via un datalake en utilisant des technologies et pratiques modernes de gestion de données.

Tâches et activités de la mission :
– Récupérer les données issues de sources externes
– Utiliser la puissance du datalake pour le traitement des données
– Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels
– Mettre en œuvre la chaîne d’ingestion, validation, croisement et déversement des données dans le datalake
– Développer en respectant les règles d’architecture définies
– Développer et documenter les user stories avec l’assistance du Product Owner
– Produire les scripts de déploiement
– Prioriser les corrections des anomalies
– Assister les équipes d’exploitation
– Participer à la mise en œuvre de la chaîne de delivery continue
– Automatiser les tests fonctionnels