DATA ENGINEER CONFIRME 2

Description de la mission

DATA ENGINEER CONFIRME 2

DATA ENGINEER CONFIRME 2

 Contexte :

Besoin de renforcer l’équipe Data par de nouvelles expertises en data engineering et aider ainsi à la mise en place de solutions Big Data dans un environnement Cloud.

Le stack technique est principalement constituée de Python, Spark, SQL pour les traitements de données en batch, Apache Beam pour les traitements en streaming et Airflow pour l’orchestration. La stack inclut aussi d’autres services de la Google Cloud Platform.

MISSIONS :

· Construire et maintenir des pipelines data robustes et scalables pour alimenter notre Data Lake et notre Data warehouse

· Mettre en place et maintenir des infrastructures scalables (orchestration, stockage, distribution, notamment) capables de répondre aux besoins des équipes data et à l’accroissement rapide du volume de données

· Construire et maintenir des workflows GitLab CI/CD pour aider l’équipe à délivrer tout en assurant la qualité, la fiabilité et la disponibilité des données en production

· Développer des composants internes configurables d’ingestion et de traitement de données (ETL, API Rest)

· Collaborer avec les autres data engineers dans l’équipe pour appliquer les bonnes pratiques en vigueur, identifier les besoins et contribuer à notre stratégie data et notre roadmap

·  Assurer l’évolutivité, la sécurité, la stabilité et la disponibilité des données de la plateforme data

· Contribuer et veiller à la mise à jour de la documentation

· Optimiser les traitements de données, refactorer les codes et participer activement aux revues de code

· Contribuer à la montée en compétence des profils juniors dans l’équipe

· Faire une veille technologique permanente dans le domaine

PROFIL :

· Expertise data : structures de données, code, architecture

· Expériences professionnelles en tant que data engineer notamment dans le développement des pipelines data

· Expérience sur les architectures Cloud (AWS, GCP, Azure), idéalement sur GCP

· Excellente maîtrise des langages/frameworks : Python, SQL, Spark

· Expérience dans l’orchestration des workflows data avec Airflow : création des DAGs, refactoring

· Expérience Architecture as Code, idéalement sur Terraform

· Maîtrise des traitements ETL et gestion des flux de données : collecte, transformation, stockage, distribution

· Expérience en déploiement et maintien des jobs/dags/app dans un environnement de production.

· Bonnes connaissances de Git, Gitlab CI/CD et des process de delivery

· Capacité à vulgariser et à communiquer sur des aspects purement techniques

· Expérience professionnelle en méthode Agile (Scrum, Kanban)

Une séniorité d’au minimum 3 ans est demandée.