DATA ENGINEER

Description de la mission

Bonjour à tous,
Je recherche pour un de mes clients dans le domaine de l’assurance un consultant Data Engineer :
Conception et développement de pipelines de données en utilisant Python et Apache Spark pour traiter des volumes importants de données.
Déploiement et gestion des workflows sur Databricks, avec une optimisation continue des performances des pipelines.
Mise en place de pipelines CI/CD pour l’automatisation des déploiements, utilisant GitHub et des outils d’intégration continue tels que GitHub Actions, Jenkins, ou autres.
Collaboration avec les équipes produit, data science et infrastructure pour assurer la cohérence des flux de données, la maintenance des environnements et la résolution des problèmes techniques.
Participation aux revues de code et à la gestion des versions sur GitHub pour garantir des pratiques de développement robustes et sécurisées.
Databricks : Bonne connaissance de l’écosystème Databricks pour le traitement de données distribuées.
Python : Maîtrise avancée du langage, notamment pour la manipulation de données et la création d’outils automatisés.
Apache Spark : Expertise dans le traitement de données massives via Spark.
GitHub : Expérience dans la gestion de version avec Git, les revues de code et la gestion de workflows d’intégration continue.
CI/CD : Solide expérience dans la mise en place et la gestion de pipelines d’intégration et de déploiement continus (CI/CD) avec des outils comme GitHub Actions, Jenkins ou équivalents.
Expérience d’au moins 3 à 5 ans dans un rôle similaire.
Connaissance des architectures de données distribuées et expérience en ETL et transformation de données.
Capacité à résoudre des problèmes complexes et à optimiser les performances des pipelines.
Expérience en méthodologies de travail Agile/Scrum.