Publié le 09/02/2025
Contexte :
Dans le cadre d’un projet stratégique pour une banque de renom, nous recherchons un DevOps-DataOps pour automatiser et industrialiser les pipelines de données. Ce rôle exige une expertise avancée dans la gestion des environnements Kubernetes on-premise, ainsi qu’une forte compétence sur Apache Spark pour des traitements de données à grande échelle.
Missions Principales :
Installer, configurer et gérer des clusters Kubernetes on-premise, en assurant leur haute disponibilité et leur scalabilité ;
Intégrer Kubernetes avec des outils de traitement de données tels qu’Apache Spark, en optimisant les performances et la résilience des pipelines de données ;
Déployer et gérer des microservices et des workflows complexes sur Kubernetes, en assurant leur intégration fluide dans des pipelines CI/CD ;
Automatiser le traitement des données avec Apache Spark (PySpark, Spark SQL, Spark Streaming), tout en optimisant les performances des jobs et leur interaction avec des plateformes comme Databricks ou EMR ;
Concevoir et déployer des pipelines CI/CD robustes (Jenkins, GitLab CI, ArgoCD) pour des flux de données critiques, incluant des processus d’automatisation des tests et des déploiements ;
Implémenter des solutions de monitoring avancées pour Kubernetes et Spark (Prometheus, Grafana, CloudWatch), en mettant l’accent sur le scaling automatique et la gestion proactive des performances ;
Déployer des stratégies de sauvegarde et de restauration des données, en garantissant la résilience des systèmes face aux défaillances.
Profil du candidat
Compétences Requises :
Maîtrise des environnements Kubernetes on-premise, incluant des outils d’orchestration et de gestion de clusters (Helm, Kustomize) ;
Expertise confirmée sur Apache Spark (PySpark, Spark SQL, Spark Streaming) et son intégration dans des architectures distribuées ;
Solide expérience des outils IaC (Terraform, Ansible) pour l’automatisation des infrastructures ;
Compétences en CI/CD (Jenkins, GitLab CI, ArgoCD) pour l’automatisation des workflows de données ;
Maîtrise du scripting (Python, Bash) et de la gestion des bases de données SQL/NoSQL ;
Expérience en observabilité et monitoring (Prometheus, Grafana, CloudWatch) pour les environnements distribués.
Description de l‘entreprise
Vous intégrerez une équipe dynamique et collaborative, évoluant dans un environnement axé sur l’innovation et l’amélioration continue, offrant ainsi un cadre idéal pour réussir et s’épanouir en tant qu’un Ingénieur DevOps-DataOps.
Il n'y a pas d'offres.
All rights reserved © FreelanceDay 2025
FeelanceDay, date création entreprise 12-05-2017 - Il y a 8 ans, forme juridique : SARL unipersonnelle, noms commerciaux REESK DIGITAL SOLUTION, adresse postale 28 RUE DE LONDRES 75009 PARIS, numéro SIREN : 829739622, numéro SIRET (siège) : 2973962200019, numéro TVA Intracommunautaire : FR28829739622, numéro RCS Paris B 829 739 622, activité (Code NAF ou APE), edition de logiciels applicatifs (5829C)