enfrde

DevOps-DataOps Apache Spark

  • Type Régie
  • BUDGET Tarif selon profil
  • Durée (mois) 36
  • Pays France
  • Remote NON
  • Offres0
  • Moyenne Tarif selon profil

Publiée le 9 février 2025

Active

Description de la mission

Contexte :
Dans le cadre d’un projet stratégique pour une banque de renom, nous recherchons un DevOps-DataOps pour automatiser et industrialiser les pipelines de données. Ce rôle exige une expertise avancée dans la gestion des environnements Kubernetes on-premise, ainsi qu’une forte compétence sur Apache Spark pour des traitements de données à grande échelle.
Missions Principales :
Installer, configurer et gérer des clusters Kubernetes on-premise, en assurant leur haute disponibilité et leur scalabilité ;
Intégrer Kubernetes avec des outils de traitement de données tels qu’Apache Spark, en optimisant les performances et la résilience des pipelines de données ;
Déployer et gérer des microservices et des workflows complexes sur Kubernetes, en assurant leur intégration fluide dans des pipelines CI/CD ;
Automatiser le traitement des données avec Apache Spark (PySpark, Spark SQL, Spark Streaming), tout en optimisant les performances des jobs et leur interaction avec des plateformes comme Databricks ou EMR ;
Concevoir et déployer des pipelines CI/CD robustes (Jenkins, GitLab CI, ArgoCD) pour des flux de données critiques, incluant des processus d’automatisation des tests et des déploiements ;
Implémenter des solutions de monitoring avancées pour Kubernetes et Spark (Prometheus, Grafana, CloudWatch), en mettant l’accent sur le scaling automatique et la gestion proactive des performances ;
Déployer des stratégies de sauvegarde et de restauration des données, en garantissant la résilience des systèmes face aux défaillances.

Compétences Techniques Requises

SonarQubeSparkTerraform

Compétences Fonctionnelles Requises

Prometheus

À propos du Donneur d'ordres

Frédérique
    
13641 mission(s) publiée(s) 0 deal(s) gangné(s)
FREELANCER BIDDING (0)

Il n'y a pas d'offres.