enfrde

DevOps-DataOps Apache Spark

  • Type Régie
  • BUDGET Tarif selon profil
  • Durée (mois) 6
  • Pays France
  • Remote NON
  • Offres0
  • Moyenne Tarif selon profil
Réalisez votre mission en étant porté chez
Gagnez 940,43 net / mois En savoir plus

Publiée le 10 février 2025

Active

Description de la mission

Publié le 09/02/2025
Contexte :
Dans le cadre d’un projet stratégique pour une banque de renom, nous recherchons un DevOps-DataOps pour automatiser et industrialiser les pipelines de données. Ce rôle exige une expertise avancée dans la gestion des environnements Kubernetes on-premise, ainsi qu’une forte compétence sur Apache Spark pour des traitements de données à grande échelle.
Missions Principales :
Installer, configurer et gérer des clusters Kubernetes on-premise, en assurant leur haute disponibilité et leur scalabilité ;
Intégrer Kubernetes avec des outils de traitement de données tels qu’Apache Spark, en optimisant les performances et la résilience des pipelines de données ;
Déployer et gérer des microservices et des workflows complexes sur Kubernetes, en assurant leur intégration fluide dans des pipelines CI/CD ;
Automatiser le traitement des données avec Apache Spark (PySpark, Spark SQL, Spark Streaming), tout en optimisant les performances des jobs et leur interaction avec des plateformes comme Databricks ou EMR ;
Concevoir et déployer des pipelines CI/CD robustes (Jenkins, GitLab CI, ArgoCD) pour des flux de données critiques, incluant des processus d’automatisation des tests et des déploiements ;
Implémenter des solutions de monitoring avancées pour Kubernetes et Spark (Prometheus, Grafana, CloudWatch), en mettant l’accent sur le scaling automatique et la gestion proactive des performances ;
Déployer des stratégies de sauvegarde et de restauration des données, en garantissant la résilience des systèmes face aux défaillances.
Profil du candidat
Compétences Requises :
Maîtrise des environnements Kubernetes on-premise, incluant des outils d’orchestration et de gestion de clusters (Helm, Kustomize) ;
Expertise confirmée sur Apache Spark (PySpark, Spark SQL, Spark Streaming) et son intégration dans des architectures distribuées ;
Solide expérience des outils IaC (Terraform, Ansible) pour l’automatisation des infrastructures ;
Compétences en CI/CD (Jenkins, GitLab CI, ArgoCD) pour l’automatisation des workflows de données ;
Maîtrise du scripting (Python, Bash) et de la gestion des bases de données SQL/NoSQL ;
Expérience en observabilité et monitoring (Prometheus, Grafana, CloudWatch) pour les environnements distribués.
Description de l‘entreprise
Vous intégrerez une équipe dynamique et collaborative, évoluant dans un environnement axé sur l’innovation et l’amélioration continue, offrant ainsi un cadre idéal pour réussir et s’épanouir en tant qu’un Ingénieur DevOps-DataOps.

Compétences Techniques Requises

ANSIBLEJenkinsPython

Compétences Fonctionnelles Requises

AnsiblePrometheus

À propos du Donneur d'ordres

Frédérique
    
13641 mission(s) publiée(s) 0 deal(s) gangné(s)
FREELANCER BIDDING (0)

Il n'y a pas d'offres.