Ingénieur de production Big Data

Description de la mission

Dans le cadre du renforcement de notre capacité de support N2, nous recherchons des prestataires spécialisés dans l’exploitation et le support de plateformes Big Data.
Contexte :
Notre équipe est responsable du maintien en condition opérationnelle des plateformes suivantes qui tournent sur IKS (Kubernetes IBM) et bientôt sur OpenShift :
Apache Spark
Apache Airflow/Astronomer
Starburst (trino)
Objet de la prestation
La prestation visera à :
Assurer le support de niveau 2 en production des plateformes mentionnées (PROD).
Intervenir dans la gestion des incidents, l’analyse des root causes et la résolution.
Participer à l’optimisation des traitements Spark sur Kubernetes (tuning, configuration, dimensionnement), à l’optimisation de l’orchestration Airflow, à la gestion des catalogues Starburst
Accompagner les équipes métiers dans l’utilisation efficace et sécurisée des plateformes.
Contribuer à la documentation et à l’amélioration continue de l’écosystème d’exploitation.
Compétences attendues