Data Engineer confirmé Scala Python Spark HDFS Kafka Docker Git AWX CDP et OpenShift

Description de la mission

Data Engineer confirmé.Scala Python Spark HDFS Kafka Docker Git AWX, CDP et OpenShift
Nous recherchons pour notre client du numérique basé à Issy Les Moulineaux, un Data Engineer confirmé.Scala Python Spark HDFS Kafka Docker Git AWX, CDP et OpenShift

Démarrage ASAP
TJM non déterminé
Localisation Issy Les Moulineaux / Télétravail
Durée de la mission : 2 ans

Tâches :
– Développer, tester et démontrer :
o Les différentes briques de la plateforme,
o Les services,
o Les usages.
– Participer à l’évolution et aux améliorations des services déjà en place, en concertation avec le métier représenté par les Product Owners,
– Documenter et partager les solutions dans le confluence de La Poste,
– Participer à la veille et à l’innovation pour enrichir la plateforme,
– Participer de façon active aux cérémonies Agile/SAFe,
– Participer aux divers ateliers.
Compétences requises :

De formation supérieure type BAC+4/5 dans le domaine Informatique, les profils présentés doivent justifier d’une expérience d’au moins 4 ans en développement, d’une expérience significative dans le Big Data et savoir démontrer une capacité à travailler dans un environnement Agile.
– Avoir plusieurs années d’expérience en Scala (maitrise du langage),
– Connaître Python,
– Bonne connaissance de la conception d’HDFS, des différents formats de fichier,
– Bonne connaissance sur le framework Spark,
– Savoir analyser la performance d’un job Spark,
– Expérience sur les frameworks de scheduling de traitements batch (par exemple Airflow ou Oozie),
– Expérience sur Kafka ainsi qu’au moins un framework de traitement (par exemple Kafka streams, Flink, Spark streaming etc.),
– Connaissance en Docker,
– Connaissances AWX, CDP et OpenShift,
– Connaitre Git,
– Avoir une expérience de CI/CD,
– Être capable de développer d’une manière simple et lisible,
– Être capable de donner des retours pertinents en code review ,
– Être en capacité de travailler dans un environnement agile: Savoir appliquer le cadre SCRUM.
– Autonomie,
– Orienté Client,
– Recherche du résultat et de la performance,
– Capacité d’analyse, rigueur et synthèse,
– Adaptabilité, écoute, travail en équipe,
– Bonne résistance au stress,
– Communication efficace : Savoir expliquer l’avancement de ses tâches et informer des points de blocages.