Data Engineer – Environnement Scala Hadoop

Description de la mission

Publié le 09/10/2024
Notre client est une grande entreprise opérant dans le secteur financier, avec une forte présence dans le domaine des services aux entreprises. Dans un contexte de transformation technologique, l’entreprise souhaite renforcer son équipe IT pour maintenir et faire évoluer ses applications critiques. Le projet en cours concerne l’optimisation et le maintien des applications d’une plateforme dédiée à la gestion des financements.
Le projet s’intègre au sein d’un grand programme de modernisation de la plateforme de financements. Le système, basé sur des technologies Hadoop et Scala, gère un large éventail de services critiques. L’objectif principal de cette mission est d’assurer le bon fonctionnement des applications existantes et de contribuer aux évolutions techniques, notamment en participant aux déploiements et aux maintenances évolutives.
Les applications sont gérées au sein de la DSI, plus précisément dans une filiale dédiée à la gestion des financements. Vous travaillerez avec une équipe dynamique dans un environnement Agile/SCRUM, en étroite collaboration avec des équipes métiers et techniques.
Assurer le maintien en conditions opérationnelles (MCO) des applications sur la plateforme existante.
Contribuer aux travaux de déploiement, d’intégration et de livraison des composants sur l’environnement PISA.
Concevoir, modéliser et implémenter des solutions techniques pour les maintenances évolutives et correctives sur la plateforme.
Développer et améliorer les traitements des calculateurs (basés sur des templates YAML et développements Scala).
Participer à la rédaction et mise à jour des spécifications techniques, en lien avec les travaux de maintenance corrective ou évolutive.
Collaborer étroitement avec les équipes métier et les Business Analysts pour assurer la qualité des développements.
Assurer le support technique durant les phases de recette.
Suivi de la production et résolution des incidents sur la plateforme de financements.
Participation active aux ateliers de conception avec les équipes métier et techniques.
Développement de traitements sur les calculateurs, intégrant les règles métier via des configurations YAML et des développements en Scala.
Assurer le déploiement des composants sur les environnements de recette et de qualification.
Mise à jour du dictionnaire de données Nodata et collaboration avec les équipes pour garantir la cohérence des évolutions.
Profil du candidat
Expérience confirmée en tant que Data Engineer ou Développeur dans un environnement Scala / Hadoop.
Bonne maîtrise de Scala et des environnements distribués, ainsi que des technologies comme Hortonworks ou Hive.
Expérience dans la modélisation et le développement de solutions techniques liées aux calculateurs ou aux traitements spécifiques.
Solides compétences dans la gestion des déploiements et des intégrations dans un environnement complexe.
Compétence en rédaction de spécifications techniques et documentation.
Familiarité avec la méthodologie SCRUM ou Agile.
Description de l‘entreprise
Scala et développement sur des plateformes distribuées.
Outils de configuration comme YAML.
Environnement Hadoop (Hortonworks, Hive).
Connaissance des outils de Reporting (Power BI, Power Query) serait un plus.
Bonne maîtrise de SQL et gestion de bases de données relationnelles.
Autonomie, rigueur et capacité à travailler en équipe.
Forte capacité d’analyse et de résolution de problèmes.
Excellentes compétences en communication et collaboration avec les équipes techniques et métiers.