Data Engineer Azure Java Spark

Description de la mission

? Contexte /Objectifs
l’entité est en charge des développements liés aux applications sources, de contrôle et de valorisation des instruments, des données de marchés et des facteurs de risques.
– MDx Datalake : une application qui copie les données MSD et MATRIX sur le Cloud public (Azure) à des fins analytiques.
?Objectifs et livrables
Les enjeux étaient nombreux :
 Volumétrie de données
 Performance / Multi-Threading
 Data Quality
 Legacy Management
 Large éventail de technologies à maîtriser :
o Etudes techniques
o Refonte technique et refonte de l’architecture du projet
o Migration On-Premise vers Azure
o Optimisation des performances
o Amélioration du Code Quality
o Mise en place des process CI/CD
o Mise en place du monitoring
o Diverses implémentations et migrations techniques de composants déployés
dans Azure (AirFlow, Migration Blue/Green, etc…)