Data Engineer – Scala & Spark

Description de la mission

Descriptif du poste
En tant que Data Engineer, vous serez intégré au sein de l’équipe Big Data de l’Entrepôt de Données de Santé (EDS) de l’AP-HP. Cette équipe est composée d’une dizaine de Data Engineer travaillant à la conception et au développement de la base de données standardisée et centralisée de l’EDS. Cette base contient des données aggrégées provenant de divers applicatifs de l’AP-HP avec des typologies très différentes (données structurées, non-structurées, imagerie, voix, signaux physiologiques, etc.) qui nécessitera la mise en oeuvre d’outils spécifiques à leur intégration et leurs traitements.
Contribuer à la définition des besoins techniques et à l’accompagnement des Datas Scientists, chercheurs, et médecins lors de la réalisation de projets de recherche impliquant de nouvelles sources de données
Analyser les différents sources de données d’un point de vue technique (acquisition, stockage, transformation, exploitation, …)
Développer, industrialiserez et maintiendrez des traitements de données (extraction, sélection, collecte, intégration et aggrégation) dans un contexte Big Data (développements en Spark/Scala/Python)
Intégration d’algorithmes spécifiques (ML, NLP, etc.) co-développés avec l’équipe Data Science de l’EDS
Contribuer à l’utilisation de ces nouvelles typologies de données (extraction, sélection, collecte et intégration) via des connecteurs spécifiques développés en Java/Scala & Python
Voir plus