(Infra) Intégrateur ETL / DataOPS

Description de la mission

L’ Assistance Publique – Hôpitaux de Paris (AP – HP) est un établissement public de santé et le centre hospitalier universitaire – CHU – de la région Ile-de-France, reconnu mondialement pour sa recherche. Le département Innovation & Données (I&D) s’inscrit au sein de sa Direction des Systèmes d’Information.
Sa mission ? ? Réaliser les projets numériques innovants au contact du monde hospitalier.
Ses projets phares ?
? Construire le plus gros entrepôt public de données de santé en Europe ! Le projet vise à valoriser les données produites à l’AP-HP pour la recherche, l’innovation et le pilotage des soins, tout en protégeant les données patient. L’Entrepôt de Données de Santé, c’est déjà +12 millions de patients dont les données sont structurées et référencées sur une plateforme Big Data dédiée.
?‍♀️?‍♂Faciliter le quotidien des patients! Le domaine gère notamment toutes les applications mobiles et tous les téléservices de l’AP-HP.
?Monter une plateforme Bio-Informatique centrale pour assister les pôles de biologie de l’ AP-HP dans leurs besoins informatiques (gestion du séquençage, déploiement de ressources de calcul).
?Développer et déployer au niveau national les outils de collecte et d’analyse épidémiologique des données relatives aux maladies rares.
La mission de votre équipe
Afin de permettre le développement de projets de recherche innovants, en particulier dans le domaine de l’intelligence artificielle, l’AP–HP a mis en place une plateforme Big Data, infrastructure informatique propre, intégrant des capacités de stockage et de calcul pour l’exploitation sécurisée et performante des données de santé dont elle est dépositaire. Cette plateforme héberge notamment l’entrepôt de données de santé (EDS) de l’AP-HP. L’Entrepôt de Données de Santé (EDS) de l’AP-HP intègre des données administratives et médicales de plus de 12 millions de patients hospitalisés ou venus en consultation au sein des 39 établissements de l’AP-HP (20 millions de dossiers médicaux, plus de 10 millions de diagnostics, 181 millions de résultats de laboratoires…). Cet entrepôt permet d’améliorer le pilotage de l’activité hospitalière et de faire avancer la recherche scientifique dans le domaine de la santé en favorisant la réalisation d’études sur données, la mise en place d’essais cliniques et le développement d’algorithmes d’aide à la décision. La Plateforme Big Data de l’AP-HP est dimensionnée relativement à la large quantité de données qu’elle intègre et à la charge de calcul impliquée par les flux de données, les traitements Big Data, l’analyse datascience sur Jupyter, les apprentissages et inférence des modèles d’Intelligence Artificielle / de Machine Learning, l’indexation des données pour des applications web, l’hébergement même de ces applications…, cela représente aujourd’hui +4.5Po de stockage, + 3800 Threads CPU, +20To RAM, des GPUs P40, T4, V100 et A100 et des To d’échanges réseau quotidiens. Votre équipe « Infrastructure », au sein de la Plateforme Big Data a pour mission le développement et la mise en place d’outils de divers horizons afin de répondre à des challengeschallengeschallenges challenges multiples.
Le role principal de l’équipe est le maintien opérationnel et l’amélioration continue des outils utilisés par les datascientists/chercheurs dans leur travaux de tout les jours. Parmis ces outils nous trouvons: Hadoop/SPARK, SLURM, JupyterLab/Hub Mais, ceci étant la partie emmergée de l’iceberg, l’équipe infrastructure a également en charge l’intégralité de la mise en place des serveurs à partir de l’installation des OS Linux, leur configuration via Ansible jusqu’à leur mise en production. Nous avons donc de nombreux outils nous permettant une flexibilité sur la gestion de nos ressources dont: Ambari, CEPH et Kubernetes.
L’infrastructure est également le socle sur lequel travail d’autres équipes: développeurs, intégrateurs de flux, Data Enginner, Pilotage et Projet; et notre but est de leur fournir aide et support dans leurs démarches liés à des sujets d’infrastructure notamment sur des sujets liés à Kubernetes, SPARK, HDFS et PostgreSQL Enfin la charge de surveiller l’intégralité de ces services et équipement sont gérés au sein d’outils tels Telegraf/InfluxDB2/Grafana et NRPE/Shinken/Thruk.
L’Open Source est également un challenge afin de pouvoir créer une communauté autour des solutions techniques qui sont développée, pour les enrichir, et permettre au plus grand nombre d’y accéder (https://github.com/aphp). Les objectifs de votre équipe sont de :
permettre aux chercheurs et différents personnels médicaux de travailler sur l’ensemble des données qui leurs sont adressée ;
d’accompagner les équipes projets de la Plateforme Mégadonnée ;
surveiller l’intégralité des services et serveurs en place ;
permettre de visualiser l’évolution et utilisation de la plateforme ;
Vos missions
Vous participerez, au sein de l’équipe « Infrastructure » au développement et l’enrichissement de la surveillance actuellement en place avec les stacks technique Telegraf/InfluxDB2/Grafana et NRPE/Shinken/Thruk afin de permettre la mise en place de tableaux de bord et d’alertes.
Lieu : Hôpital Rotschild, Paris 12e Télétravail : 3j/semaine maximum