Data Engineer Python AWS

Description de la mission

Publié le 08/10/2024
Il est garant de l’accès qualitatif aux sources de données.
Il s’assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d’en faciliter l’exploitation par les équipes (Data Analysts et Data Scientists).
Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer.
Son périmètre d’intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT, …
Il assure la supervision et l’intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons, …)
QUALIFICATION ET GESTION DES DONNÉES :
• Capte les données (structurées et non structurées) produites dans les différentes applications ou à l’extérieur de l’entité
• Intègre les éléments
• Structure la donnée (sémantique, etc.)
• Cartographie les éléments à disposition
• Nettoie la donnée (élimination des doublons, …)
• Valide la donnée
• Éventuellement, il crée le référentiel de données

Profil du candidat
Excellente maitrise de :
Snowflake
Lambda / Step function
AWS RDS PostgreSQL
Python
Requêtes SQL complexes
• Capte les données (structurées et non structurées) produites dans les différentes applications ou à l’extérieur de l’entité
• Intègre les éléments
• Structure la donnée (sémantique, etc.)
• Cartographie les éléments à disposition
• Nettoie la donnée (élimination des doublons, …)
• Valide la donnée
• Éventuellement, il crée le référentiel de données
Description de l‘entreprise
Environnement de travail :
Snowflake
Lambda / Step function
AWS RDS PostgreSQL
Python
Requêtes SQL complexes
• Capte les données (structurées et non structurées) produites dans les différentes applications ou à l’extérieur de l’entité
• Intègre les éléments
• Structure la donnée (sémantique, etc.)
• Cartographie les éléments à disposition
• Nettoie la donnée (élimination des doublons, …)
• Valide la donnée
• Éventuellement, il crée le référentiel de données