Data Engineer

Description de la mission

PAS DE SOUS TRAITANCE // MERCI
Nous recherchons un Data Engineer pour renforcer une équipe technique dans un projet lié à la mesure et à l’optimisation énergétique. Vous collaborerez avec les Data Scientists et les équipes techniques pour concevoir et maintenir des pipelines de données robustes et sécurisés, en utilisant les meilleures pratiques cloud.
Vos missions incluront :
• Conception et déploiement de pipelines de données serverless (e.g., step function, Lambda, S3, Redshift) pour la gestion de données énergétiques en batch et en streaming.
• Structuration des données en zones fonctionnelles sur S3 et optimisation des formats (JSON, Parquet) pour améliorer les performances et réduire les coûts.
• Automatisation de workflows CI/CD/CT avec GitHub Actions pour assurer des déploiements continus, sécurisés et sans interruption.
• Implémentation d’un monitoring avancé pour détecter les anomalies et garantir une maintenance efficace.
• Sécurisation des données sensibles en respectant les normes de sécurité cloud.
• Optimisation des coûts et réduction de l’empreinte carbone en optimisant l’efficacité des ressources cloud.
• Collaboration avec l’équipe Data Science pour faciliter l’accès aux données de qualité et intégrer les modèles dans les applications.