Data Engineer Databricks

Description de la mission

Conception de l’architecture de données :
Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks.
Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier.
Développement de pipelines ETL :
Développer des pipelines ETL pour extraire, transformer et charger les données à partir de sources variées vers le lac de données Databricks.
Utiliser des outils comme Apache Spark pour traiter de gros volumes de données de manière efficace et distribuée.
Optimisation des performances :
Optimiser les requêtes Spark pour améliorer les performances des traitements de données.
Utiliser des techniques telles que le partitionnement, la mise en cache et la gestion de la mémoire pour optimiser l’exécution des jobs Spark.
Gestion des données en temps réel :
Mettre en place des pipelines de traitement de données en temps réel à l’aide de technologies comme Apache Kafka et Apache Spark Streaming.
Traiter les flux de données en continu pour fournir des analyses en temps réel et des insights instantanés.
Gestion de la qualité des données :
Mettre en place des contrôles de qualité des données pour garantir l’intégrité et la fiabilité des données.
Développer des processus de nettoyage, de normalisation des données pour maintenir leur qualité.
Sécurité des données :
Mettre en place des mesures de sécurité pour protéger les données sensibles et confidentielles.
Utiliser des fonctionnalités de sécurité avancées de Databricks telles que le chiffrement des données et la gestion des accès pour garantir la confidentialité et l’intégrité des données.
Automatisation des workflows :
Automatiser les workflows de traitement de données en planifiant et en orchestrant les jobs ETL à l’aide de Databricks Jobs ou d’autres outils de planification.
Mettre en place des déclencheurs pour déclencher des actions en réponse à des événements spécifiques sur la plateforme de données.
Surveillance et gestion des opérations :
Surveiller les performances et la santé de la plateforme de données en utilisant des outils de surveillance comme Databricks Metrics et Databricks Monitoring.
Gérer les incidents et les problèmes opérationnels en assurant une disponibilité continue des services de données.
Collaboration avec les équipes métier :
Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d’analyse de données et de reporting.
Fournir un support technique et des conseils pour aider les utilisateurs à accéder et à analyser les données sur la plateforme Databricks.
Veille technologique :
Suivre les évolutions dans le domaine du Big Data et du traitement des données pour intégrer les nouvelles technologies et les meilleures pratiques dans la plateforme de données Databricks.