Developpement Big Data – Senior Mission

Description de la mission

Developpement Big Data – Senior (Mission)
Lyon, Auvergne-Rhône-Alpes, France (Hybride)
Mission (6 mois 21 jours)
Publié il y a 15 heures
Java
bigdata
Hive
Développement
Ansible
Oracle
Big data
Spark
Python
Indexima
Contexte de cette mission Freelance/Indépendant : Pour notre client dans le domaine de l’Energie, le projet recherche une prestation de Développement Big Data.

Il s’agit d’un projet pilotage et d’analyse du système et doit répondre aux enjeux suivants :
Assurer le pilotage du système et des processus métier associés
Garantir la qualité et la sécurité des informations
Contribuer à l’amélioration continue du système Linky

L’application permet trois principales fonctionnalités :
Le reporting
L’export des données
L’exploitation de données

Elle est utilisée par environ 1500 utilisateurs (analystes, experts métiers, experts SI). L’équipe se compose de plus de quarante compétences, réparties en six sous équipes, qui a comme périmètre un ensemble de thématiques métiers et une plateforme technique.

Missions :
Apporter une expertise en Big Data (Spark) pour faciliter la manipulation des données
Définir les solutions techniques permettant le traitement massif de données
Mettre en place des solutions de stockage de données (SQL, NoSQL, etc.)
Veiller la sécurisation et la clarté des pipelines de données pour faciliter l’analyse et la transformation

Assurer la création, la maintenance, l’optimisation et la sécurité des bases de données
Détecter, proposer et suivre les optimisations des requêtes SQL, PL/SQL afin de garantir les meilleures performances de nos applications métier
Assurer le support aux équipes de développement afin d’identifier et proposer des solutions performantes SGBD les mieux adaptées d’un point de vue métier
Apporter une expertise transverse sur Spark
Veille technologique sur les outils utilisés au sein du projet
Partage et formation sur les guides de bonnes conduites
Accompagnement des autres développeurs Spark sur le projet

Environnement technologique :
Big Data : Spark, Hive, Indexima
Stockage : Oracle, CEPH S3 (parquet)
Langages : Java, Python, PL/SQL, Shell
CI/CD : Ansible, Terraform, Jenkins, GIT
ETL : Informatica
Dataviz : Tableau Server
Ordonnanceur : Control-M
Expertise Spark, quelque soit le langage de prédilection (Java, Scala, Python).
Défini/challenge les solutions et architectures techniques permettant le traitement de volumes importants
de pipelines de données suffisamment sécurisés et lisibles
Intervient auprès des architectes et urbanistes pour la préparation des dossiers techniques
Anime les équipes Data sur toutes les étapes du traitement de la donnée
Assure la bonne prise en compte des recommandations du CTO Nex’Us
Maîtrise des solutions de stockage de données
Maîtrise des technologies du Big Data permettant le traitement et la manipulation de données
Maîtrise des outils de gestion de code et de déploiement projet
Maitrise des fondamentaux de l’agilité
Maîtrise des solutions de stockage de données
Maîtrise avancée des langages structurés
Maîtrise avancée des technologies du Big Data permettant le traitement et la manipulation de données

Localisation : 3 jours/semaine sur site à Lyon & 2 jours/semaine Remote
CETTE OFFRE M’INTÉRESSE !
Partager