Data Engineer – Spark/Scala & Java

Description de la mission

Description de la mission

Contexte : 

• Au sein de la banque de financement et d’investissement d’une organisation bancaire reconnue, le bénéficiaire souhaite s’appuyer sur l’expertise du Prestataire en termes de Data Engineering

Expérience : 5 ans  – 9 ans

Environnement 

Docker Pratique

Kubernetes Pratique

Elastic Search & Kibana Pratique

Hadoop (Big Data) Expert

Hive Maîtrise

NoSQL Pratique

PostGreSQL Pratique

Spark Expert

Angular Pratique

Git Hub Maîtrise

Java Expert

Javascript/TypeScript Notions

Jenkins Pratique

Maven Pratique

REST Maîtrise

Scala Expert

• Tâches à réaliser 

Avec les métiers :

Design technique des cas d’usages – Expertise / Très bonne maitrise

Supports bénéficiaires afin de les transcrire en spécifications d’architecture techniques – Maitrise / Bonne compétence détaillées

Supports entités dans la recherche collective des moyens techniques optimaux – Connaissance sans maitrise approfondie / notions connues

Définir la stratégie d’onboarding des nouvelles arrivées et les ressources moins expérimentées – Aucune connaissance

Support aux ressources faisant face à des difficultés techniques

Réalisation des activités de Data/Software Engineering.

Contribuer à l’intégration cohérente des cas d’usages Datalake dans le SI avec les Architectures Techniques

Identifier et prévenir les risques éventuels de dérapages en termes de coûts et de délais et proposer le cas échéant des moyens pragmatiques et cohérentes afin de mitiger le risque identifié

Développer et Implémenter les collectes de données, des jobs de traitement et Mapping de données (Spark/Scala)

Développement des moyens de restitution via génération de fichier et ou API & Dashboarding (Java Spring Batch/Boot, rest API, Postgres, Angular)

Implémentation/Amélioration de la chaîne de livraison continue (Jenkins, Sonar, Nexus, Ansible, Kubernetes)

Faire la revue de code avec les autres membres de l’entité

Support Architectures Techniques dans les choix d’implémentation au sein du SI

Donner des préconisations en termes d’architecture big data

Élaborer les moyens techniques en conformité avec les lignes directrices fixées par les métiers, les normes et standard du Client

Garantie de la qualité et de la maintenance technique du produit

S’assurer que la stratégie de test du produit est bien respectée

Contribuer à la veille technique de son périmètre et à sa diffusion

• Livrables Attendus « Documentation d’architecture technique des uses cases”

« Documentations techniques et fonctionnelles des collectes et traitements incluant les sources de données et les traitements associes”

Developpement des jobs de Collecte & de Traitements des donnees

Developpement des services de restitution (Rest API, fichier sur Objet Storage)

Automatisation du deploiement des Jobs

Durée mission Longue durée / BDC 3 mois renouvelables

Client 75000 Paris