Data Architect Cloudera Dataiku

Description de la mission

Notre client, concepteur et réalisateur de solutions clés en main, cherche à renforcer ses équipes avec un Data Architect pour intervenir dans la mise en place d’une plateforme Data / de valorisation de la donnée.
Cette plateforme s’intègre dans le cadre d’un SI de 25 personnes, organisé en plusieurs équipes Scrum.
Les missions principales seront :
Gérer la définition, la consolidation et le développement d’une plateforme de valorisation de la donnée
En charge de la définition, du dimensionnement, de la sécurité et du maintien de l’architecture de la plateforme
Gouvernance de la donnée
Définition de l’architecture et de la sécurité de la plateforme
Benchmark d’outils et Intégration au sein de la plateforme
Consolidation du système d’authentification
Maintien des documentations techniques
Maintien en condition de sécurité des outils de la plateforme
Stratégie de backup
Travail en collaboration avec l’équipe d’exploitation (externe) et l’équipe projet (interne)
Le contexte technique :
– Stockage : Hadoop, Hive, Hbase, Postgresql, Ceph
– Calcul distribué : Spark
– Prototypage : Jupyter, Dataiku, Hue, Airflow
– Les outils d’alimentation : Kafka, Nifi
– Affichage : Grafana, Tableau
– Administration : Kerberos, Zookeeper, Solr, Ranger, Atlas, Ldap
– Les outils de proxyfication : Knox, HAProxy
– Les outils de supervision: Elasticsearch, Logstash, Kibana, Prometheus