Data Scientist Expert Vertex et GCP

Description de la mission

Objectif : Développer et livrer la « Plateforme MLOps » en juin, utilisant des services de GCP et IT SFR.
Technologies utilisées :
GCP Workstations (environnement de développement)
GCP Bigquery
GCP GCS
GCP Vertex
SFR Gitlab
SFR Harbor (container registry)
SFR Nexus (package manager)
SFR Airflow (ordonnanceur)
Modes d’utilisation :
Portage d’applications existantes
MLOps mainstream GCP
Mission :
Recetter la plateforme MLOps mainstream GCP.
Réapprendre un modèle existant dans le process MLOps mainstream GCP.
Développer un use-case de data science type, intégrant les best practices des services utilisés.
Fonctionnement actuel :
Administration de trois serveurs physiques on-prem pour les projets de data science.
Utilisation de technologies pour chaque étape du workflow de ML (installation de packages, connexion à Bigquery, entraînement et analyse de modèles, sauvegarde des modèles, préparation des scripts d’inférence, versioning sur Gitlab).
Modifications en mode MLOps GCP :
Entraînement des modèles délégué aux services Vertex.
Environnement de développement sur GCP Workstations.
Utilisation de containers GCP Workstations pour concevoir scripts, images docker, et pipelines Kubeflow.
Versioning des codes et build des images docker via Gitlab.
Inférence des modèles déployée en mode endpoint par Vertex.
Monitoring des modèles supervisé par Vertex Monitoring et une application shiny conteneurisée sur Cloud Run.
Définition de la prestation :
Recetter la plateforme MLOps mainstream GCP.
Réapprendre un modèle existant dans le process MLOps mainstream GCP.
Développer un use-case de data science type.
Points de recette :
Recette de la workstation (configuration, containers, IDE fonctionnel, connexion à divers services).
Recette des templates de CI Gitlab (build des images docker, appels aux services Vertex, création/modification des dags Airflow).
Recette du fonctionnement d’Harbor (connexion et push des images).
Recette du fonctionnement de Nexus (proxy des repos publics).
Recette du fonctionnement d’Airflow (environnement de run).