Une fois qu'un modèle a été entraîné, c'est-à-dire qu'il a appris des modèles (masqués) à partir du jeu de données fourni, le modèle doit être déployé. En déployant le modèle, on peut envoyer de nouvelles données au modèle et obtenir une « prédiction » pour l'enregistrement de données donné. C'est aussi ce que l'on appelle le Modèle Serving ou Inferencing.
Un cluster Kubernetes peut être configuré pour fournir à la fois des conteneurs CPU (bon marché) et GPU pour Model Serving.
En outre, un grand nombre de demandes peuvent être envoyées simultanément au serveur de modèles. Afin de traiter ces demandes d’« inférence » en temps opportun, Kubernetes permet de mettre à l’échelle le serveur de modèles « à la demande ».
Nous avons ici 2 cas :
Mise à l'échelle automatique : ajout (clonage) de nouveaux conteneurs à la demande.
Mise à l'échelle zéro : permet d'optimiser les coûts et de payer à l'utilisation, en fermant les conteneurs inactifs.
Le déploiement d'un modèle dans SAP AI Core consiste à écrire une application Web capable de servir les demandes d'inférence via un point d'extrémité exposé sur Internet, qui peut être facilement mis à l'échelle sur l'infrastructure Kubernetes.
Application en service
Pour servir un modèle, vous codez et développez une application de service qui sera exécutée sous la forme d'un conteneur.
Tout commence par une demande d'inférence envoyée à un point d'extrémité. En interne, l'application Web doit interpréter les données contenues dans le corps de l'appel, puis récupérer le modèle à partir du magasin d'objets hyperscaler, l'appliquer aux données et regrouper la prévision dans une réponse qui sera consommée par un service personnalisé.
Remarque
Le codage est fondamental, mais, comme indiqué précédemment, le serveur de modèles qui sera déployé est défini par un template spécifique. Ce template autonome créera un exécutable avec la définition des paramètres requis, le conteneur à exécuter, les ressources nécessaires au démarrage de l'application Web et le nombre de répliques du serveur de modèles à démarrer.
Cette combinaison de l'exécutable de service approprié, avec la référence au modèle à utiliser, permettra à SAP AI Core de lancer votre déploiement.
Lorsque le serveur de modèles est en cours d'exécution et que l'URL de déploiement est prêt, l'étape finale du workflow d'apprentissage automatique dans SAP AI Core est la consommation du modèle via le point de terminaison exposé. L'API peut être facilement intégrée à n'importe quelle application de gestion à l'aide d'une requête http, telle qu'un ordinateur portable Jupyter, Postman ou une application CAP, etc.