Explication des concepts de modélisation prédictive

Dans cette leçon, nous aborderons les concepts suivants liés à la modélisation prédictive dans SAP Analytics Cloud :

• Scénario prédictif
• Sources de données
• Variables
• Mettre les échantillons en attente
• Structures de données correctes pour chacun des différents modèles prédictifs utilisés dans Smart Predict
• Accès aux données du modèle prédictif
• Statut du modèle entraîné et non entraîné

Un scénario prédictif est un espace de travail préconfiguré. Vous pouvez utiliser des scénarios prédictifs pour créer des modèles prédictifs et des rapports pour répondre à une question nécessitant la prévision d'événements ou de tendances futurs.

Vous pouvez créer un ou plusieurs modèles prédictifs dans un scénario prédictif. Chaque modèle prédictif génère des visualisations intuitives des résultats, ce qui facilite l'interprétation de ses résultats.

Il existe trois types de scénarios prédictifs disponibles dans SAP Analytics Cloud et chaque scénario est traité dans un chapitre distinct de ce cours. Vous pouvez choisir celui qui correspond le mieux à votre question.

1. Scénario prédictif de classification : quelle est la probabilité qu'un événement futur se produise ? Cet événement est observé à un niveau individuel (client, immobilisation, produit, etc.) et à un certain horizon (dans l’année, avant la fin de la semaine, dans un mois après le contact client, etc.). Par exemple :
   • Qui est susceptible d'utiliser votre nouveau produit ?
   • Quel client est ou n'est pas susceptible d'abandonner ?
2. Scénario prédictif de régression : quelle pourrait être la prédiction d'une valeur commerciale, en tenant compte du contexte de son occurrence ? Par exemple :
   • Quel sera le chiffre d'affaires généré par la ligne de produits, en fonction des frais de transport et des taxes planifiés ?
   • Quel sera le prix estimé de la maison en fonction de l'emplacement et des séquences carrées ?
3. Scénario prédictif de prévision de série temporelle : quelles sont les valeurs futures d'une valeur commerciale au fil du temps, à un certain emplacement/granularité ? Par exemple :
   • Quelle quantité de glace vais-je vendre quotidiennement au cours des 12 prochains mois ?
   • J'ai mes informations de vente quotidiennes historiques, mais comment un mois de vacances impacte-t-il sur mes ventes ?

Regardez cette courte vidéo pour en savoir plus sur les phases d'apprentissage et d'application de la modélisation prédictive.

Dans la phase d'apprentissage, le modèle est entraîné sur des données historiques avec un résultat cible connu.

Le modèle est entraîné pour identifier des modèles dans les données du passé afin de prévoir la cible dans les mois suivants ou postérieurs. Dans cet exemple, la période de données cible (avril) a lieu APRÈS la période des données historiques (janvier à mars).

Une date de référence au 1er avril est définie et le modèle est entraîné sur trois mois de données historiques pour prévoir ce qui se passe le mois suivant (avril).

Dans la phase d'application, le modèle est appliqué aux données actuelles où le résultat est inconnu.

Le modèle prédit la probabilité de résultat pour chaque ID client. Dans cet exemple, le modèle est appliqué aux trois derniers mois de données (avril à juin), ce qui permet de prédire la probabilité d'abandon dans le mois futur (juillet).

Une date de référence au 1er juillet est définie et le modèle est entraîné sur trois mois de données actuelles pour prévoir ce qui se passe le mois suivant (juillet).

• Pour un modèle prédictif de classification ou de régression, le jeu de données d'entrée Source de données peut être un jeu de données d'entraînement ou d'application.
• Pour un modèle de prévision de série temporelle, un seul ensemble de données est utilisé pour l'entraînement et l'application.

Jeu de données d'entraînement : le jeu de données d'entraînement contient les observations passées utilisées pour générer le modèle prédictif.

• Dans cet ensemble de données d'entraînement, les valeurs de la variable cible, qui est la variable correspondant au problème de gestion, sont connues.
• En analysant le jeu de données d'entraînement, Smart Predict génère un modèle prédictif qui explique et prédit la variable cible, en fonction des variables identifiées comme influenceurs.

Jeu de données d'application : une fois le modèle prédictif créé (entraîné), il est appliqué à un jeu de données d'application. Cet ensemble de données d'application doit contenir la même structure-info que l'ensemble de données d'entraînement correspondant, comme suit :

• Le même nombre de variables (les colonnes supplémentaires sont ignorées).
• Les mêmes noms de variables que le jeu de données d'entraînement correspondant.
• Le même ordre de présentation de ces variables.

Une fois le modèle prédictif appliqué, les valeurs cible prédites sont calculées dans le jeu de données de sortie.

Jeu de données de sortie : un jeu de données de sortie contient le résultat de l'application du modèle prédictif au jeu de données d'application et toute information supplémentaire demandée.

Une fois le modèle prédictif appliqué, les valeurs cible prédites sont générées dans le jeu de données de sortie.

Les jeux de données de sortie sont sauvegardés par défaut dans le dossier Menu principal/Parcourir/Fichiers, mais vous pouvez sélectionner un autre répertoire si nécessaire ou sauvegarder la sortie dans SAP HANA (si vous vous connectez à SAP HANA).

Pour créer un modèle prédictif, les rôles de variable suivants sont définis :

1. Cible
2. Influenceurs potentiels

La cible est la variable qui doit être expliquée ou prédite. Par exemple :

1. Une banque souhaite prédire si un client répondra à une communication marketing ou non. Le jeu de données d'entraînement inclut les informations client et contient la variable cible <responded to mailings><responded to mailing>. Cette variable cible peut prendre les valeurs <Yes> ou <No>. 
2. Une entreprise souhaite prévoir le nombre de réclamations reçues par le support client cette semaine. La variable cible est <Number of customer complaints> et prend <numerical> valeurs.

IMPORTANT : Si la valeur <Yes> est la valeur la moins fréquente, l'application considère automatiquement cette valeur comme la catégorie cible de la variable cible.

Les influenceurs sont des variables qui décrivent les données et expliquent une variable cible.

• Une variable d'influenceur correspond à une colonne dans le jeu de données.
• Les observations relatives à chaque influenceur correspondent aux lignes de l'ensemble de données.

Lors de la création du modèle prédictif (phase d'apprentissage), les variables d'influenceur peuvent être exclues du processus d'entraînement. Ces exclusions sont les suivantes :

• non pris en compte pour le calcul du modèle prédictif
• non inclus dans les statistiques pour le modèle prédictif
• non extrait de la source de données
• non nécessaire lorsque le modèle prédictif est appliqué à un jeu de données d'application

Excluez les variables qui sont directement liées à la cible, en particulier les variables qui contiennent indirectement la variable cible. Ils sont connus sous le nom de variables de fuite ou de fuite:

• Ces variables sont en quelque sorte causalement liées à la variable cible. Cependant, au lieu d'être une cause pour ce que votre variable cible représente, ils sont le résultat.
• Ces leakers produisent un modèle incorrect, souvent avec un indicateur de puissance prédictive élevé (en raison de leur forte corrélation avec la variable cible).
• Pour éviter les fuites de données, les variables créées ou mises à jour après la date de référence de la valeur cible doivent être exclues car lorsque vous utilisez le modèle pour effectuer de nouvelles prévisions, ces données ne seront pas disponibles.

Lors de l'entraînement, Smart Predict sélectionne un nombre optimisé d'influenceurs à inclure dans le modèle prédictif, de sorte que le bouton à bascule est désactivé par défaut.

Pour remplacer la configuration par défaut de Smart Predict, par exemple, pour vous concentrer uniquement sur quelques influenceurs qui ont le plus d'influence sur la cible. Pour remplacer la configuration par défaut, activez et définissez le nombre maximal d'influenceurs à conserver dans le modèle.

Lorsque vous créez votre modèle dans SAP Analytics Cloud, un échantillon de mise en attente est automatiquement créé. Il s'agit d'un échantillon d'observations retirées de l'apprentissage du modèle. La capacité du modèle à prédire les probabilités futures est estimée par sa capacité à prédire les données dans l'échantillon de mise en attente.

Les données sont partitionnées et fractionnées comme suit :

1. Sous-ensemble d'entraînement pour entraîner les modèles.
2. Un sous-ensemble de validation contient un échantillon pour tester les performances du modèle et choisir le modèle le plus performant parmi une gamme de modèles candidats.

1. L'ensemble de données d'analyse alimente les données de partition où elles sont fractionnées en sous-ensembles d'entraînement et de validation.
2. Le sous-ensemble d'entraînement est utilisé pour entraîner les modèles candidats.
3. Le sous-ensemble de validation est utilisé pour évaluer les modèles candidats afin de choisir le meilleur et d'évaluer les performances du modèle.

Pour les modèles de classification et de régression, les données sont automatiquement fractionnées de manière aléatoire comme suit :

• 75 % dans le sous-ensemble de formation
• 25 % dans le sous-ensemble de validation

Dans les modèles de série temporelle, il est important de conserver la séquence de données relative à la date et à l'heure. Les données historiques sont automatiquement fractionnées de manière séquentielle comme suit :

• 75 % à la formation
• 25 % dans les sous-ensembles de validation

Dans l'exemple ci-dessous, vous créez un modèle de classification pour prévoir si un client achètera un produit ou non.

Vous devez préparer un jeu de données d'entraînement contenant les données historiques sur les clients qui ont précédemment acheté un produit similaire. Dans le jeu de données d'entraînement, les valeurs réelles de la variable cible (Acheté) sont connues.

Une fois le modèle prédictif créé, il est appliqué à un jeu de données d'application pour prédire si d'autres clients achèteront le produit. Cet ensemble de données contient les mêmes informations sur les clients que le jeu de données d'entraînement. Cependant, la variable cible (Achètera-t-il ?) est une valeur inconnue (vide) car elle doit être prédite.

Smart Predict utilise le modèle prédictif pour calculer la probabilité que chaque client dans le jeu de données d'application achète le produit. La colonne de variable cible est maintenant ajoutée au jeu de données de sortie avec le résultat prévu (achètera-t-elle, oui ou non).

Dans l'exemple ci-dessous, vous créez un modèle de régression pour prédire le nombre de réclamations que le support client recevra la semaine prochaine.

Préparez un ensemble de données d'entraînement contenant des valeurs historiques pour plusieurs semaines précédentes. Dans cet ensemble de données, les valeurs historiques ou les valeurs réelles de la variable cible (nombre de réclamations par semaine) sont connues.

Une fois le modèle prédictif de régression créé, il est appliqué à un nouveau jeu de données d'application, qui contient les mêmes influenceurs. Les valeurs de la variable cible pour la semaine suivante (le nombre de réclamations la semaine prochaine) sont inconnues car elles se situent dans le futur.

L'ensemble de données de sortie contient la prévision du nombre de réclamations pouvant être attendues la semaine prochaine.

Dans l'exemple ci-dessous, vous créez un modèle de série temporelle pour prévoir les ventes de produits pour les trois prochains mois.

Le modèle de prévision est entraîné sur le jeu de données d'entraînement et crée automatiquement des prévisions du signal pour N périodes dans le futur. Par conséquent, le jeu de données d'entraînement et le jeu de données d'application sont identiques. Dans cet exemple, les prévisions des ventes de produits pour les trois prochains mois sont générées dans un jeu de données de sortie.

Vous pouvez éventuellement inclure plus de variables dans le modèle de données pour affiner et améliorer les prévisions. Par exemple, un code qui indique à quel moment une promotion des ventes s'est produite. Les valeurs futures pour ces variables supplémentaires sont des entrées requises pour générer les prévisions.

Dans l'exemple ci-dessous, vous créez un modèle de série temporelle à l'aide d'un jeu de données d'entraînement/d'application pour prévoir les ventes de produits pour plusieurs produits.

Ajoutez les informations liées au produit à l'ensemble de données. Cet ensemble de données est appelé entité. Dans cet exemple, vous indiquez que la variable d'entité Nom de produit est utilisée pour segmenter le modèle de prévision.

Dans l'ensemble de données de sortie, les observations sont divisées en Nom du produit et les prévisions sont créées par entité de produit.

Si vous sauvegardez votre modèle prédictif avant de l'entraîner, le modèle prédictif est sauvegardé avec le statut Non entraîné dans la liste des modèles prédictifs du scénario prédictif.

Lorsque vous "entraînez" un modèle prédictif, Smart Predict explore les relations entre les différentes variables d'influenceur dans votre jeu de données et trouve la meilleure combinaison pour prédire la cible.

Le statut de votre modèle prédictif est mis à jour dans la liste des modèles prédictifs comme Entraîné.