Généralisation du modèle à l'aide de données de test

Objective

After completing this lesson, you will be able to évaluez les fonctionnalités du jeu de données qui ont le plus d'influence sur les prédictions du modèle.

Prévision du modèle

Cette section présente les résultats prédits générés par le modèle entraîné sur un sous-ensemble de 1 000 lignes du jeu de données de test. Les prévisions sont basées sur les modèles appris du modèle et incluent des métriques clés qui aident à évaluer sa fiabilité.

Étape 1 : sélection d'un sous-ensemble de données

Un sous-ensemble de 1 000 employés est sélectionné dans l'ensemble de données de test après avoir supprimé la colonne 'FLIGHT_RISK' pour garantir des prédictions impartiales.

Code Snippet
123
hdf_new=df_test.drop('FLIGHT_RISK').head(1000) display(hdf_new.collect())
ITEM_NUMBEREMPLOYEE_IDÂgeAGE_GROUP10AGE_GROUPSGÉNÉRATIONCRITICAL_JOB_ROLERISK_OF_LOSSIMPACT_OF_LOSSFUTURE_LEADERSEXE...CURRENT_REGIONCURRENT_COUNTRYCURCOUNTRYLATCURCOUNTRYLONPROMOTION_WITHIN_LAST_3_YEARSCHANGED_POSITION_WITHIN_LAST_2_YEARSCHANGE_IN_PERFORMANCE_RATINGFUNCTIONALAREACHANGETYPEJOBLEVELCHANGETYPEEN-TÊTES
01003733(25-35](30-35]Génération YNon critiqueFaibleFaibleAucun futur leaderHomme...AmériquesMexique19,432601-99,133342Aucune promotionAucune modification0 - Non disponibleAucune modificationAucune modification1
11004533(25-35)(30-35)Génération YCritiqueMoyenneMoyenneAucun futur leaderFéminin...AmériquesUSA39,783730-100,445882Aucune promotionAucune modification0 - Non disponibleAucune modificationAucune modification1
21008233(25-35)(30-35)Génération YCritiqueFaibleMoyenneAucun futur leaderHommeAmériquesUSA39,783730-100,445882Aucune promotionAucune modification0 - Non disponibleAucune modificationAucune modification1
31008633(25-35)(30-35)Génération YNon critiqueMoyenneFaibleFutur leaderHomme...AmériquesUSA39,783730-100,445882Aucune promotionAucune modification0 - Non disponibleAucune modificationAucune modification1
41009233(25-35)(30-35)Génération YNon critiqueFaibleFaibleFutur leaderHomme...AmériquesUSA39,783730-100,445882Aucune promotionAucune modification0 - Non disponibleAucune modificationAucune modification1
. ... .........................................................
9951669936(35-45)(35-40)Génération YCritiqueMoyenneFaibleAucun futur leaderHomme...EMEAIrlande52,865196-7,979460PromotionAucune modification3 - DiminutionDéplacement interfonctionnelPromotion1
9961670236(35-45)(35-40)Génération YCritiqueÉlevéeMoyenneAucun futur leaderFéminin...EMEADanemark55,67024910,333328Aucune promotionModification1 - AugmentationDéplacement interfonctionnelMême niveau1
9971670436(35-45)(35-40)Génération YNon critiqueMoyenneÉlevéeFutur leaderHomme...APJChine35,000074104,999927Aucune promotionAucune modification3 - DiminutionDéplacement interfonctionnelMême niveau1
9981671045(45-55)(40-45)Génération XCritiqueMoyenneMoyenneAucun futur leaderHomme...EMEAItalie42,63842612,674297PromotionModification1 - AugmentationDéplacement interfonctionnelPromotion1
9991673150(45-55)(45-50]Génération XCritiqueÉlevéeÉlevéeAucun futur leaderHomme...AmériquesUSA39,783730-100,445882Aucune promotionModification2 - ConstanteDéplacement interfonctionnelMême niveau1
1 000 lignes × 40 colonnes

Étape 2 : exécution des prévisions

Les prévisions sont générées à l'aide du modèle entraîné :

Code Snippet
12
predicted_classification = hgbc.predict(hdf_new, key = 'EMPLOYEE_ID', attribution_method='tree-shap', missing_replacement='feature_marginalized')

Étape 3 : Filtrage et affichage des résultats

Notez que quelques exemples de prévisions sont affichés dans le tableau ci-dessous. La table comprend les colonnes suivantes : 'EMPLOYEE_ID', 'SCORE', 'CONFIDENCE', 'REASON_CODE', 'Top 1' et 'PCT 1'.

La colonne 'SCORE' [1] représente les valeurs de catégorie prédites, tandis que la colonne 'CONFIDENCE' indique le niveau de probabilité ou de confiance de la prédiction de classification effectuée par le modèle.

En outre, la colonne 'REASON_CODE' fournit des informations sur l'importance de la fonctionnalité liée à la classification prédite (c'est-à-dire l'importance ou l'explicabilité de la fonctionnalité locale) [2].

Par exemple, le numéro de ligne "zéro" dans la table représente l'enregistrement d'un salarié classé comme "Oui" (indiquant l'abandon de l'employé). La caractéristique la plus influente pour cette classification est 'FUNCTIONALAREACHANGETYPE' (répertoriée dans la colonne 'Top 1'), avec une valeur de pourcentage de 29 % (affichée dans la colonne 'PCT 1').

Code Snippet
123456
pd.set_option('max_colwidth', None) display(predicted_classification.filter('"SCORE" = \'Yes\'').select( 'EMPLOYEE_ID', 'SCORE', 'CONFIDENCE', 'REASON_CODE', ('json_query("REASON_CODE", \'$[0].attr\')', 'TOP 1'), ('json_query("REASON_CODE", \'$[0].pct\')', 'PCT 1') ).head(3).collect())
ITEM_NUMBEREMPLOYEE_IDSCORECONFIANCEREASON_CODEPREMIER 1PCT 1
010772Oui0,9805
Code Snippet
1
[{"attr":"FUNCTIONALAREACHANGETYPE","val":3.1659914617057178,"pct":29.616754904973626},{"attr":"JOBLEVELCHANGETYPE","val":2.9616090395572964,"pct":27.70482804829365},{"attr":"PREVIOUS_COUNTRY","val":1.1766521751513067,"pct":11.007174056333435},{"attr":"EMPLOYMENT_TYPE_2","val":1.1184850498463573,"pct":10.463040721003644},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.9856507423595541,"pct":9.220421726166244},{"attr":"PREVIOUS_JOB_LEVEL","val":0.20846321891052906,"pct":1.9501012987093403},{"attr":"TIMEINPREVPOSITIONMONTH","val":-0.20690779780323047,"pct":1.9355508723212456},{"attr":"RISK_OF_LOSS","val":-0.17780521059984248,"pct":1.6633062365637659},{"attr":"PREVIOUS_FUNCTIONAL_AREA","val":-0.10049090995097196,"pct":0.9400576995214759},{"attr":"IMPACT_OF_LOSS","val":-0.09804435450407491,"pct":0.9171710196587514}]
"FUNCTIONALAREACHANGETYPE"29,6167
112996Oui0,6626
Code Snippet
1
[{"attr":"FUNCTIONALAREACHANGETYPE","val":1.779508727486707,"pct":26.18333928119176},{"attr":"PREVIOUS_COUNTRY","val":1.7020204158662773,"pct":25.04319159765106},{"attr":"EMPLOYMENT_TYPE_2","val":0.7729003104726951,"pct":11.372302224236322},{"attr":"PREVIOUS_JOB_LEVEL","val":0.32942920001859057,"pct":4.847156060538495},{"attr":"PREVIOUS_REGION","val":-0.3104891995443306,"pct":4.568476641469905},{"attr":"EMPLOYMENT_TYPE","val":0.20022089183811793,"pct":2.94601058213658},{"attr":"PREVIOUS_PERFORMANCE_RATING","val":0.19403810814327597,"pct":2.8550383263202758},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.17748349440876774,"pct":2.6114570157122087},{"attr":"IMPACT_OF_LOSS","val":0.15021065632142925,"pct":2.2101698729341319},{"attr":"PREVIOUS_FUNCTIONAL_AREA","val":0.14947864972308989,"pct":2.199399272698043}]
"FUNCTIONALAREACHANGETYPE"26,1833
216484Oui0,5256
Code Snippet
1
[{"attr":"FUNCTIONALAREACHANGETYPE","val":2.362132834166609,"pct":36.93164842346884},{"attr":"EMPLOYMENT_TYPE_2","val":0.8705457026314862,"pct":13.61087207336961},{"attr":"PREVIOUS_COUNTRY","val":0.5551789479896835,"pct":8.68015270889719},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.5522170115232447,"pct":8.633843206464077},{"attr":"PREVIOUS_REGION","val":0.361208302694118,"pct":5.647446176515984},{"attr":"CHANGE_IN_PERFORMANCE_RATING","val":0.28138966471557627,"pct":4.39949185624014},{"attr":"PREVIOUS_PERFORMANCE_RATING","val":0.17816522478609154,"pct":2.785590779618334},{"attr":"TIMEINPREVPOSITIONMONTH","val":-0.17551115090711354,"pct":2.744094669843919},{"attr":"AGE","val":-0.11292548102606302,"pct":1.765575628509087},{"attr":"CURRENT_REGION","val":0.10269902670112985,"pct":1.605686307178712}]
"FUNCTIONALAREACHANGETYPE"36,9316
ITEM_NUMBEREMPLOYEE_IDSCORECONFIANCEREASON_CODEPREMIER 1PCT 1
027221Oui0,522728
Code Snippet
1
[{"attr":"TIMEINPREVPOSITIONMONTH","val":2.3799464640557694,"pct":34.21097120019775},{"attr":"EMPLOYMENT_TYPE_2","val":1.2305701014297253,"pct":17.689052647047377},{"attr":"FUNCTIONALAREACHANGETYPE","val":0.6205941708448476,"pct":8.920843231743456},{"attr":"PREVIOUS_COUNTRY","val":0.5274604833035208,"pct":7.5820761836751509},{"attr":"SALARY","val":0.49680440144873647,"pct":7.141404786530497},{"attr":"PREVIOUS_REGION","val":0.4019386053051078,"pct":5.7777392298596139},{"attr":"PREVIOUS_JOB_LEVEL","val":0.18958353451210387,"pct":2.7252028300554658},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.17505423756532619,"pct":2.516348821399208},{"attr":"AGE","val":-0.16361173162882435,"pct":2.3518664488064009},{"attr":"CHANGE_IN_PERFORMANCE_RATING","val":-0.13605646817959733,"pct":1.9557683270575257}]
"TIMEINPREVPOSITIONMONTH"34,21097120019775
127858Oui0,990345
Code Snippet
1
[{"attr":"TIMEINPREVPOSITIONMONTH","val":5.075260131915508,"pct":41.194646979837177},{"attr":"EMPLOYMENT_TYPE_2","val":2.0529135214516618,"pct":16.66299767858746},{"attr":"SALARY","val":0.9937257943954739,"pct":8.065829579346043},{"attr":"PREVIOUS_COUNTRY","val":-0.9562490170007192,"pct":7.761639730039505},{"attr":"FUNCTIONALAREACHANGETYPE","val":0.6624436830095447,"pct":5.3768935889601139},{"attr":"PREVIOUS_JOB_LEVEL","val":0.4505844835984997,"pct":3.6572842088838648},{"attr":"JOBLEVELCHANGETYPE","val":0.3425983543256225,"pct":2.780787170605691},{"attr":"PREVIOUS_FUNCTIONAL_AREA","val":0.33966466357291666,"pct":2.7569751192497895},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.25199722374185459,"pct":2.0453999208168196},{"attr":"AGE","val":0.2398786666673686,"pct":1.9470365527109877}]
"TIMEINPREVPOSITIONMONTH"41,194646979837177
228272Oui0,703382
Code Snippet
1
[{"attr":"TIMEINPREVPOSITIONMONTH","val":2.2255270451611879,"pct":30.169212529463996},{"attr":"FUNCTIONALAREACHANGETYPE","val":1.1938265379189222,"pct":16.183495331633496},{"attr":"PREVIOUS_COUNTRY","val":0.7302494941417288,"pct":9.899251611520969},{"attr":"CHANGE_IN_PERFORMANCE_RATING","val":0.5236095049193351,"pct":7.098042897616069},{"attr":"PROMOTION_WITHIN_LAST_3_YEARS","val":0.3902212107921695,"pct":5.289833106045707},{"attr":"PREVIOUS_FUNCTIONAL_AREA","val":0.30448378867275469,"pct":4.127577848230294},{"attr":"EMPLOYMENT_TYPE_2","val":-0.26312981446335928,"pct":3.5669839702211125},{"attr":"CURRENT_REGION","val":0.25556687764890786,"pct":3.464460907830933},{"attr":"PREVIOUS_PERFORMANCE_RATING","val":0.19837898315664025,"pct":2.689222634811058},{"attr":"SALARY","val":0.17664378482008814,"pct":2.3945805996081117}]
"TIMEINPREVPOSITIONMONTH"30,169212529463996
Les lignes ci-dessus affichent la sortie (résultats filtrés pour les salariés dont le départ est prévu).

Récapitulatif des résultats

La table de sortie inclut les colonnes clés suivantes :

  • "EMPLOYEE_ID" : identifiant unique pour chaque salarié.
  • 'SCORE' : prédiction du modèle indiquant si un salarié est susceptible de partir ('Oui' pour l'attrition, 'Non' dans le cas contraire).
  • 'CONFIDENCE': mesure de certitude dans la prédiction, représentant la force avec laquelle le modèle associe les données d'entrée au résultat prédit.

Une valeur 'SCORE' plus élevée indique une probabilité accrue d'attrition, tandis qu'une valeur 'CONFIDENCE' plus élevée suggère que la prévision est plus fiable.

Ces informations peuvent être utilisées pour améliorer les stratégies de fidélisation des collaborateurs ciblées, en exploitant l'analyse pilotée par les données pour réduire la rotation du personnel.

Références

Conclusion

La valeur de la métrique de performance AUC obtenue lors de l'évaluation du modèle est supérieure à '0,90', ce qui indique un classificateur suffisamment performant.

En examinant les résultats de l'entraînement du modèle, nous avons affiché la section de l'importance de la fonctionnalité. C'est-à-dire l'importance relative de tous les attributs expliquant et contribuant aux performances de classification globale du modèle.

Lors de la section Prévision du modèle, nous avons mis en surbrillance une valeur "CONFIDANCE" plus élevée indique une plus grande fiabilité dans la prévision du modèle. En outre, nous avons montré la pertinence de la 'explicabilité' (par exemple, sortie fournie dans la colonne 'REASON_CODE') en fournissant un outil efficace pour comprendre la modélisation prédictive [1].

Nous avons montré comment SAP HANA PAL a parfaitement intégré la « capacité d'explication » à la classification, et elle s'étend également à divers algorithmes de régression et à l'analyse de séries chronologiques. L’explicabilité de l’apprentissage automatique est essentielle pour atteindre les objectifs éthiques de SAP en matière d’IA, en garantissant l’équité, la transparence et la fiabilité dans les systèmes d’IA.

En résumé, ces informations peuvent être exploitées pour répondre de manière proactive aux stratégies de fidélisation des collaborateurs sur la base d'analyses basées sur des modèles.

Références