Évaluation des performances du modèle

Cette section se concentre sur l'évaluation du modèle à l'aide du sous-ensemble de test, qui se compose de données qui n'ont pas été utilisées lors de l'entraînement ou de la validation.

La valeur de l'immobilisation en cours dans la première table, située à la ligne zéro, est 0,94. Cette valeur est légèrement inférieure à l’ASC en fonction du sous-ensemble d’entraînement 0,95, ce qui est attendu. Atteindre les mêmes performances sur les données de test que sur les données d'entraînement est généralement difficile dans la pratique.

Le deuxième tableau ci-dessous affiche les entrées de la Matrice de confusion, qui permet d'évaluer les performances d'un modèle de classification en comparant les valeurs prédites aux valeurs réelles [1]. La ligne zéro représente "Vrai négatif", où "ACTUAL_CLASS" a été correctement prédit comme "Non" (négatif) par "PREDICTED_CLASS". Il existe 2 538 cas "Vrai négatif".

La ligne 1 dans la table de sortie ci-dessous fait référence à "Faux positifs". Les faux positifs font référence à des cas qui ont été mal prédits comme "positifs" mais qui sont en fait "négatifs" - il n'y a que 14 cas de ce type. La ligne 2 fait référence à "Faux négatifs" (212), où les cas ont été mal prédits comme "Négatifs" mais sont en fait "Positifs". Enfin, la ligne trois représente "Vrai positif", où les cas ont été correctement prédits comme "Positifs", avec 103 instances.

123456789
# Test model generalization using the test data subset (not used during training)

scorepredictions, scorestats, scorecm, scoremetrics = hgbc.score(data=df_test , key= 'EMPLOYEE_ID', label='FLIGHT_RISK', 
                                                                 ntiles=20, impute=True,
                                                                 thread_ratio=1.0)
#display(hgbc.runtime)
display(scorestats.sort('CLASS_NAME').collect())
display(scorecm.filter('COUNT != 0').collect())
#display(scoremetrics.collect())