Avaliação do desempenho do modelo

Esta seção se concentra em avaliar o modelo usando o subconjunto de teste, que consiste em dados que não foram usados durante o treinamento ou a validação.

O valor IeA na primeira tabela, localizado na linha zero, é 0,94. Isso é ligeiramente inferior ao AUC com base no subconjunto de treinamento 0,95, o que é esperado. Obter o mesmo desempenho nos dados de teste que nos dados de treinamento é geralmente um desafio na prática.

A segunda tabela abaixo exibe as entradas da matriz de confusão, que ajuda a avaliar o desempenho de um modelo de classificação comparando valores previstos com valores reais [1]. A linha zero representa 'Verdadeiro negativo', em que a 'ACTUAL_CLASS' foi prevista corretamente como 'Não' (negativo) pela 'PREDICTED_CLASS'. Existem 2.538 casos 'Verdadeiro Negativo'.

A linha 1 na tabela de saída abaixo se refere a 'Falsos positivos'. Os falsos positivos se referem a casos que foram previstos incorretamente como 'positivos', mas que são realmente 'negativos' - só existem 14 casos desse tipo. A linha 2 se refere a 'Falsos negativos' (212), em que os casos foram previstos incorretamente como 'Negativos', mas são realmente 'Positivos'. Por fim, a linha três representa 'Verdadeiro positivo', em que os casos foram previstos corretamente como 'Positivos', com 103 instâncias.

123456789
# Test model generalization using the test data subset (not used during training)

scorepredictions, scorestats, scorecm, scoremetrics = hgbc.score(data=df_test , key= 'EMPLOYEE_ID', label='FLIGHT_RISK', 
                                                                 ntiles=20, impute=True,
                                                                 thread_ratio=1.0)
#display(hgbc.runtime)
display(scorestats.sort('CLASS_NAME').collect())
display(scorecm.filter('COUNT != 0').collect())
#display(scoremetrics.collect())