Compreensão da avaliação e otimização do modelo

Objective

After completing this lesson, you will be able to avalie o desempenho do modelo de regressão linear usando a métrica R-squared.

Avaliação de modelo

A métrica de desempenho do modelo utilizada para avaliar o modelo de regressão linear é o coeficiente de determinação. É conhecido como "R ao quadrado", e denotado como "R2" [ 1, 2 ].

R2 é basicamente a proporção da variação na variável resposta que é previsível a partir das variáveis independentes. Ou seja, quanto maior o valor de R2, mais variabilidade é explicada pelo modelo.

Normalmente, R2 varia de 0 a 1; no entanto, pode haver casos em que valores negativos podem ser obtidos, consulte [1] para mais detalhes.

Neste caso, uma pontuação R2 de '0,75' é alcançada.

Python
123456
#Computes the R2 score R2=hgr.score( test_hdf, key='ID', features=['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude'], label='Target') R2

Saída:

0.7535287346593224

Referências

[1] Coeficiente de determinação

[2] Coeficiente de determinação (coeficiente de determinação)

Melhore o modelo HGBT com a pesquisa de parâmetros ideal

Para melhorar o modelo HGBT, é iniciada uma pesquisa dos valores de parâmetro ideais para o objeto de regressão linear. ParamSearchCV faz uma pesquisa exaustiva ou aleatória sobre valores de parâmetros especificados com validação cruzada (CV) [1]

Referências

[1] Algoritmo SAP hana_ml.algorítms.pal pacote: ParamSearchCV

Python
123456789101112131415161718
from hana_ml.algorithms.pal.model_selection import ParamSearchCV hgbr=HybridGradientBoostingRegressor(n_estimators=50, subsample = 0.8, col_subsample_tree=0.7) ps_hgr3=ParamSearchCV(estimator=hgbr, search_strategy='grid', param_grid={ 'learning_rate': [0.05, 0.1, 0.025, 0.04, 0.01], 'max_depth': [4, 5, 6, 7, 8, 10], 'split_threshold': [0.1, 0.4, 0.7, 1], 'min_samples_leaf': [2,3,4,5,6], 'col_subsample_split': [0.2,0.4,0.6, 0.8] }, train_control={"fold_num": 10, "evaluation_metric": 'rmse'}, scoring='mae' ) ps_hgr3.set_scoring_metric('mae') ps_hgr3.set_resampling_method('cv') ps_hgr3.fit(data=train_hdf, features=['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude'], label='Target', key='ID')

Inspeção de parâmetros otimizados

O mapeamento entre os nomes de parâmetro otimizados (como exibido no lado esquerdo) e os nomes de parâmetro HybridGradientBoostingRegressor (como exibido no lado direito) é fornecido abaixo:

  • MAX_DEPTH = max_profundidade
  • ETA = taxa de aprendimento_aprendizagem
  • COL_SAMPLE_RATE_BYSPLIT = col_subsample_split
  • NODE_SIZE = min_samples_leaf
  • GAMMA = split_threshold
Python
1
ps_hgr3.estimator.selected_param_.collect()
 PARAM_NAMEINT_VALUEDOUBLE_VALUESTRING_VALUE
0MAX_DEPTH10.0NaNNenhum
1HCPNaN0.1Nenhum
2COL_SAMPLE_RATE_BYSPLITNaN0,6Nenhum
3NODE_SIZE6.0NaNNenhum
4GAMMANaN0.1Nenhum
Python
12
# Optimal parameter values selected hgbt_params = dict(n_estimators = 50, subsample = 0.8, col_subsample_tree=0.7, split_method = 'exact', fold_num=10, resampling_method = 'cv', evaluation_metric = 'rmse', ref_metric=['mae'], max_depth=10, learning_rate=0.1, col_subsample_split=0.6, min_samples_leaf=6, split_threshold=0.1)

Novo treinamento do modelo

O retreinamento do modelo é necessário para incorporar os parâmetros do algoritmo recentemente otimizado visando maximizar o desempenho do modelo; esses parâmetros foram obtidos na seção anterior.

Python
12345
%%time #retrain model with optimal parameters hgr_optimized = HybridGradientBoostingRegressor( **hgbt_params ) hgr_optimized.fit(train_hdf, features=['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude'], label='Target')

Tempos de CPU: usuário 4.18 ms, sys: 2.36 ms, total: 6.55 ms

Tempo de parede: 2.19 s

Saída:

<hana_ml.algorítms.pal.trees.HybridGradientBoostingRegressor em 0x7fe333c01e10>

Modelo retreinado: importância do recurso

A importância do recurso atribui uma pontuação aos recursos de entrada com base em sua contribuição na previsão da resposta ou da variável dependente [1].

Quanto maior a pontuação de uma funcionalidade, maior a influência que ela tem no modelo para prever a variável de destino. Os escores de importância estão no intervalo de [0, 1].

Modelo retreinado: avaliação da importância dos recursos

Ao comparar com o "Modelo treinado" inicial, você poderá observar que o recurso mais influente permanece 'MedInc' com um valor de importância reduzido de '0,34' (o valor anterior era '0,51'). Essa característica representa a renda mediana em um grupo de blocos. [2].

Curiosamente, as características 'Latitude' e 'Longitude' se tornam a segunda e terceira características mais influentes das posições três e cinco (inicial "Modelo Treinado"), respectivamente. Na verdade, eles se tornaram aproximadamente 2 vezes mais influentes cruzando o valor '0,10'.

O modelo aprimorado pode estar destacando com mais precisão que as localizações geográficas têm maior influência sobre a variável de destino do que se pensava antes. A variável 'target' é o 'Median House Value' para distritos da Califórnia [2].

Python
1
hgr_optimized.feature_importances_.sort('IMPORTANCE', desc='TRUE').collect()
 VARIABLE_NAMEIMPORTÂNCIA
0Rend.med.0.340796
1Longitude0.216604
2Latitude0.153428
3AveOccup0.116022
4AveRooms0.097980
5Idade da casa0.036293
6População0.019592
7AveBedrms0.019286

Referências

[1] Algoritmo SAP hana_ml.pal package: HybridGradientBoostingRegressor

[2] Descrição do conjunto de dados de habitação da Califórnia

Modelo treinado novamente: avaliação do modelo

Para avaliar o desempenho do modelo de regressão linear, conforme delineado na seção "Avaliação do Modelo", utiliza-se o coeficiente de determinação, comumente conhecido como R ao quadrado e denotado como R2 [1,2].

R2 mede a proporção da variação na variável resposta explicada pelas variáveis independentes. Um valor de R2 mais alto indica que o modelo explica uma proporção maior da variabilidade.

Enquanto o valor de R2 normalmente varia de 0 a 1, valores negativos podem ocorrer em alguns casos - consulte [1] para obter mais detalhes.

Nesse caso, o modelo aprimorado alcança um escore R2 de 0,829, uma melhora em relação ao escore inicial de 0,75, representando um aumento de 0,079.

Python
123456
#Computes the R2 score R2=hgr_optimized.score( test_hdf, key='ID', features=['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude'], label='Target') R2

Saída:

0.7535287346593224

Referências

[1] Coeficiente de determinação

[2] Coeficiente de determinação (coeficiente de determinação)