Modellauswertung und -optimierung verstehen

Objective

After completing this lesson, you will be able to bewerten Sie die Performance des linearen Regressionsmodells mithilfe der R-Quadrat-Metrik.

Modellauswertung

Die Modell-Performance-Metrik, die zur Auswertung des linearen Regressionsmodells verwendet wird, ist der Bestimmungskoeffizient. Sie wird als "R squared" bezeichnet und als "R2" [ 1, 2 ] bezeichnet.

R2 ist im Wesentlichen der Anteil der Variation in der Antwortvariablen, der aus den unabhängigen Variablen vorhersehbar ist. Das heißt, je größer der Wert von R2 ist, desto mehr Variabilität erklärt das Modell.

In der Regel variiert R2 von 0 bis 1; es kann jedoch Fälle geben, in denen negative Werte abgerufen werden können. Weitere Informationen finden Sie unter [1].

In diesem Fall wird ein R2-Wert von '0,75' erreicht.

Python
123456
#Computes the R2 score R2=hgr.score( test_hdf, key='ID', features=['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude'], label='Target') R2

Ausgabe:

0.7535287346593224

Referenzen

[1] Bestimmungskoeffizient

[2] Bestimmungskoeffizient (R-Quadrat)

Verbesserung des HGBT-Modells mit optimaler Parametersuche

Um das HGBT-Modell zu verbessern, wird eine Suche nach den optimalen Parameterwerten für das lineare Regressionsobjekt initiiert. ParamSearchCV führt eine vollständige oder zufällige Suche über bestimmte Parameterwerte mit Crossover-Validierung (CV) durch [1]

Referenzen

[1] SAP-Algorithmus hana_ml.algorithms.pal: ParamSearchCV

Python
123456789101112131415161718
from hana_ml.algorithms.pal.model_selection import ParamSearchCV hgbr=HybridGradientBoostingRegressor(n_estimators=50, subsample = 0.8, col_subsample_tree=0.7) ps_hgr3=ParamSearchCV(estimator=hgbr, search_strategy='grid', param_grid={ 'learning_rate': [0.05, 0.1, 0.025, 0.04, 0.01], 'max_depth': [4, 5, 6, 7, 8, 10], 'split_threshold': [0.1, 0.4, 0.7, 1], 'min_samples_leaf': [2,3,4,5,6], 'col_subsample_split': [0.2,0.4,0.6, 0.8] }, train_control={"fold_num": 10, "evaluation_metric": 'rmse'}, scoring='mae' ) ps_hgr3.set_scoring_metric('mae') ps_hgr3.set_resampling_method('cv') ps_hgr3.fit(data=train_hdf, features=['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude'], label='Target', key='ID')

Optimierte Parameter prüfen

Das Mapping zwischen den optimierten Parameternamen (wie auf der linken Seite dargestellt) und den HybridGradientBoostingRegressor-Parameternamen (wie auf der rechten Seite gezeigt) wird unten bereitgestellt:

  • MAX_DEPTH = max_deep
  • ETA = learning_rate
  • COL_SAMPLE_RATE_BYSPLIT = col_subsample_split
  • NODE_SIZE = min_samples_leaf
  • GAMMA = split_threshold
Python
1
ps_hgr3.estimator.selected_param_.collect()
 PARAM_NAMEINT_VALUEDOUBLE_VALUESTRING_VALUE
0MAX_DEPTH10.0NaNKeine
1ETANaN0,1Keine
2COL_SAMPLE_RATE_BYSPLITNaN0,6Keine
3NODE_SIZE6.0NaNKeine
4GAMMANaN0,1Keine
Python
12
# Optimal parameter values selected hgbt_params = dict(n_estimators = 50, subsample = 0.8, col_subsample_tree=0.7, split_method = 'exact', fold_num=10, resampling_method = 'cv', evaluation_metric = 'rmse', ref_metric=['mae'], max_depth=10, learning_rate=0.1, col_subsample_split=0.6, min_samples_leaf=6, split_threshold=0.1)

Modell erneut trainieren

Das erneute Modelltraining ist erforderlich, um die Parameter des neu optimierten Algorithmus zur Maximierung der Modellperformance zu integrieren. Diese Parameter wurden im vorherigen Abschnitt abgerufen.

Python
12345
%%time #retrain model with optimal parameters hgr_optimized = HybridGradientBoostingRegressor( **hgbt_params ) hgr_optimized.fit(train_hdf, features=['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude'], label='Target')

CPU-Zeiten: Benutzer 4.18 ms, sys: 2.36 ms, insgesamt: 6.55 ms

Wandzeit: 2.19 s

Ausgabe:

<hana_ml.algorithms.pal.trees.HybridGradientBoostingRegressor unter 0x7fe333c01e10>

Modell erneut trainiert: Wichtigkeit der Funktion

Die Wichtigkeit von Funktionen ordnet Eingabefunktionen basierend auf ihrem Beitrag bei der Prognose der Antwort oder abhängigen Variablen [1] einen Score zu.

Je höher der Score für eine Funktion ist, desto größer ist ihr Einfluss auf das Modell, um die Zielvariable vorherzusagen. Die Wichtigkeitsbewertungen liegen im Bereich von [0, 1].

Modell erneut trainiert: Bewertung der Funktionswichtigkeit

Durch den Vergleich mit dem initialen "Modell trainiert" können Sie feststellen, dass die einflussreichste Funktion "MedInc" mit einem verringerten Wichtigkeitswert von "0,34" (vorheriger Wert war "0,51") bleibt. Dieses Merkmal stellt den Median des Einkommens in einer Blockgruppe dar. [2].

Interessanterweise werden die Merkmale „Breitengrad" und „Längengrad" zu den zweit- und dritteinflussreichsten Merkmalen aus den Positionen drei bzw. fünf (anfänglich „Modell trainiert"). Tatsächlich wurden sie etwa 2-mal einflussreicher, indem sie den '0,10'-Wert überquerten.

Das erweiterte Modell könnte genauer hervorheben, dass geografische Standorte einen stärkeren Einfluss auf die Zielvariable haben als zuvor gedacht. Die Variable „target" ist der „Median House Value" für Bezirke in Kalifornien [2].

Python
1
hgr_optimized.feature_importances_.sort('IMPORTANCE', desc='TRUE').collect()
 VARIABLE_NAMEIMPORTANZ
0MedErh0.340796
1Längengrad0.216604
2Breitengrad0.153428
3AveOccup0.116022
4AveRooms0.097980
5HouseAge0.036293
6Population0.019592
7AveBedrms0.019286

Referenzen

[1] SAP-Algorithmus hana_ml.pal Paket: HybridGradientBoostingRegressor

[2] California Housing Dataset Beschreibung

Modell neu trainiert: Modellauswertung

Zur Bewertung der Performance des linearen Regressionsmodells, wie im Abschnitt „Modellauswertung" beschrieben, wird der Bestimmungskoeffizient, allgemein bekannt als R zum Quadrat und R2, verwendet [1, 2].

R2 misst den Anteil der Variation in der Antwortvariablen, der durch die unabhängigen Variablen erklärt wird. Ein höherer R2-Wert gibt an, dass das Modell einen größeren Anteil der Variabilität erklärt.

Während der Wert von R2 in der Regel von 0 bis 1 reicht, können in einigen Fällen negative Werte auftreten. Weitere Informationen finden Sie unter [1].

In diesem Fall erreicht das erweiterte Modell einen R2-Wert von 0,829, eine Verbesserung gegenüber dem Anfangswert von 0,75, was einem Anstieg von 0,079 entspricht.

Python
123456
#Computes the R2 score R2=hgr_optimized.score( test_hdf, key='ID', features=['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude'], label='Target') R2

Ausgabe:

0.7535287346593224

Referenzen

[1] Bestimmungskoeffizient

[2] Bestimmungskoeffizient (R-Quadrat)