Die Modell-Performance-Metrik, die zur Auswertung des linearen Regressionsmodells verwendet wird, ist der Bestimmungskoeffizient. Sie wird als "R squared" bezeichnet und als "R2" [ 1, 2 ] bezeichnet.
R2 ist im Wesentlichen der Anteil der Variation in der Antwortvariablen, der aus den unabhängigen Variablen vorhersehbar ist. Das heißt, je größer der Wert von R2 ist, desto mehr Variabilität erklärt das Modell.
In der Regel variiert R2 von 0 bis 1; es kann jedoch Fälle geben, in denen negative Werte abgerufen werden können. Weitere Informationen finden Sie unter [1].
In diesem Fall wird ein R2-Wert von '0,75' erreicht.
123456#Computes the R2 score
R2=hgr.score( test_hdf, key='ID',
features=['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude'],
label='Target')
R2Ausgabe:
0.7535287346593224
Referenzen
Verbesserung des HGBT-Modells mit optimaler Parametersuche
Um das HGBT-Modell zu verbessern, wird eine Suche nach den optimalen Parameterwerten für das lineare Regressionsobjekt initiiert. ParamSearchCV führt eine vollständige oder zufällige Suche über bestimmte Parameterwerte mit Crossover-Validierung (CV) durch [1]
Referenzen
[1] SAP-Algorithmus hana_ml.algorithms.pal: ParamSearchCV
123456789101112131415161718from hana_ml.algorithms.pal.model_selection import ParamSearchCV
hgbr=HybridGradientBoostingRegressor(n_estimators=50, subsample = 0.8, col_subsample_tree=0.7)
ps_hgr3=ParamSearchCV(estimator=hgbr, search_strategy='grid',
param_grid={ 'learning_rate': [0.05, 0.1, 0.025, 0.04, 0.01],
'max_depth': [4, 5, 6, 7, 8, 10],
'split_threshold': [0.1, 0.4, 0.7, 1],
'min_samples_leaf': [2,3,4,5,6],
'col_subsample_split': [0.2,0.4,0.6, 0.8] },
train_control={"fold_num": 10, "evaluation_metric": 'rmse'},
scoring='mae'
)
ps_hgr3.set_scoring_metric('mae')
ps_hgr3.set_resampling_method('cv')
ps_hgr3.fit(data=train_hdf, features=['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude'],
label='Target', key='ID')Optimierte Parameter prüfen
Das Mapping zwischen den optimierten Parameternamen (wie auf der linken Seite dargestellt) und den HybridGradientBoostingRegressor-Parameternamen (wie auf der rechten Seite gezeigt) wird unten bereitgestellt:
- MAX_DEPTH = max_deep
- ETA = learning_rate
- COL_SAMPLE_RATE_BYSPLIT = col_subsample_split
- NODE_SIZE = min_samples_leaf
- GAMMA = split_threshold
1ps_hgr3.estimator.selected_param_.collect()| PARAM_NAME | INT_VALUE | DOUBLE_VALUE | STRING_VALUE | |
|---|---|---|---|---|
| 0 | MAX_DEPTH | 10.0 | NaN | Keine |
| 1 | ETA | NaN | 0,1 | Keine |
| 2 | COL_SAMPLE_RATE_BYSPLIT | NaN | 0,6 | Keine |
| 3 | NODE_SIZE | 6.0 | NaN | Keine |
| 4 | GAMMA | NaN | 0,1 | Keine |
12# Optimal parameter values selected
hgbt_params = dict(n_estimators = 50, subsample = 0.8, col_subsample_tree=0.7, split_method = 'exact', fold_num=10, resampling_method = 'cv', evaluation_metric = 'rmse', ref_metric=['mae'], max_depth=10, learning_rate=0.1, col_subsample_split=0.6, min_samples_leaf=6, split_threshold=0.1)