Erkunden von Daten mit SAP HANA DataFrames

In diesem Abschnitt wird erläutert, wie Sie Daten in SAP HANA Cloud mithilfe von SAP HANA DataFrames verwalten und bearbeiten. Das in SAP HANA Cloud vorgeladene Datenset für die kalifornische Unterkunft dient als Beispiel, um dieses Konzept weiter zu veranschaulichen [1].

Ein SAP-HANA-DataFrame bietet eine Möglichkeit, die in SAP HANA gespeicherten Daten anzuzeigen, ohne physische Daten zu enthalten. HANA-ML verwendet einen SAP-HANA-DataFrame als Input für Trainings- und Scoring-Zwecke.

Ein SAP-HANA-DataFrame blendet die zugrunde liegende SQL-Anweisung aus und bietet Benutzern eine Python-Schnittstelle zu SAP-HANA-Daten.

Um einen SAP-HANA-DataFrame zu verwenden, legen Sie zunächst ein Objekt aus der Klasse hana_ml.dataframe.ConnectionContext (eine Verbindung zu SAP HANA) [2] an, und verwenden Sie dann die in der Bibliothek bereitgestellten Methoden, um einen SAP-HANA-DataFrame anzulegen.

Der SAP-HANA-DataFrame kann nur verwendet werden, während die Verbindung geöffnet ist, und kann nicht mehr aufgerufen werden, sobald die Verbindung geschlossen wurde. Die vollständige Dokumentation zu den verfügbaren Klassen und Funktionen finden Sie unter [3].

[1] Wohnungsdatenset Kalifornien

[2] SAP-Klasse hana_ml.dataframe.ConnectionContext

[3] SAP hana_ml.dataframe

Die Methode ConnectionContext.table() gibt einen DataFrame zurück, der die angegebene Tabelle darstellt, d.h. "california_housing", und das zugehörige Schema, d.h. "ML_DEMO" [1]. Anschließend zeigen wir die SQL-Abfrage an, die den DataFrame sichert.

Um das Datenset zu prüfen, werden die Spaltennamen des DataFrame und ihre Datentypen angezeigt.

12
hdf = conn.table("california_housing", schema="ML_DEMO")
print(hdf.select_statement)

_Ausgabe:

SELECT * FROM "ML_DEMO"."california_housing"

1
print(hdf.columns)

_Ausgabe:

['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude', 'Target']

1
print(hdf.dtypes())

_Ausgabe:

[('MedInc', 'DOUBLE', 15, 15, 15, 0), ('HouseAge', 'DOUBLE', 15, 15, 15, 15, 0), ('AveBedrms', 'DOUBLE', 'DOUBLE' 0, 'DOULE', 'ULE', 'ULE 15', 'ULE', 'ULE', 'ULE', 'ULE', 'ULE', 'ULE', 'ULE', 'ULE', 'ULE',

[1] SAP hana_ml.dataframe - ConnectionContext.table()

Wie angegeben, werden die ersten fünf Beobachtungen des SAP DataFrame angezeigt. Anschließend kopiert die Methode DataFrame.collection() den aktuellen DataFrame in einen neuen Python-Panda-DataFrame [1].

12
#Only the use of the collect method, transfers data or result sets from SAP HANA to Python
hdf.head(5).collect()

Ausgabe:

[1] SAP-Methode hana_ml.dataframe - ConnectionContext.table()

Datenmanipulation und -analyse sind im Bereich Data Science von entscheidender Bedeutung. Die SAP-Klassenmethode DataFrame.description() liefert einen DataFrame zurück, der verschiedene Statistiken von Datenattributen oder Spalten [1] enthält.

Zu solchen beschreibenden Statistiken gehören auch solche, die die zentrale Tendenz, Streuung und Form der Verteilung eines Datensatzes zusammenfassen. Dies hilft dabei, Daten sinnvoll zu organisieren und darzustellen.

Beispielsweise zeigt die Zeile mit der Nummer 3 (siehe unten) die Statistik für die Spalte 'AveBedrms' an. Diese Spalte stellt die durchschnittliche Anzahl der Schlafzimmer pro Haushalt dar. Sie stellen fest, dass die restlichen Spalten des Datensets 20,640 Beobachtungen enthalten. Er hat keine Nullwerte und sein Mittelwert ist '1.09'; er kann jedoch Werte von mindestens '0,33' bis zu einem Maximalwert von '34,06' annehmen. Interessanterweise ist der Median '1.04' [4]. Beachten Sie, dass der Medianwert den Mittelwert eines Datensets darstellt.

1
hdf.describe().collect()

[1] SAP-Methode hana_ml.dataframe - DataFrame.description()

[2] Statistik: Median

Es können Zeilen ausgewählt werden, die den gegebenen Bedingungen entsprechen.

Der folgende Code wählt beispielsweise die Teilmenge der Zeilen aus, bei denen die "Population" größer als "300" ist. Die ersten fünf Zeilen werden dann angezeigt, um zu bestätigen, dass alle Populationswerte 300 überschreiten.

1
hdf_filter=hdf.filter('"Population">300')          

1
print(hdf_filter.select_statement)

_Ausgabe:

SELECT * FROM (SELECT * FROM "ML_DEMO"."california_housing") AS "DT_258" WHERE "Population">300

1
hdf_filter.head(5).collect()

Deskriptive Statistiken umfassen auch eine grafische Darstellung von Daten über Plots. Sie können außerdem bei der Visualisierung und Interpretation der Informationen helfen.

Durch die Verwendung beschreibender Statistiken können Sie die Haupteigenschaften eines Datensets zusammenfassen und teilen. Daher erhalten Sie tiefere Einblicke in die Daten, um Folgendes zu unterstützen:

• Weitere statistische Analysen
• Entscheidungsfindungsprozesse

Sie können die SAP-HANA-Funktionen [1] verwenden, um ein Verteilungsdiagramm für die SAP-HANA-DataFrame-Spalte mit dem Namen "Population" zu visualisieren.

1234567891011
#Exploratory Data Visualizations
from hana_ml.visualizers.eda import EDAVisualizer

start = time.time()

eda = EDAVisualizer(enable_plotly=True)
fig, trace, bin_data = eda.distribution_plot(data=hdf, debrief=True, column="Population", bins=60, x_axis_fontsize=13, x_axis_rotation=1, width=600, title="Distribution of feature: Population", height=400)
fig.show()

end = time.time()
print("Time taken to do this by getting the data from the server was: {}s".format(round(end-start, 3)))

_Ausgabe:

Die Zeit, die zum Abrufen der Daten vom Server benötigt wird, betrug: 0,08s

[1] SAP hana_ml.visualizers.eda - EDAVisualizer.distribution_plot

Beachten Sie, dass das Datenset eine 'ID'-Spalte haben muss, um es in disjunkte Teilmengen zu partitionieren. Er wird vom Partitionierungsalgorithmus [1] benötigt, der später verwendet wird, um die Teilmengen "Training" und "Testen" abzuleiten, die die Ausführung des Workflows für maschinelles Lernen unterstützen.

Stellen Sie sicher, dass diese Spalte im Datenset enthalten ist, wie unten gezeigt.

[1] SAP-Algorithmus hana_ml.algorithms.pal.partition - train_test_val_split.