Exploration et manipulation des données avec les noms de données SAP HANA

L'ensemble de données Nuitées est disponible gratuitement et peut être téléchargé à partir de [1] comme indiqué ci-dessous. À l'aide du code suivant, nous affichons les cinq premières observations du DataFrame Pandas nouvellement créé.

Vous trouverez plus d'articles liés au scénario des nuitées dans le même dossier [2].

123
df_data= pd.read_csv('./OVERNIGHTSTAYS.csv', sep = ',')
df_data.MONTH = pd.to_datetime(df_data.MONTH, format='%d/%m/%Y')
df_data.head(5)

La fonction SAP hana_ml.dataframe.create_dataframe_from_pandas() [3] crée un DataFrame SAP HANA à partir d'un DataFrame Pandas et crée une table dans SAP HANA, c'est-à-dire nom_table = 'OVERNIGHTSTAYS'.

Ensuite, nous affichons les cinq premières observations du DataFrame SAP HANA, puis DataFrame.collection() copie le DataFrame actuel dans un nouveau DataFrame Python Pandas [4].

1234567

df_remote = dataframe.create_dataframe_from_pandas(connection_context = conn,
                                                   pandas_df = df_data,
                                                   table_name = 'OVERNIGHTSTAYS',
                                                   force = True,
                                                   replace = False)
display(df_remote.head(5).collect())

Nous montrons ensuite la structure de la table qui a été créée comme suit :

_Résultat :

Nous pouvons également charger explicitement les données de nuitées dans le DataFrame SAP HANA comme indiqué ci-dessous.

Ensuite, nous affichons la requête SQL associée au DataFrame.

Enfin, nous affichons les six premières observations du DataFrame.

123
hdf_overnightstays = conn.table('OVERNIGHTSTAYS')
display(hdf_overnightstays.select_statement)
display(hdf_overnightstays.head(6).collect())

Ensuite, DataFrame.count()[5] calcule le nombre de lignes dans le DataFrame SAP HANA et l'affiche.

1
display(hdf_overnightstays.count())

29029

La manipulation et l'analyse des données sont vitales dans le domaine de la science des données. La méthode de classe SAP DataFrame.décrit() renvoie un DataFrame contenant différentes statistiques d'attributs/colonnes de données [6].

Ces statistiques descriptives incluent celles qui résument la tendance centrale, la dispersion et la forme de la distribution d'un jeu de données. Cela permet d'organiser et de présenter les données de manière pertinente.

Par exemple, dans la figure suivante, la ligne étiquetée 3 affiche les statistiques pour la colonne COUNTRYOFRESIDENCE. Cette colonne représente le pays de résidence du visiteur. Nous remarquons qu'il contient 29029 observations comme reste des colonnes du jeu de données. Il n'a pas de valeurs nulles et nous pouvons nous rappeler qu'il s'agit d'un type de données basé sur des caractères ; cependant, un attribut numérique est la première colonne, c'est-à-dire la colonne OVERNIGHTSTAYS, pour laquelle plusieurs statistiques sont calculées, à savoir minimum, maximum, moyenne, médiane, etc. Nous pouvons nous rappeler que la médiane est la valeur séparant la moitié supérieure de la moitié inférieure de l'ensemble de données [7].

1
hdf_overnightstays.describe().head(10).collect()

4 lignes × 15 colonnes

Nous pouvons explorer les données en consultant un rapport graphique comme indiqué ci-dessous :

1
UnifiedReport(hdf_overnightstays).build().display()

L'image suivante montre le graphique Répartition du type de variable.

L'image suivante montre le graphique Variables de cardinalité élevée.

L'image suivante montre le graphique Variables hautement biaisées.

Afin d’effectuer une analyse plus approfondie des données, nous devons agréger les nuitées par mois comme indiqué ci-dessous :

123
hdf_overnightstays_agg = hdf_overnightstays.agg([('sum', 'OVERNIGHTSTAYS', 'OVERNIGHTSTAYS_SUM')], group_by='MONTH')
hdf_overnightstays_agg = hdf_overnightstays_agg.sort('MONTH')
hdf_overnightstays_agg.head(5).collect()

Nous allons tracer les données mensuelles comme suit :

12345
df_data = hdf_overnightstays_agg.collect()

df_data.plot(x='MONTH')
plt.xticks( rotation='vertical')
plt.show()

[1]Jeu de données Séjours de nuit

[2]Scénario de nuitées

[3]Fonction SAP hana_ml.dataframe.create_dataframe_from_pandas()

[4]SAP hana_ml.dataframe-DataFrame.collection()

[5]SAP hana_ml.dataframe-DataFrame.count()

[6]SAP hana.ml.dataframe-DataFrame.décrit()

[7]Statistiques : Médiane