Exploração de dados com DataFrames do SAP HANA

Esta seção aborda como gerenciar e manipular dados no SAP HANA Cloud usando DataFrames do SAP HANA. O conjunto de dados de alojamento da Califórnia, pré-carregado no SAP HANA Cloud, serve como exemplo para ilustrar ainda mais esse conceito [1].

Um DataFrame do SAP HANA fornece uma forma de visualizar os dados armazenados no SAP HANA sem conter nenhum dado físico. O HANA-ML usa um DataFrame do SAP HANA como entrada para fins de treinamento e pontuação.

Um DataFrame do SAP HANA oculta a instrução SQL subjacente, fornecendo aos usuários uma interface Python para dados do SAP HANA.

Para usar um DataFrame do SAP HANA, primeiro crie um objeto da classe hana_ml.dataframe.ConnectionContext (uma conexão com o SAP HANA) [2] e use os métodos fornecidos na biblioteca para criar um DataFrame do SAP HANA.

O DataFrame do SAP HANA só pode ser usado enquanto a conexão está aberta e fica inacessível depois que a conexão é fechada. Para obter a documentação completa sobre as classes e funções disponíveis, consulte [3].

[1] Conjunto de dados de alojamento da Califórnia

[2] Classe SAP hana_ml.dataframe.ConnectionContext

[3] SAP hana_ml.dataframe

O método ConnectionContext.table() retorna um DataFrame que representa a tabela especificada, ou seja, "california_housing", e seu esquema associado, ou seja, "ML_DEMO" [1]. Em seguida, exibimos a consulta SQL que dá suporte ao DataFrame.

Para inspecionar o conjunto de dados, os nomes das colunas do DataFrame e seus tipos de dados são exibidos.

12
hdf = conn.table("california_housing", schema="ML_DEMO")
print(hdf.select_statement)

_Saída:

SELECT * FROM "ML_DEMO"."california_housing"

1
print(hdf.columns)

_Saída:

['MedInc', 'HouseAge', 'AveRooms', 'AveBedrms', 'Population', 'AveOccup', 'Latitude', 'Longitude', 'Target']

1
print(hdf.dtypes())

_Saída:

[]'MedInc', 'DOUBLE', 15, 15, 15, 0), ('HouseAge', 'DOUBLE', 15, 15, 15, 0), ('AveRooms', 'DOUBLE', 15, 15, 15, DO0), ('AveBedrms', 'DOUBLE', 15, 15, DO0), ('UveBedrms', 'DOBLE', 15

[1] SAP hana_ml.dataframe - ConnectionContext.table()

Como indicado, as primeiras cinco observações do SAP DataFrame são exibidas e, em seguida, o método DataFrame.collection() copia o DataFrame atual para um novo Pandas DataFrame Python [1]

12
#Only the use of the collect method, transfers data or result sets from SAP HANA to Python
hdf.head(5).collect()

Saída:

[1] Método SAP hana_ml.dataframe - ConnectionContext.table()

Manipulação e análise de dados são vitais no campo da Ciência de Dados. O método de classe SAP DataFrame.description() retorna um DataFrame que contém várias estatísticas de atributos de dados ou colunas [1].

Tais estatísticas descritivas incluem aquelas que resumem a tendência central, dispersão e forma da distribuição de um conjunto de dados. Isso ajuda a organizar e apresentar dados de forma significativa.

Por exemplo, a linha rotulada como número 3 (mostrada abaixo) exibe as estatísticas para a coluna 'AveBedrms'. Esta coluna representa o número médio de quartos por domicílio. Você notará que ele tem '20.640' observações como o resto das colunas do conjunto de dados. Ele não tem valores nulos e seu valor médio é '1,09'; no entanto, pode ter valores de um mínimo de '0,33' para um valor máximo de '34,06'. Curiosamente, a mediana é de '1,04' [4]. Você deve lembrar que o valor da mediana representa o valor médio de um conjunto de dados.

1
hdf.describe().collect()

[1] Método SAP hana_ml.dataframe - DataFrame.description()

[2] Estatística: mediana

As linhas que correspondem às condições fornecidas podem ser selecionadas.

Por exemplo, o código a seguir seleciona o subconjunto de linhas em que a 'População' é maior que '300'. As primeiras cinco linhas são exibidas para confirmar que todos os valores de 'População' excedem '300'.

1
hdf_filter=hdf.filter('"Population">300')          

1
print(hdf_filter.select_statement)

_Saída:

SELECT * FROM (SELECT * FROM "ML_DEMO"."california_housing") AS "DT_258" WHERE "População">300

1
hdf_filter.head(5).collect()

A estatística descritiva também envolve uma representação gráfica dos dados por meio de gráficos. Eles podem ajudar ainda mais a visualizar e interpretar as informações.

Ao empregar estatísticas descritivas, pode-se resumir e compartilhar as principais propriedades de um conjunto de dados. Portanto, obter insights mais detalhados dos dados para dar suporte a:

• Outras análises estatísticas
• Processos de tomada de decisão

Você pode usar os recursos do HANA [1] para visualizar um gráfico de distribuição para a coluna DataFrame do SAP HANA chamada 'População'.

1234567891011
#Exploratory Data Visualizations
from hana_ml.visualizers.eda import EDAVisualizer

start = time.time()

eda = EDAVisualizer(enable_plotly=True)
fig, trace, bin_data = eda.distribution_plot(data=hdf, debrief=True, column="Population", bins=60, x_axis_fontsize=13, x_axis_rotation=1, width=600, title="Distribution of feature: Population", height=400)
fig.show()

end = time.time()
print("Time taken to do this by getting the data from the server was: {}s".format(round(end-start, 3)))

_Saída:

O tempo necessário para fazer isso ao obter os dados do servidor foi: 0.08s

[1] SAP hana_ml.visualizers.eda - EDAVisualizer.distribution_plot

Considere que o conjunto de dados deve ter uma coluna 'ID' para particioná-lo em subconjuntos disjuntos. Ele é necessário pelo algoritmo de particionamento [1] usado posteriormente para derivar os subconjuntos 'Treinamento' e 'Teste' que suportam a execução do workflow de aprendizagem automática.

Certifique-se de que essa coluna esteja incluída no conjunto de dados, como demonstrado abaixo.

[1] Algoritmo SAP hana_ml.algorítms.pal.partição - train_test_val_split.