Exploração e manipulação de dados com dataframes do SAP HANA

Objective

After completing this lesson, you will be able to demonstre como formatar, agregar e preparar o conjunto de dados para previsão de série cronológica usando DataFrames do SAP HANA.

Preparar dados para previsão de série cronológica

Antes de criar modelos de previsão, é essencial preparar e moldar os dados de uma forma alinhada com os requisitos de modelagem de série cronológica. Isso inclui o carregamento do conjunto de dados no SAP HANA, a transformação de campos em formatos sensíveis ao tempo e a execução de agregação básica – tudo usando a API de DataFrame do SAP HANA, que permite operações semelhantes a SQL em Python.

Carregando o conjunto de dados de série cronológica

O conjunto de dados de pernoites está disponível livremente e pode ser carregado a partir de [1], como mostrado abaixo. Usando o código a seguir, exibimos as cinco primeiras observações do recém-criado DataFrame Pandas.

Mais material relacionado ao cenário de pernoite pode ser encontrado na mesma pasta [2].

Code Snippet
123
df_data= pd.read_csv('./OVERNIGHTSTAYS.csv', sep = ',') df_data.MONTH = pd.to_datetime(df_data.MONTH, format='%d/%m/%Y') df_data.head(5)
 MÊSREGIÃOCOUNTRYOFRESIDENCEOVERNIGHTSTAYS
02022-01-01GrisõesSuíça392805
101/01/2022GrisõesEstados Bálticos0
201/01/2022GrisõesAlemanha80648
301/01/2022GrisõesFrança4229
401/01/2022GrisõesItália10083

Criação de um DataFrame do SAP HANA

A função SAP hana_ml.dataframe.create_dataframe_from_pandas() [3] cria um DataFrame do SAP HANA a partir de um DataFrame Pandas e cria uma tabela no SAP HANA, ou seja, table_name = 'OVERNIGHTSTAYS'.

Em seguida, exibimos as primeiras cinco observações do DataFrame do SAP HANA e, em seguida, o DataFrame.collection() copia o DataFrame atual para um novo DataFrame Pandas Python [4].

Code Snippet
1234567
df_remote = dataframe.create_dataframe_from_pandas(connection_context = conn, pandas_df = df_data, table_name = 'OVERNIGHTSTAYS', force = True, replace = False) display(df_remote.head(5).collect())
100%|██████████| 1/1 [00:01<00:00, 1.44s/it]
 MÊSREGIÃOCOUNTRYOFRESIDENCEOVERNIGHTSTAYS
001/01/2022GrisõesSuíça392805
101/01/2022GrisõesEstados Bálticos0
201/01/2022GrisõesAlemanha80648
301/01/2022GrisõesFrança4229
401/01/2022GrisõesItália10083

Em seguida, exibimos a estrutura da tabela que foi criada da seguinte forma:

Saída:

[('MONTH', 'TIMESTAMP', 27, 27, 27, 0), ('REGION', 'NVARCHAR', 5000, 5000, 5000, 0), ('COUNTRYOFRESIDENCE', 'NVARCHAR', 5000, 5000, 5000, 0), ('OVERNIGHTSTAYS', 'INT', 10, 10, 10, 0, 0)

Carregamento de dados no DataFrames do SAP HANA

Também podemos carregar explicitamente os dados de pernoite no DataFrame do SAP HANA, como mostrado abaixo.

Em seguida, exibimos a consulta SQL que dá suporte ao DataFrame.

Por fim, exibimos as primeiras seis observações do DataFrame.

Code Snippet
123
hdf_overnightstays = conn.table('OVERNIGHTSTAYS') display(hdf_overnightstays.select_statement) display(hdf_overnightstays.head(6).collect())
'SELECT * FROM ''OVERNIGHTSTAYS'' '
 MÊSREGIÃOCOUNTRYOFRESIDENCEOVERNIGHTSTAYS
001/01/2022GrisõesEstados Bálticos0
101/01/2022GrisõesAustrália, Nova Zelândia, Oceania0
201/01/2022Leste da SuíçaEstados Bálticos0
301/01/2022Leste da SuíçaAustrália, Nova Zelândia, Oceania0
401/01/2022Região de ZuriqueEstados Bálticos0
501/01/2022Região de ZuriqueAustrália, Nova Zelândia, Oceania0

Contagem das linhas no conjunto de dados

Em seguida, DataFrame.count()[5] calcula o número de linhas no DataFrame do SAP HANA e o exibe.

Code Snippet
1
display(hdf_overnightstays.count())

29029

Análise do DataFrame

Manipulação e análise de dados são vitais no campo da Ciência de Dados. O método de classe SAP DataFrame.description() retorna um DataFrame que contém várias estatísticas de atributos/colunas de dados [6].

Tais estatísticas descritivas incluem aquelas que resumem a tendência central, dispersão e forma da distribuição de um conjunto de dados. Isso ajuda a organizar e apresentar dados de forma significativa.

Por exemplo, na figura a seguir, a linha denominada 3 exibe as estatísticas para a coluna COUNTRYOFRESIDENCE. Esta coluna representa o país de residência do visitante. Notamos que ele tem 29029 observações como o resto das colunas do conjunto de dados. Ele não tem valores nulos, e podemos lembrar que é um tipo de dados baseado em caracteres; no entanto, um atributo numérico é a primeira coluna, que é a coluna OVERNIGHTSTAYS, para a qual várias estatísticas são calculadas, ou seja, mínimo, máximo, média, mediana, e assim por diante. Podemos lembrar que a mediana é o valor que divide a metade superior da metade inferior do conjunto de dados [7].

Code Snippet
1
hdf_overnightstays.describe().head(10).collect()
 colunacontagemúniconulosmédiapadrãomin.máx.mediana25_percent_cont25_percent_disc50_percent_cont50_percent_disc75_percent_cont75_porcentagem_desc.
0OVERNIGHTSTAYS29029559603307,07058519415,557910,0583762,0269,058,058,0269,0269,01066,01066,0
1MÊS29029290NaNNaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
2REGIÃO29029130NaNNaNNaNNaNNaNNaNNaNNaNNaNNaNNaN
3COUNTRYOFRESIDENCE29029770NaNNaNNaNNaNNaNNaNNaNNaNNaNNaNNaN

4 linhas × 15 colunas

Podemos explorar os dados analisando um relatório gráfico, como mostrado abaixo:

Code Snippet
1
UnifiedReport(hdf_overnightstays).build().display()
AVISO:hana_ml.visualizers.unified_report: a chave não foi definida. A primeira coluna foi tratada como coluna de índice.A tela Visão geral do relatório de conjunto de dados

A imagem a seguir mostra o gráfico Distribuição de tipo de variável.

A tela Distribuição de tipo de variável

A imagem a seguir mostra o gráfico Variáveis de alta cardinalidade.

O gráfico Variáveis de cardinalidade alta

A imagem a seguir mostra o gráfico Variáveis altamente discretas.

O gráfico Variáveis altamente discretas

Análise adicional com agregação de dados

Para realizar mais análises de dados, precisamos agregar as pernoites por mês, como mostrado abaixo:

Code Snippet
123
hdf_overnightstays_agg = hdf_overnightstays.agg([('sum', 'OVERNIGHTSTAYS', 'OVERNIGHTSTAYS_SUM')], group_by='MONTH') hdf_overnightstays_agg = hdf_overnightstays_agg.sort('MONTH') hdf_overnightstays_agg.head(5).collect()
 MÊSOVERNIGHTSTAYS_SUM
001/01/20222204984
12022-02-012892697
22022-03-013053960
32022-04-012523861
42022-05-012820085

Procedemos a plotar os dados mensais da seguinte forma:

Code Snippet
12345
df_data = hdf_overnightstays_agg.collect() df_data.plot(x='MONTH') plt.xticks( rotation='vertical') plt.show()
Dados mensais para pernoites mostrados em um gráfico de linhas