Antes de criar modelos de previsão, é essencial preparar e moldar os dados de uma forma alinhada com os requisitos de modelagem de série cronológica. Isso inclui o carregamento do conjunto de dados no SAP HANA, a transformação de campos em formatos sensíveis ao tempo e a execução de agregação básica – tudo usando a API de DataFrame do SAP HANA, que permite operações semelhantes a SQL em Python.
Carregando o conjunto de dados de série cronológica
O conjunto de dados de pernoites está disponível livremente e pode ser carregado a partir de [1], como mostrado abaixo. Usando o código a seguir, exibimos as cinco primeiras observações do recém-criado DataFrame Pandas.
Mais material relacionado ao cenário de pernoite pode ser encontrado na mesma pasta [2].
123df_data= pd.read_csv('./OVERNIGHTSTAYS.csv', sep = ',')
df_data.MONTH = pd.to_datetime(df_data.MONTH, format='%d/%m/%Y')
df_data.head(5)| MÊS | REGIÃO | COUNTRYOFRESIDENCE | OVERNIGHTSTAYS | |
|---|---|---|---|---|
| 0 | 2022-01-01 | Grisões | Suíça | 392805 |
| 1 | 01/01/2022 | Grisões | Estados Bálticos | 0 |
| 2 | 01/01/2022 | Grisões | Alemanha | 80648 |
| 3 | 01/01/2022 | Grisões | França | 4229 |
| 4 | 01/01/2022 | Grisões | Itália | 10083 |
Criação de um DataFrame do SAP HANA
A função SAP hana_ml.dataframe.create_dataframe_from_pandas() [3] cria um DataFrame do SAP HANA a partir de um DataFrame Pandas e cria uma tabela no SAP HANA, ou seja, table_name = 'OVERNIGHTSTAYS'.
Em seguida, exibimos as primeiras cinco observações do DataFrame do SAP HANA e, em seguida, o DataFrame.collection() copia o DataFrame atual para um novo DataFrame Pandas Python [4].
1234567
df_remote = dataframe.create_dataframe_from_pandas(connection_context = conn,
pandas_df = df_data,
table_name = 'OVERNIGHTSTAYS',
force = True,
replace = False)
display(df_remote.head(5).collect())| MÊS | REGIÃO | COUNTRYOFRESIDENCE | OVERNIGHTSTAYS | |
|---|---|---|---|---|
| 0 | 01/01/2022 | Grisões | Suíça | 392805 |
| 1 | 01/01/2022 | Grisões | Estados Bálticos | 0 |
| 2 | 01/01/2022 | Grisões | Alemanha | 80648 |
| 3 | 01/01/2022 | Grisões | França | 4229 |
| 4 | 01/01/2022 | Grisões | Itália | 10083 |
Em seguida, exibimos a estrutura da tabela que foi criada da seguinte forma:
Saída:
[('MONTH', 'TIMESTAMP', 27, 27, 27, 0), ('REGION', 'NVARCHAR', 5000, 5000, 5000, 0), ('COUNTRYOFRESIDENCE', 'NVARCHAR', 5000, 5000, 5000, 0), ('OVERNIGHTSTAYS', 'INT', 10, 10, 10, 0, 0)Carregamento de dados no DataFrames do SAP HANA
Também podemos carregar explicitamente os dados de pernoite no DataFrame do SAP HANA, como mostrado abaixo.
Em seguida, exibimos a consulta SQL que dá suporte ao DataFrame.
Por fim, exibimos as primeiras seis observações do DataFrame.
123hdf_overnightstays = conn.table('OVERNIGHTSTAYS')
display(hdf_overnightstays.select_statement)
display(hdf_overnightstays.head(6).collect())| MÊS | REGIÃO | COUNTRYOFRESIDENCE | OVERNIGHTSTAYS | |
|---|---|---|---|---|
| 0 | 01/01/2022 | Grisões | Estados Bálticos | 0 |
| 1 | 01/01/2022 | Grisões | Austrália, Nova Zelândia, Oceania | 0 |
| 2 | 01/01/2022 | Leste da Suíça | Estados Bálticos | 0 |
| 3 | 01/01/2022 | Leste da Suíça | Austrália, Nova Zelândia, Oceania | 0 |
| 4 | 01/01/2022 | Região de Zurique | Estados Bálticos | 0 |
| 5 | 01/01/2022 | Região de Zurique | Austrália, Nova Zelândia, Oceania | 0 |
Contagem das linhas no conjunto de dados
Em seguida, DataFrame.count()[5] calcula o número de linhas no DataFrame do SAP HANA e o exibe.
1display(hdf_overnightstays.count())29029
Análise do DataFrame
Manipulação e análise de dados são vitais no campo da Ciência de Dados. O método de classe SAP DataFrame.description() retorna um DataFrame que contém várias estatísticas de atributos/colunas de dados [6].
Tais estatísticas descritivas incluem aquelas que resumem a tendência central, dispersão e forma da distribuição de um conjunto de dados. Isso ajuda a organizar e apresentar dados de forma significativa.
Por exemplo, na figura a seguir, a linha denominada 3 exibe as estatísticas para a coluna COUNTRYOFRESIDENCE. Esta coluna representa o país de residência do visitante. Notamos que ele tem 29029 observações como o resto das colunas do conjunto de dados. Ele não tem valores nulos, e podemos lembrar que é um tipo de dados baseado em caracteres; no entanto, um atributo numérico é a primeira coluna, que é a coluna OVERNIGHTSTAYS, para a qual várias estatísticas são calculadas, ou seja, mínimo, máximo, média, mediana, e assim por diante. Podemos lembrar que a mediana é o valor que divide a metade superior da metade inferior do conjunto de dados [7].
1hdf_overnightstays.describe().head(10).collect()| coluna | contagem | único | nulos | média | padrão | min. | máx. | mediana | 25_percent_cont | 25_percent_disc | 50_percent_cont | 50_percent_disc | 75_percent_cont | 75_porcentagem_desc. | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | OVERNIGHTSTAYS | 29029 | 5596 | 0 | 3307,070585 | 19415,55791 | 0,0 | 583762,0 | 269,0 | 58,0 | 58,0 | 269,0 | 269,0 | 1066,0 | 1066,0 |
| 1 | MÊS | 29029 | 29 | 0 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN |
| 2 | REGIÃO | 29029 | 13 | 0 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN |
| 3 | COUNTRYOFRESIDENCE | 29029 | 77 | 0 | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN | NaN |
4 linhas × 15 colunas
Podemos explorar os dados analisando um relatório gráfico, como mostrado abaixo:
1UnifiedReport(hdf_overnightstays).build().display()
A imagem a seguir mostra o gráfico Distribuição de tipo de variável.

A imagem a seguir mostra o gráfico Variáveis de alta cardinalidade.

A imagem a seguir mostra o gráfico Variáveis altamente discretas.

Análise adicional com agregação de dados
Para realizar mais análises de dados, precisamos agregar as pernoites por mês, como mostrado abaixo:
123hdf_overnightstays_agg = hdf_overnightstays.agg([('sum', 'OVERNIGHTSTAYS', 'OVERNIGHTSTAYS_SUM')], group_by='MONTH')
hdf_overnightstays_agg = hdf_overnightstays_agg.sort('MONTH')
hdf_overnightstays_agg.head(5).collect()| MÊS | OVERNIGHTSTAYS_SUM | |
|---|---|---|
| 0 | 01/01/2022 | 2204984 |
| 1 | 2022-02-01 | 2892697 |
| 2 | 2022-03-01 | 3053960 |
| 3 | 2022-04-01 | 2523861 |
| 4 | 2022-05-01 | 2820085 |
Procedemos a plotar os dados mensais da seguinte forma:
12345df_data = hdf_overnightstays_agg.collect()
df_data.plot(x='MONTH')
plt.xticks( rotation='vertical')
plt.show()