Exploração e manipulação de dados com DataFrames do SAP HANA

Objective

After completing this lesson, you will be able to demonstre como acessar e visualizar dados usando DataFrames do SAP HANA.

Carregar o conjunto de dados de desistência do empregado

O conjunto de dados Desistência do empregado está disponível livremente e pode ser carregado a partir de [1]. Quando carregado, ele pode ser explorado usando DataFrames do SAP HANA, que fornecem uma estrutura de dados in-memory de alto desempenho e em colunas para manipulação e análise eficientes de dados no SAP HANA Cloud.

Para começar, o conjunto de dados é lido em um DataFrame Pandas usando a função read_csv(), e as primeiras cinco observações são exibidas para obter uma visão geral inicial:

Code Snippet
12
df_data = pd.read_csv("./Emp_Churn_Train.csv", sep = ',') df_data.head(5)

Síntese

ITEM _NUMBEREMPLOYEE_IDAGEAGE_GROUP10AGE_GROUP5GERAÇÃOCRITICAL_JOB_ROLERISK_OF_LOSSIMPACT_OF_LOSSFUTURE_LEADERGENDER ...CURRENT_COUNTRYCURCOUNTRYLATCURCOUNTRYLONPROMOTION_WITHIN_LAST_3_YEARSCHANGED_POSITION_WITHIN_LAST_2_YEARSCHANGE_IN_PERFORMANCE_RATINGFUNCTIONALAREACHANGETYPE

JOBLEVELCHANGETYPE

CABEÇALHOFLIGHT_RISK
01003233(25-35](30-35]Geração YCríticoHighHighNenhum líder futuroFeminino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Não
11003343(35-45](40-45]Geração XCríticoBaixoHighNenhum líder futuroFeminino...Alemanha51,0834210,423447Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Não
21003433(25-35](30-35]Geração YCríticoMédioHighNenhum líder futuroFeminino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelContratação externaContratação externa1Não
31003533(25-35](30-35]Geração YCríticoHighHighNenhum líder futuroMasculino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Não
41003633(25-35](30-35]Geração YCríticoBaixoBaixoNenhum líder futuroMasculino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Sim

5 linhas x 43 colunas

Ent.

Materiais adicionais relacionados ao cenário Desistência de empregado podem ser encontrados na mesma pasta [2].

Criação de um DataFrame do SAP HANA

Para aproveitar os recursos de processamento in-memory do SAP HANA, o conjunto de dados deve ser convertido em DataFrame do SAP HANA. Isso pode ser feito usando a função hana_ml.dataframe.create_dataframe_from_pandas() [1], que cria uma tabela no SAP HANA:

Code Snippet
123456
df_remote = dataframe.create_dataframe_from_pandas(connection_context = conn, pandas_df = df_data, table_name = 'EMPLOYEE_CHURN_DATA', force = True, replace = False) display(df_remote.head(5).collect())
100%|██████████| 1/1 [00:00<00:00, 1.32it/s]
ITEM_NUMBEREMPLOYEE_IDAGEAGE_GROUP10AGE_GROUP5GERAÇÃOCRITICAL_JOB_ROLERISK_OF_LOSSIMPACT_OF_LOSSFUTURE_LEADERGENDER ...CURRENT_COUNTRYCURCOUNTRYLATCURCOUNTRYLONPROMOTION_WITHIN_LAST_3_YEARSCHANGED_POSITION_WITHIN_LAST_2_YEARSCHANGE_IN_PERFORMANCE_RATINGFUNCTIONALAREACHANGETYPEJOBLEVELCHANGETYPECABEÇALHOFLIGHT_RISK
01003233(25-35](30-35]Geração YCríticoHighHighNenhum líder futuroFeminino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Não
11003343(35-45](40-45]Geração XCríticoBaixoHighNenhum líder futuroFeminino...Alemanha51,0834210,423447Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Não
21003433(25-35](30-35]Geração YCríticoMédioHighNenhum líder futuroFeminino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelContratação externaContratação externa1Não
31003533(25-35](30-35]Geração YCríticoHighHighNenhum líder futuroMasculino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Não
41003633(25-35](30-35]Geração YCríticoBaixoBaixoNenhum líder futuroMasculino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Sim
51003733(25-35](30-35]Geração YNão críticoBaixoBaixoNenhum líder futuroMasculino...México19,432601-99,133342Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Sim

5 linhas × 43 colunas

!!!Materiais adicionais relacionados ao DataFrame do SAP HANA podem ser encontrados na referência [1].

Carregamento de dados no DataFrame do SAP HANA

Como alternativa, você pode carregar explicitamente os dados de Desistência do empregado em um DataFrame do SAP HANA. O método conn.table() permite que você acesse a tabela SAP HANA:

Code Snippet
123
hdf_employeechurn = conn.table('EMPLOYEE_CHURN_DATA') display(hdf_employeechurn.select_statement) display(hdf_employeechurn.head(6).collect())
'SELECT * FROM "EMPLOYEE_CHURN_DATA"'
ITEM_NUMBEREMPLOYEE_IDAGEAGE_GROUP10AGE_GROUP5GERAÇÃOCRITICAL_JOB_ROLERISK_OF_LOSSIMPACT_OF_LOSSFUTURE_LEADERGENDER ...CURRENT_COUNTRYCURCOUNTRYLATCURCOUNTRYLONPROMOTION_WITHIN_LAST_3_YEARSCHANGED_POSITION_WITHIN_LAST_2_YEARSCHANGE_IN_PERFORMANCE_RATINGFUNCTIONALAREACHANGETYPEJOBLEVELCHANGETYPECABEÇALHOFLIGHT_RISK
01003233(25-35](30-35]Geração YCríticoHighHighNenhum líder futuroFeminino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Não
11003343(35-45](40-45]Geração XCríticoBaixoHighNenhum líder futuroFeminino...Alemanha51,0834210,423447Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Não
21003433(25-35](30-35]Geração YCríticoMédioHighNenhum líder futuroFeminino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelContratação externaContratação externa1Não
31003533(25-35](30-35]Geração YCríticoHighHighNenhum líder futuroMasculino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Não
41003633(25-35](30-35]Geração YCríticoBaixoBaixoNenhum líder futuroMasculino...EUA39,78373-100,445882Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Sim
51003733(25-35](30-35]Geração YNão críticoBaixoBaixoNenhum líder futuroMasculino...México19,432601-99,133342Nenhuma promoçãoNenhuma modificação0 - Não disponívelNenhuma modificaçãoNenhuma modificação1Sim

6 linhas × 43 colunas

Linhas de contagem no conjunto de dados

Para calcular o número de linhas no DataFrame do SAP HANA, é usado o método DataFrame.count()[1]. Esse método fornece a contagem total de linhas para o conjunto de dados, como exibido abaixo:

Code Snippet
1
display(hdf_employeechurn.count())

19115

Agregação de dados por agrupamento e contagem

Abaixo, um DataFrame do SAP HANA é retornado com a coluna group_by junto com os agregados. Este método suporta todas as funções de agregação na instância de banco de dados SAP HANA, como 'max', 'min', 'count', 'avg', 'sum', 'mediate', 'stddev', 'var'.

O nome da coluna no DataFrame retornado é o mesmo que a coluna original, ou seja, FLIGHT_RISK. A coluna FLIGHT_RISK indica se um empregado saiu ou não da empresa nos últimos 12 meses.

Mais informações sobre o conjunto de dados Desistência do empregado podem ser exploradas na pasta Descrição do conjunto de dados de Employee Chum [1].

Para contar o número de empregados com base em 'FLIGHT_RISK', pode ser utilizado o seguinte código:

Code Snippet
1
hdf_employeechurn.agg([('count', 'EMPLOYEE_ID', 'N')], group_by='FLIGHT_RISK').collect()
ITEM_NUMBERFLIGHT_RISKR
0Não17015
1Sim2100

Referências

Compreensão da estatística descritiva de atributos/colunas de dados

Em seguida, a consulta SQL que respalda o DataFrame do SAP HANA retornado (com a coluna group_by) é exibida.

Code Snippet
1
hdf_employeechurn.agg([('count', 'EMPLOYEE_ID', 'N')], group_by='FLIGHT_RISK').select_statement

'SELECT "FLIGHT_RISK", count("EMPLOYEE_ID") AS "N" FROM (SELECT * FROM "EMPLOYEE_CHURN_DATA") AS "DT_6" GROUP BY "FLIGHT_RISK"'

Manipulação e análise de dados são vitais na Ciência de Dados. O método de classe SAP DataFrame.description() retorna um DataFrame contendo várias estatísticas de atributos/colunas de dados [1]. Essas estatísticas descritivas resumem a tendência central, a dispersão e a forma de distribuição de um conjunto de dados, ajudando a organizar e apresentar os dados de forma significativa.

Por exemplo, o número da linha 3 (mostrado abaixo) exibe as estatísticas da coluna 'SALARY', que representa o salário de um empregado em € (Euros). Esta coluna tem '19,115' observações, sem valores nulos, e seu valor médio é '€62.003,15', variando de um mínimo de '€4.900,00' a um máximo de '€120.000.00'. A mediana é '€63.000,00' [2], que divide o conjunto de dados em suas metades superior e inferior.

Code Snippet
1
hdf_employeechurn.describe().head(10).collect()
ITEM_NUMBERcolunacontagemúniconulosmédiapadrãomin.máx.mediana25_percent_cont25_percent_disc50_percent_cont50_percent_disc75_percent_cont75_porcentagem_desc.
0EMPLOYEE_ID1911519115019589,0000005518,16953310032,00000029146,00000019589,0014810,50000014810,00000019589,00000019589,00000024367,50000024368,000000
1AGE1911540039,0749159,18886318,00000057,00000039,00000032,00000032,00000039,00000039,00000046,00000046,000000
2TENURE_MONTHS191154720140,363484103,1637661,000000486,000000120,00000055,00000055,000000120,000000120,000000209,000000209,000000
3SALÁRIO1911514062003,15982224708,7918384900,000000120000,00000063000,00000040000,00000040000,00000063000,00000063000,00000070000,00000070000,000000
4PREVCOUNTRYLAT1259455652138,76848618,956135-41,50008364,68631440,03326535,00007435,00007440,03326540,03326551,08342051,083420
5PREVCOUNTRYLON125945565215,96006871,502329-107,991707172,83440810,423447-7,979460-7,97946010,42344710,42344778,66774378,667743
6TIMEINPREVPOSITIONMONTH1911558019,88590119,8645300,000000396,0000009,0000003,0000003,0000009,0000009,00000036,00000036,000000
7CURCOUNTRYLAT1911555039,74910918,354538-41,50008364,68631446,60335436,57484436,57484446,60335446,60335451,08342051,083420
8CURCOUNTRYLON191155504,28276369,918683-107,991707172,83440810,423447-7,979460-7,97946010,42344710,42344725,92091625,920916
9CABEÇALHO19115101,0000000,0000001,0000001,0000001,0000001,0000001,0000001,0000001,0000001,0000001,000000

Com base no resumo estatístico do conjunto de dados, as colunas 'PREVCOUNTRYLAT' e 'PREVCOUNTRYLON' contêm um número significativo de valores nulos—aproximadamente 51% em cada um. Dada essa alta proporção de dados ausentes, essas colunas são eliminadas do conjunto de dados para análise posterior.

Referências