Trabalhar com fluxos

Suponha que a abordagem de federação mostre desempenho em tempo de execução abaixo do ideal ou coloque muito estresse no sistema de origem. Nesses casos, considere gravar os valores de forma persistente. Já explicamos as opções de replicação das tabelas remotas.

Os dados do SAP Datasphere também permitem a definição de operações ETL (Extrair, Transformar, Carregar) ou ELT (Extrair, Carregar, Transformar) mais avançadas.

A guia Fluxos no Gerador de dados no SAP Datasphere oferece a criação dos três objetos seguintes:

• Fluxo de dados: Abordagem ETL tradicional: primeiro transforme os dados e depois armazene-os, seguindo o paradigma de ETL estabelecido.

• Fluxo de replicação: para cenários de TDR em que os dados são extraídos e carregados primeiro e, em seguida, transformados.

• Fluxo de transformação: para transformações pós-carregamento em dados já carregados.

Os fluxos de dados seguem a abordagem ETL (Extrair, Transformar, Carregar) tradicional, o que significa que os dados são transformados primeiro e depois armazenados. Se você aplicar transformações complexas ou replicar dados de massa, os recursos são bloqueados no sistema fonte por um longo tempo.

Nesses casos, considere uma abordagem diferente chamada ELT (extrair, carregar, transformar), o que significa que você extrai e carrega (armazena) dados primeiro e, em seguida, aplica a transformação somente dentro do SAP Datasphere. Essa sequência permite que as empresas carreguem inicialmente dados brutos no data warehouse e, em seguida, modifiquem (transformem) de forma flexível o mesmo conjunto de dados de formas diferentes, conforme necessário, para diferentes casos de utilização. No SAP Datasphere, você pode usar fluxos de replicação e fluxos de transformações para a abordagem TDR.

Um fluxo de dados oferece a seguinte funcionalidade:

• Extrair: trazer dados para o SAP Datasphere de várias fontes da SAP (por exemplo, visões CDS do SAP S/4HANA) e fontes de terceiros. Uma tabela local no SAP Datasphere também pode ser usada como fonte.
• Transformação: realize cálculos de lógica de negócios e transformações de dados usando operadores padrão, um conjunto limitado de funções SQL integradas ou scripts Python personalizados.
• Carregar: armazene os dados nas tabelas locais do SAP Datasphere sem nenhum recurso delta.

Você pode criar um fluxo de dados para mover e transformar dados em uma interface gráfica intuitiva. Você pode arrastar e soltar fontes do Navegador de fontes, juntá-las conforme apropriado, adicionar outros operadores para remover ou criar colunas, agregar dados e fazer scripts Python antes de escrever os dados na tabela de destino.

O fluxo de replicação é baseado em uma ferramenta de replicação baseada na nuvem na qual os cenários de replicação baseados em nuvem para componentes on-premise não são mais necessários (por exemplo, agente de provisionamento de dados). Ele pode ser usado para a replicação de dados em massa de sistemas fonte suportados para sistemas destino suportados. Ele suporta três tipos de carregamento: somente inicial, inicial e delta e somente delta.

Um fluxo de replicação oferece a seguinte funcionalidade:

• Aplicar projeções de coluna e filtros no nível de linha.
• Permitir a reutilização dos mesmos objetos de origem em vários fluxos.
• Acelere as cargas iniciais por meio de paralelização baseada em partição até um máximo de 16 jobs paralelos (gráficos de trabalhador).
• Garanta a resiliência de dados com recuperação automatizada de erros e lógica de repetição e atualize as configurações de tempo de execução (limite de threads de origem e destino, frequência de carregamento delta) sem reimplementação.
• Configure a notificação por e-mail para falhas no nível do objeto.
• Dê suporte a visões SQL e de script do HANA como fontes, permitindo a extração de carregamento inicial usando chaves semânticas quando necessário no SAP HANA Cloud, no SAP HANA on-premise e no SAP Datasphere.

Os fluxos de replicação podem ser usados para os três cenários a seguir:

• Movimento de dados de entrada: replique dados de fontes SAP ou não SAP no SAP Datasphere e capture alterações de dados que ocorrem quase em tempo real a partir da fonte para atualizar a tabela de destino.

• Movimento de dados de saída: leia dados do SAP Datasphere e replique-os em destinos de saída suportados da SAP e de terceiros ao rastrear modificações de dados.

• Opção de repasse: use o SAP Datasphere como middleware e replique dados de fontes suportadas para destinos suportados ao rastrear alterações de dados que ocorrem quase em tempo real nessa fonte.

Para uma lista completa de conexões possíveis que podem ser usadas como origem ou destino para um fluxo de replicação, você pode verificar isso: Tipos de conexão

Na integração de entrada, você pode replicar dados dos seguintes objetos de origem para o SAP Datasphere:

• Visões CDS em sistemas da SAP baseados em ABAP, que estão ativadas para extração.

• Tabelas que têm uma chave primária.

• Objetos de provedores ODP, como extratores ou artefatos SAP BW (de qualquer sistema da SAP baseado em SAP NetWeaver e com uma versão adequada do add-on DMIS, consulte a nota SAP 3412110).

Você pode usar visões CDS e provedores ODP que não têm uma chave primária se o tipo de carregamento for Somente inicial. (o carregamento delta não é suportado).

Para fontes sem chave primária, uma coluna técnica é adicionada automaticamente como a última coluna (para determinados destinos). Ele contém um identificador único não modificável para cada registro.

Você pode encontrar mais informações sobre o uso do SAP S/4HANA e outras fontes ABAP para fluxos de replicação aqui: SAP S/4HANA e outras fontes ABAP para fluxos de replicação

Nesta simulação, é criado um fluxo de replicação.

Nesta simulação, é executado um fluxo de replicação.

Uma execução do fluxo de transformação é um evento único que é concluído quando os dados relevantes são carregados com sucesso na tabela de destino. Você pode executar um fluxo de transformação várias vezes, por exemplo, se estiver carregando alterações delta na tabela de destino. A criação de um fluxo de transformação envolve duas etapas importantes:

1. Criar uma transformação de visão gráfica ou uma transformação de visão SQL para carregar dados de tabelas de origem e para transformar dados.

2. Adicionar uma tabela de destino ao fluxo de transformação e mapear as colunas da transformação por visão gráfica ou transformação de visão SQL criada na primeira etapa para a tabela de destino.

Você pode adicionar tabelas locais, visões, objetos de esquema Open SQL e também tabelas remotas localizadas em áreas da ponte do BW.

Um fluxo de transformação oferece a seguinte funcionalidade:

• Várias transformações baseadas em SQL (por exemplo, junções, agregações e colunas calculadas).
• Programe o fluxo de transformação por meio de cadeias de tarefas e integrado no Monitor de integração de dados, incluindo suporte para parâmetros de entrada.
• Configuração do modo de execução para performance e ocupação otimizada da memória.
• Simule execuções e gere arquivos PlanViz.
• Gere o plano explicativo HANA para fluxos de transformação usando o tempo de execução do SAP HANA diretamente no Monitor de integração de dados para simplificar a análise de desempenho.

Você também pode definir fluxos de transformação nas áreas de Arquivos de data lake do SAP HANA. O tempo de execução do fluxo de transformação está definido como Apache Spark. Isso traz opções adicionais:

• Uso de operadores de script Python para transformações.
• Uso opcional de processamento em lote ao usar os operadores SAP HANA Runtime e Python.

Nesta simulação, é criado um fluxo de transformação.

Nesta simulação, um fluxo de transformação é executado.

A tabela a seguir fornece uma comparação de diferentes aspectos do fluxo de dados, fluxo de replicação e fluxo de transformação: