Implementar funcionalidades para melhorar a performance

Processamento paralelo de controlling

Objective

After completing this lesson, you will be able to controlar processamento paralelo.

Controle do processamento paralelo em um fluxo de dados

O SAP HANA Cloud sempre tenta aplicar automaticamente o processamento paralelo a consultas para otimizar o desempenho. Seguir boas práticas de modelagem garantirá que as consultas que são executadas em suas visões de cálculo tenham a melhor chance de serem paralelizadas. No entanto, existem casos em que o otimizador não irá aplicar o processamento paralelo em uma etapa de processamento de dados complexa e de longa duração, uma vez que não consegue compreender a semântica empresarial e está preocupado que pode quebrar os resultados se tentar paralelizar. Por isso, ele deixa com cuidado a etapa de processamento como sequencial, mesmo que possa prejudicar a performance.

No entanto, se você conseguir garantir que a etapa possa ser executada com segurança de uma forma paralela dividindo os dados em partições semânticas, pode ditar quando o processamento paralelo deve ocorrer.

Em uma visão de cálculo, é possível forçar o processamento paralelo do processamento de dados definindo um código Partição execução local para marcar o início e também o fim da seção de um fluxo de dados onde o processamento paralelo é necessário. O motivo para isso é melhorar a performance de uma visão de cálculo gerando vários threads de processamento em posições específicas no fluxo de dados onde podem ocorrer gargalos de performance.

Captura de tela de um cenário de visão de cálculo. A primeira projeção é usada para dividir dados em partições, dependendo do atributo País. A segunda projeção, chamada Currency_convert_In_Parallel, executa um processo em três partições diferentes correspondentes aos três valores de País: Índia, França e Islândia. Um nó de união é então usado para mesclar dados novamente.

O bloco de processamento paralelo começa com um nó de visão de cálculo que pode definir uma tabela como fonte de dados. Esse nó pode ser um nó de projeção ou um nó de agregação. Não é possível utilizar qualquer outro tipo de fonte de dados, como uma função ou uma visão.

Nas Propriedades do nó inicial escolhido, um sinalizador de Partição de execução local é definido para sinalizar que múltiplos threads devem ser gerados a partir desse ponto. É possível definir uma coluna de origem como um valor de particionamento. Isso significa que uma partição é criada para cada valor distinto da coluna selecionada. Por exemplo, se a coluna escolhida for COUNTRY, um thread de processamento será criado para cada país. É claro que faz sentido procurar colunas de particionamento onde os dados possam ser distribuídos uniformemente. A coluna de particionamento é opcional. Se não estiver marcado, é utilizado o particionamento definido para a tabela.

Se você não definir explicitamente a coluna de particionamento, as regras de particionamento da tabela subjacente serão aplicadas (assumindo que a tabela está particionada).

Para encerrar o bloco de processamento paralelo, você utiliza um nó de união. No entanto, ao contrário de um nó de união regular que sempre teria pelo menos duas fontes de dados, uma união usada para encerrar o bloco de processamento paralelo é alimentada apenas de uma fonte de dados. O nó de união combina os vários threads gerados, mas as várias entradas não são visíveis no editor gráfico e, por isso, o nó de união parece ter apenas uma fonte do nó abaixo. Você não pode combinar outras fontes de dados no nó de união que é usado para encerrar o processamento paralelo. Nas Características do nó de união, um código Partição execução local está definido para indicar o fim do bloco de processamento paralelo.

Captura de tela de cenários de visão de cálculo que ilustram restrições na utilização do processamento paralelo. Consulte o texto após a imagem para obter detalhes.

Existem algumas restrições que você deve considerar aqui.

O bloco de processamento paralelo começa sempre com um nó que inclui uma fonte de dados que deve ser uma tabela. Você pode usar uma tabela definida no container local ou um sinônimo que aponte para uma tabela externa. Você não pode utilizar outra visão de cálculo como fonte de dados ou função de tabela.

Captura de tela de cenários de visão de cálculo que ilustram restrições na utilização do processamento paralelo. Consulte o texto após a imagem para obter detalhes.

Somente um bloco de processamento paralelo pode ser definido por consulta. Isso significa que você não pode parar e iniciar outro bloco na mesma visão de cálculo ou em várias visões de cálculo na pilha completa. Você não pode aninhar blocos de processamento paralelo, por exemplo, iniciar um bloco de processamento paralelo e, em seguida, iniciar outro dentro do bloco de processamento paralelo original.

É possível criar vários nós iniciais dentro de um único bloco de processamento paralelo selecionando diferentes colunas de particionamento para cada nó inicial. Se você criar vários nós iniciais, todos os threads gerados serão combinados em um único nó de união final.

Nota

Além de definir partições lógicas usando essa técnica, lembre-se sempre de que o SAP HANA tentará aplicar processamento paralelo adicional às partições lógicas.

Para verificar o particionamento dos dados, você pode definir uma coluna calculada dentro do bloco de processamento paralelo com a expressão de engine de coluna simples partitionid(). No conjunto de dados resultante, você verá um número de partição gerado para cada thread de processamento.

Outras técnicas para monitorar o processamento paralelo:

  • Você também pode coletar informações de rastreamento adicionando WITH PARAMETERS ('PLACEHOLDER' = ('$$CE_SUPPORT$$','') ao final da instrução de consulta.

  • Use o Analisador de SQL para navegar até os nós que devem ser paralelizados e você verá que os nós estão duplicados de acordo com o número de partições.

Cuidado

É importante não utilizar em excesso essa funcionalidade, uma vez que o excesso de paralelização pode levar a uma má performance geral onde outros processos são afetados.