É possível coletar estatísticas sobre os dados que fluem de qualquer objeto do Data Services, como fonte, transformação ou destino.
Estas estatísticas podem ajudar a determinar se o fluxo de dados foi executado como previsto.
A auditoria permitirá que você saiba que algo está errado, mas você terá que investigar para entender o que aconteceu. Podem ser dados de origem incorretos como no exemplo anterior, algo em falta na configuração de transformação ou um problema com o processo de carregamento.
Configuração de auditoria
Para utilizar a auditoria, você deve:
- Definir pontos de auditoria: os pontos de auditoria coletam e armazenam estatísticas de tempo de execução sobre os dados que fluem de objetos.
- Definir regras: use estatísticas de tempo de execução para definir regras que verifiquem se os dados em pontos específicos em um fluxo de dados são o que você espera. A verificação ocorre quando os dados atingem o seguinte movimento no fluxo de dados:
- Extraído de fontes.
- Processado por transformações.
- Carregado em destinos.
- Gerar uma notificação de tempo de execução: a notificação inclui uma lista de regras de auditoria que falharam e os valores das estatísticas de auditoria no momento da falha.
- Exibição da estatística de auditoria: após a execução de um job, as estatísticas de auditoria identificam o objeto ou os objetos no fluxo de dados que produziram dados incorretos.
Pontos e etiquetas de auditoria
Um ponto de auditoria representa o objeto em um fluxo de dados onde as estatísticas são coletadas. Auditar uma origem, uma transformação ou um destino em um fluxo de dados.
Quando os pontos de auditoria são definidos em objetos em um fluxo de dados, indique uma função de auditoria. Uma função de auditoria representa a estatística de auditoria que o Data Services coleta para uma tabela, esquema de saída ou coluna.
As funções de auditoria disponíveis dependem do tipo de ponto de auditoria.
Funções de auditoria
Selecione uma destas funções de auditoria:
| Objeto de dados | Função | Descrição |
|---|---|---|
| Tabela ou esquema de saída | Contagem | Esta função coleta duas estatísticas:
O tipo de dados para esta função é um número inteiro. |
| Coluna | Total | Soma dos valores numéricos na coluna. Esta função só inclui as linhas boas. Esta função se aplica a colunas com um tipo de dados de número inteiro, decimal, duplo e real . |
| Coluna | Média | Média dos valores numéricos na coluna. Esta função só inclui as linhas boas. Esta função se aplica a colunas com um tipo de dados de número inteiro, decimal, duplo e real . |
| Coluna | Total de verificação | Detecta erros nos valores da coluna usando o valor Total de verificação. Esta função só se aplica a colunas com um tipo de dados de varchar . |
Um rótulo de auditoria representa o nome exclusivo no fluxo de dados que o Data Services gera para estatísticas de auditoria. As etiquetas de auditoria são coletadas para cada função de auditoria definida em cada ponto de auditoria.
Rótulos de auditoria
Se o ponto de auditoria estiver em uma tabela ou esquema de saída, essas duas etiquetas são geradas para a função Auditoria de contagem:
$Count_objectname
$CountError_objectname
Se o ponto de auditoria estiver em uma coluna, o rótulo de auditoria será gerado com este formato:
$auditfunction_objectname
Nota
Definição de regras e ações de auditoria
Utilize regras de auditoria ao comparar estatísticas de auditoria de um objeto com outro. Por exemplo, use uma regra de auditoria para verificar se o número de linhas da tabela de origem é igual às linhas na tabela de destino.
Uma regra de auditoria é uma expressão booleana, que consiste em um lado esquerdo (LHS), um operador booleano e um lado direito (RHS). O LHS pode ser uma única etiqueta de auditoria, várias etiquetas de auditoria que formam uma expressão com um ou mais operadores matemáticos, ou uma função com etiquetas de auditoria como parâmetros. Além do LHS, o RHS também pode ser uma constante.
Exemplos de regras de auditoria
- $Count_CUSTOMER = $Count_CUSTDW
- $Sum_ORDER_US + $Sum_ORDER_EUROPE = $Sum_ORDER_DW
- round($Avg_ORDER_TOTAL) >= 10000
Ações de auditoria
Selecione qualquer combinação das ações listadas para notificação de uma falha de auditoria:
- E-mail para lista: o Data Services envia uma notificação de qual regra de auditoria falhou para os endereços de e-mail listados nesta opção. Utilize uma vírgula para separar a lista de endereços de e-mail ou especifique uma variável para a lista de destinatários.
- Script: o Data Services executa o script personalizado criado nesta opção.
- Criar exceção: quando uma regra de auditoria falha, o Registro de erros mostra a regra que falhou. O job é interrompido na primeira regra de auditoria que falha.
Esta ação é o padrão. Se a ação for anulada e uma regra de auditoria falhar, o job é concluído com êxito e a auditoria não escreve mensagens no log de job.
Se todas as três ações forem selecionadas, o Data Services as executará na ordem apresentada.
Nota
A opção E-mail para lista utiliza a função smtp_to para enviar um e-mail. Defina o servidor e o remetente para o Simple Mail Tool Protocol (SMTP) no Data Services Server Manager.
Status da auditoria
O status da auditoria pode ser visualizado em um destes locais:
| Ação em caso de falha | Locais onde você pode visualizar informações de auditoria |
|---|---|
| Acionar uma exceção | Log de erros de job, relatórios de metadados |
| E-mail para lista | Mensagem de e-mail, relatórios de metadados |
| Script | Onde quer que o script personalizado envie as mensagens de auditoria, Relatórios de metadados |
Rastreamento de auditoria
A auditoria pode ser ativada ou desativada na caixa de diálogo Propriedades de execução do job.
Para visualizar os resultados da auditoria no log, você pode definir Rastrear dados de auditoria como Sim na caixa de diálogo Propriedades de execução do job.