Introdução à transformação de dados
A transformação de dados é o processo de modificar o formato, a estrutura ou os valores de dados brutos de sistemas ERP para carregar um arquivo para o sistema de mineração de processos. Este arquivo final é chamado de log de eventos e inclui todos os eventos registrados com o respectivo registro da hora atribuído a determinados IDs de caso.
Essa transformação de dados é normalmente alcançada por meio de:
- Tradução e mapeamento
- Filtragem, agregação e compactação
- Enriquecimento e imputação
- Indexação e ordenação
- Anonimização e criptografia
- Modelagem, digitação, formatação e renomeação
Ações no sistema Deixar um rastreamento para seguir
Cada etapa em um sistema é registrada e deixa para trás um rastreamento. Analisando um exemplo de ciclo integrado de compras, determinados business objects no sistema são utilizados por meio de etapas:
- Requisição de compra (RC)
- Pedido (PO)
- Fatura
Todas as modificações e transações referentes a esses objetos são armazenadas em um banco de dados. Agora, com o Process Intelligence, esses detalhes podem ser explorados. Eles são extraídos e transformados de uma forma que permite o backtracking de todas as etapas. Por fim, essas etapas recriadas são armazenadas em um log de eventos.
Por que os dados precisam ser transformados?
Todos os dados do processo são armazenados em tabelas em um banco de dados. Para fins de análise, é importante que os dados sejam uniformes e padronizados. Podem existir diferenças nos dados, especialmente se eles forem provenientes de diferentes sistemas fonte (por exemplo, diferentes formatos de dados ou tipos de dados). Normalmente, os dados são alinhados a um formato de destino específico.
Etapas para transformação de dados.
- Definição do formato de destino
- Conversão dos dados extraídos
- Gravar os dados convertidos em um novo arquivo
Importância
Por que a transformação de dados é necessária? Porque todos os dados são armazenados em tabelas diferentes. Precisamos garantir que os dados extraídos estejam vinculados a seus casos específicos. Como um sistema saberá que o código do pedido 123 na tabela de pedidos e o código da fatura 456 na tabela de faturas pertencem ao mesmo caso?
Qual é o seu caso?
A definição do identificador de caso correto (ID) é um dos pontos mais importantes na transformação de dados. O ID do caso define o escopo do processo. Ele determina onde o processo começa e termina. Em um processo de suprimento, se o ID do caso for definido pelo ID do documento de compra, cada solicitação individual será considerada um novo caso - não importa se várias solicitações podem ser combinadas em um pedido.
Se o ID do caso for definido pelo ID do pedido, o conjunto de dados conterá todos os pedidos como casos, independentemente de suas solicitações de compra subjacentes. Uma combinação de ambos também levaria a casos para cada solicitação de compra. No final, a resposta depende do business object ou documento que deve ser analisado em termos de seu ciclo de vida.
Carregamento de dados
A última parte do ETL é a fase de carregamento de dados. Isso abrange as tarefas para carregar os dados transformados para o sistema de mineração de processos. Os pontos a seguir precisam ser abordados para seu carregamento de dados.
Selecione cada nível na figura para obter mais informações.