Conceitos gerais de ETL

Por Roberto Oliveira – www.robertooliveira.com.br

• Antes de pensar em utilizar o Qlikview para criar super dashboards com indicadores e KPI´s temos que realizar a etapa de ETL

• É esta etapa que vai preparar e disponibilizar os registros dos sistemas transacionais para alimentar o seu BI, então leia atentamente a explicação e qualquer dúvida entre em contato.

• O que significa ETL?– “Extract”: extrair informações dos sistemas

legados;– “Transformation”: transformar, limpar, formatar a

informação, sem mudar as propriedades originais;– “Load”: preparar a informação para a camada de

apresentação.

• 1ª Etapa do projeto de ETL - Análise de requisitos– Criar uma estratégia para tratar:

• - Necessidade de Negócio• - Compliance• - Data Profiling• - Segurança• - Integração de Dados• - Latência nos Dados• - Archiving e Lineage• - Licenças/Legados

• Divida o projeto de BI nas áreas onde o mesmo será desenvolvido e após isso:

– - Conduza entrevistas com os usuários– - Identifique os KPI’s esperados– - Identifique as necessidades das análises:

• Consultas e Relatórios• Identifique as principais pesquisas• Identifique os dados e correlações• Levante os modelos de decisões necessários

– - Verifique as fontes de dados em relação às necessidades levantadas– - Mapeie os gap’s e os riscos.

Medida Informação numérica proveniente da medição das transações da empresa

Tabela fato Principal tabela no DW onde as medidas são armazenadas

Tabela dimensão Contém as informações descritivas e qualificadores do negócio. É a porta de entrada do DW

Grão Menor nível de informações existente no DW e definida pelas dimensões ligadas às tabelas fato.

Surrogate Key Chave substituta gerada no DW. É a chave primária das tabelas

Business Key Chave primária do transacional. Utilizada como chave de negócio

Hierarquia Conjunto de atributos que possui uma ordem lógica do maior ao menor nível

Atributo Campo descritivo referente a uma dimensão

 Conceitos utilizados no ETL:

Tipos de Carregamento do Data WareHouse:

a) Substituição/Atualização

• Fácil de implementar, porém não guarda histórico• Substitui o valor do campo atual com o novo valor recebido

b) Adição

• Mantém o histórico de forma temporal, incluindo uma nova linha para cada alteração• Geração de nova chave primária para cada versão do registro• Chave original (business key) se mantém inalterada• Pode-se incluir campos de data para identificar a data de vigência

c) 2 colunas

• Uma coluna para o valor histórico e uma coluna para o valor atual• Permite a visualização de 2 versões simultaneamente

FIM