inteligência nos negócios (business inteligente) · processo etl e postgresql. 4 postgresql...
TRANSCRIPT
![Page 1: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/1.jpg)
Inteligência nos Negócios (Business Inteligente)
Sistemas de Informação – Sistemas de Apoio a Decisão
Aran Bey Tcholakian Morales, Dr. Eng.
(Apostila 3)
![Page 2: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/2.jpg)
2
BI
Dados ( OLTP e outras fontes)
Data Warehouse/ Data Marts
Ferramentas OLAP
Mineração de dados - KDD
Interpretação/
Avaliação
Decisões
Analise
de dados
Analises dos
tomadores de
decisão
Fundamentação da disciplina
Dados
Informação
Conhecimento
Análises Exploratória de Dados
![Page 3: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/3.jpg)
3
Processo ETL e PostgreSQL
![Page 4: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/4.jpg)
4
PostgreSQL
Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha
(postgres).
![Page 5: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/5.jpg)
55
PostgreSQL
1. Criamos uma nova base de dados sobre o servidor local (localhost)
do owner “postgreSQL9.6”.
Exercício da folha 6.
![Page 6: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/6.jpg)
66
PostgreSQL
2. Escolhemos um nome para a base de dados, por exemplo “curso”.
Exercício da folha 6.
![Page 7: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/7.jpg)
77
PostgreSQL
3. Escolhemos o tipo de codificação, UTF8.
Exercício da folha 6.
![Page 8: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/8.jpg)
88
PostgreSQL
4. A base de dados foi criada, com o Schema “public”.
Exercício da folha 6.
![Page 9: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/9.jpg)
99
PostgreSQL
5. Restauramos o banco de dados relacional_vinhos_82.backup.
Exercício da folha 6.
![Page 10: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/10.jpg)
1010
PostgreSQL
6. Escolhemos o arquivo de backup correspondente a base restaurada.
Exercício da folha 6.
![Page 11: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/11.jpg)
1111
PostgreSQL
7. Deixamos todas as opções default.
Exercício da folha 6.
![Page 12: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/12.jpg)
1212
PostgreSQL
8. Verificamos se a restauração foi vem sucedida.
Exercício da folha 6.
![Page 13: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/13.jpg)
1313
PostgreSQL- Visualizando os dados
9. Se o esquema “relacional_vinhos” não aparece, damos um “refresh” no
esquema.
Exercício da folha 6.
![Page 14: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/14.jpg)
1414
PostgreSQL- Visualizando os dados
10. Agora podemos visualizar as tabelas e os dados.
Exercício da folha 6.
![Page 15: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/15.jpg)
1515
PostgreSQL- Visualizando os dados
11. Podemos fazer consultas SQLs as tabelas do esquema.
Exercício da folha 6.
![Page 16: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/16.jpg)
16
BI
Dados ( OLTP e outras fontes)
Data Warehouse/ Data Marts
Ferramentas OLAP
Mineração de dados - KDD
Interpretação/
Avaliação
Decisões
Analise
de dados
Analises dos
tomadores de
decisão
Fundamentação da disciplina
Dados
Informação
Conhecimento
Análises Exploratória de Dados
![Page 17: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/17.jpg)
1717
3.2 Extração, Transformação e Carga - ETL
![Page 18: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/18.jpg)
1818
• O ETL é um sistema ou conjunto de scripts SQLs para extrair os
dados das bases de operação e carregá-las no modelo
dimensional construído depois da transformação.
• O objetivo da etapa de ETL é fazer a integração de informações
de fontes múltiplas e complexas, portanto, torna-se uma etapa
bastante crítica, já que uma informação carregada
erroneamente pode trazer consequências imprevisíveis nas fases
posteriores. Esta etapa divide-se basicamente em três passos:
extração, transformação e carga.
ETL - Extração, Transformação, Carga
![Page 19: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/19.jpg)
1919
• Extração: implica muitas vezes na seleção de diferentes fontes
de dados e na integração de tais dados com o objetivo de obter uma
única fonte. As origens das fontes de dados podem ser várias e
também podem possuir diferentes formatos, tais como sistemas
transacionais, ERP, planilhas, arquivos-textos.
ETL - Extração, Transformação, Carga
![Page 20: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/20.jpg)
2020
• Transformação: a origem dos dados muitas vezes pode ser de
sistemas diferentes, então é necessário padronizar os diferentes
formatos, pois o usuário não pode ver informações iguais em
formatos diferentes.
A limpeza dos dados (uma forma de transformação) se dá porque
os dados normalmente advêm de uma fonte muitas vezes
desconhecida, concebida há muito tempo e contendo muito lixo e
inconsistência.
Operações de remoção de ruídos, de atributos incompletos,
tratamento de erros de digitação ou erros nos sistemas de captura
de dados, são tratados neste etapa.
ETL - Extração, Transformação, Carga
![Page 21: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/21.jpg)
21
Podem ser as seguintes transformações:
Resumo ou agregação: é o processo de eliminar atributos ou reduzir
o número de valores de um determinado atributo - por exemplo
reduzir o atributo data com granularidade em dias para mês (redução
de 365 para 12).
ETL - Extração, Transformação, Carga
![Page 22: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/22.jpg)
22
Redução do número de valores de um atributo: é feita
“discretizando” os valores de um atributo contínuo.
Muitos algoritmos de classificação, por exemplo, necessitam de dados
categorizados (discretos), algoritmos de associação de dados binários.
Assim, caraterísticas que assumem valores contínuos podem ser
transformados em valores discretos (em classes) e os valores
discretos em binários.
ETL - Extração, Transformação, Carga
![Page 23: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/23.jpg)
2323
Carga: uma vez que a origem dos dados pode ser de sistemas
diferentes, padronizam-se os diferentes formatos de modo que
fiquem num formato uniforme, normalmente sugerido pelo
próprio usuário.
Com isso, a análise dos dados recuperados pela ferramenta
OLAP fica mais fácil, pois o usuário não estará vendo
informações iguais em formatos diferentes.
ETL - Extração, Transformação, Carga
![Page 24: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/24.jpg)
2424
Várias origens para um mesmo dado: conflitos estruturais, de
conteúdo e de formato nos dados;
Dados “faltantes”, dados com “erros”;
Não conformidade dos dados com as regras do negócio;
Dados significativos em campos de entrada livre;
Necessidade de normalização/desnormalização de dados;
Necessidade de “juntar/separar” atributos;
Diversos formatos de dados (xls, pdf, xml, etc.);
Incompatibilidade entre ambientes operacionais diferentes.
ETL: algumas dificuldades
![Page 25: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/25.jpg)
25
Suite BI Open Pentaho
![Page 26: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/26.jpg)
26
Descompactar o arquivo pdi-ce-7.X.X-stable.zip e iniciar
Spoon.bat (Windows) ou Spoon.sh (Linux, MacOS).
PDI está formado por um conjunto de ferramentas:
Spoon: é a ferramenta gráfica para construir transformações e jobs.
Pan: é a ferramenta que nos permite executar as transformações do
spoon de uma linha de comando.
Kitchen: similar ao Pan, mas para executar jobs.
Carte: é um servidor web que permite a execução remota de
transformações e jobs.
Suite BI Open Pentaho: Data Integration
![Page 27: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/27.jpg)
27
Configurando o JAVA:
Criando variável JAVA_HOME
1. Abrir Painel de Controle\Sistema;
2. Selecione a aba Avançado e clique em Variáveis de Ambiente;
3. Em Variáveis do sistema clique no botão Nova;
4. Na janela Nova variável de sistema, digite JAVA_HOME no campo
Nome da variável e no campo Valor da variável digite o caminho do
diretório onde foi instalado o JDK e clique no botão OK;
Suite BI Open Pentaho: Data Integration
![Page 28: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/28.jpg)
28
Suite BI Open Pentaho: Data Integration
![Page 29: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/29.jpg)
29
Configurando o JAVA
Editando variável PATH
1. Selecione a variável Path em Variáveis do sistema e clique no botão
Editar;
2. Digite “;%JAVA_HOME%\bin” ao final do conteúdo do campo
Valor da variável e em seguida clique no botão OK;
3. Na janela Variáveis de ambiente clique no botão OK;
4. Na janela Propriedades do sistema clique no botão OK.
Suite BI Open Pentaho: Data Integration
![Page 30: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/30.jpg)
30
Suite BI Open Pentaho: Data Integration
![Page 31: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/31.jpg)
31
Suite BI Open Pentaho: Data Integration
Tela principal do aplicativo data integration.
![Page 32: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/32.jpg)
32
Suite BI Open Pentaho: Data Integration
Exercícios da folha 7.
1. Criamos o Schema dwvinhos_pdi
![Page 33: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/33.jpg)
33
Suite BI Open Pentaho: Data Integration
Exercícios da folha 7.
2. Criamos a conexão “curso” na opção:
Conexões – Adicionar conexão – Nova conexão
![Page 34: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/34.jpg)
34
Suite BI Open Pentaho: Data Integration
Exercícios da folha 7.
3. Geramos o scripts das tabelas: Ferramentas – SQL.
Escolhemos a base curso, o SGBD PostgreSQL e o schema dwvinhos_pdi,
e damos OK.
![Page 35: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/35.jpg)
35
Suite BI Open Pentaho: Data Integration
4. Executamos o scripts.
![Page 36: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/36.jpg)
36
Suite BI Open Pentaho: Data Integration
Vamos a carregar a dimensão vinhos.
5. Criamos uma nova transformação: File – Novo - Transformação
Exercícios da folha 7.
![Page 37: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/37.jpg)
37
Suite BI Open Pentaho: Data Integration
6. Carregar a tabela DI_VINHOS. Criamos uma nova transformação.Incluímos o componente “Table Input” e configuramos o componente.Primeiro críamos uma nova conexão.
![Page 38: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/38.jpg)
38
Suite BI Open Pentaho: Data Integration
7. O servidor será “localhost”, a base de dados “curso”, login/senha do
banco e o nome da conexão (nome fantasia) “vinhos”
Exercícios da folha 7.
![Page 39: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/39.jpg)
39
Suite BI Open Pentaho: Data Integration
8. Testamos a conexão.
Exercícios da folha 7.
![Page 40: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/40.jpg)
40
Suite BI Open Pentaho: Data Integration
9. Configuramos o SQL e efetuamos um preview para ver o resultado.
![Page 41: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/41.jpg)
41
Suite BI Open Pentaho: Data Integration
10. Incluímos na transformação o componente de “Insert/Update” e configuramos o componente com a tabela de saída.
![Page 42: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/42.jpg)
42
Suite BI Open Pentaho: Data Integration
11. Salvamos, executamos a transformação e verificamos o resultado na base de dados.
![Page 43: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/43.jpg)
43
Suite BI Open Pentaho: Data Integration
12. Na aba “View”, selecionamos a opção “Conexões” e na “conexaocursopos”, fazemos um “ share” para compartilhar a conexão com outras transformações.
![Page 44: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/44.jpg)
44
Suite BI Open Pentaho: Data Integration
13. Criamos outra transformação para carregar a tabela DI_LOJA. Incluímos o componente “Table Input”. Escolhemos a conexão e configuramos o SQL. Fazer o preview para verificar a saída.
![Page 45: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/45.jpg)
45
1. Transformação a ser construída para carregar a dimensão Tempo.
Suite BI Open Pentaho: Data Integration
Folha 7: DI_Tempo
![Page 46: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/46.jpg)
46
Suite BI Open Pentaho: Data Integration
2. Configuração do componente “Generate rows”. Definimos a variável Data do tipo date e formato yyy-mm-dd iniciando em 2009-01-01. Geramos 5.000 linhas.
![Page 47: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/47.jpg)
47
3. Configuração do componente “Add sequence”. Adicionamos a variável dia, iniciando em 1.
Suite BI Open Pentaho: Data Integration
![Page 48: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/48.jpg)
48
Suite BI Open Pentaho: Data Integration
4. Fazemos um preview para visualizar a transformação.
![Page 49: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/49.jpg)
49
5. Configuração do componente “Calculadora” para definir as variáveis ano, mes e trimestre. Para isso, necessitamos definir a variável auxiliar datacalculo.
Suite BI Open Pentaho: Data Integration
![Page 50: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/50.jpg)
50
6. Configuração do componente “Java Script” para definir a variável semestre.
Suite BI Open Pentaho: Data Integration
![Page 51: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/51.jpg)
51
Suite BI Open Pentaho: Data Integration
7. Fazemos um preview para visualizar a transformação.
![Page 52: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/52.jpg)
52
Suite BI Open Pentaho: Data Integration
8. Configuração do componente “Select Values” para remover as variáveis que não serão carregadas na base de dados.
![Page 53: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/53.jpg)
53
Suite BI Open Pentaho: Data Integration
9. Fazemos um preview para visualizar a transformação.
![Page 54: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/54.jpg)
5410. Configuração dos componentes “Sort” e “Unique” para eliminar os registros duplicados.
Suite BI Open Pentaho: Data Integration
![Page 55: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/55.jpg)
55
Suite BI Open Pentaho: Data Integration
11. Fazemos um preview para visualizar a transformação.
![Page 56: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/56.jpg)
56
12. Configuração do componente “Filter” para eliminar as instâncias acima do ano 2020 e gravar as instâncias anteriores de 01/2009 a 12/2020.
Suite BI Open Pentaho: Data Integration
![Page 57: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/57.jpg)
5713. Configuração do componente “Insert/Update”.
Suite BI Open Pentaho: Data Integration
![Page 58: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/58.jpg)
58
Suite BI Open Pentaho: Data Integration
1. Verificar se a conexão do componente “Table Input” está funcionando.
Folha 7: Tabela Fato
![Page 59: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/59.jpg)
59
Suite BI Open Pentaho: Data Integration
2. No componente de “Table input”, estamos pegando todos os dados necessários do esquema relacional.
![Page 60: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/60.jpg)
60
Suite BI Open Pentaho: Data Integration
3. Os componentes “Database lookup” são necessários para obter as chaves (seq_) das dimensões.
![Page 61: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/61.jpg)
61
Suite BI Open Pentaho: Data Integration
4. O componente “Select values” é utilizado para ficar somente com os atributos necessários para gravar na tabela fato. Incluir o atributo desconto.
![Page 62: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/62.jpg)
62
5. Configuração do componente “Calculadora” para criar a medida que está faltando.
Suite BI Open Pentaho: Data Integration
![Page 63: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/63.jpg)
63
Suite BI Open Pentaho: Data Integration
6. Configuração do componente “Sort rows”: ordena os registros pelos campos indicados.
![Page 64: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/64.jpg)
64
Suite BI Open Pentaho: Data Integration
7. Configuração do componente “Group By”.
![Page 65: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/65.jpg)
65
Suite BI Open Pentaho: Data Integration
8. Configuração do componente “Insert/Update”. Execute a transformação
![Page 66: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/66.jpg)
66
Suite BI Open Pentaho: Data Integration
9. Transformação executada.
![Page 67: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/67.jpg)
67
Suite BI Open Pentaho: Data Integration
Alteração da carga da tabela fato para incluir uma nova medida.
Exercícios da folha 8: item a)
![Page 68: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/68.jpg)
68
Suite BI Open Pentaho: Data Integration
1. Configuração do componente Java Script para calculo da
porcentagem de desconto.
![Page 69: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/69.jpg)
69
Suite BI Open Pentaho: Data Integration
2. Incluir o campo de desconto no componente Select, e calcular a
nova medida (Valor_venda_desconto) no componente Calculadora.
![Page 70: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/70.jpg)
70
Suite BI Open Pentaho: Data Integration
3. Incluir a nova medida no componente Group by.
![Page 71: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/71.jpg)
71
Suite BI Open Pentaho: Data Integration
4. Incluir a nova medida no componente Insert/Update.
![Page 72: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/72.jpg)
72
Suite BI Open Pentaho: Data Integration Exercícios da folha 8: Apagar dados
![Page 73: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/73.jpg)
73
Criação da job.
Suite BI Open Pentaho: Data Integration
Exercícios da folha 8: Criação da JOB.
![Page 74: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/74.jpg)
74
Suite BI Open Pentaho: Data Integration
Folha 8: Chamada a API do Google
1. Transformação para carregar dos dados da API do Google.
![Page 75: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/75.jpg)
75
Suite BI Open Pentaho: Data Integration
2. Configuração do componente de entrada e a definição da constante “sensor”.
![Page 76: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/76.jpg)
76
Suite BI Open Pentaho: Data Integration
3. Configuração do componente HTTP Client.
![Page 77: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/77.jpg)
77
Suite BI Open Pentaho: Data Integration
4. Configuração do componente Json input.
![Page 78: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/78.jpg)
78
Suite BI Open Pentaho: Data Integration
5. Configuração do componente Update.
![Page 79: Inteligência nos Negócios (Business Inteligente) · Processo ETL e PostgreSQL. 4 PostgreSQL Abrimos o pgAdmin, navegamos pelos servidores e incluímos a senha (postgres). 5](https://reader030.vdocuments.mx/reader030/viewer/2022021722/5c448f1d93f3c34c5a3708f3/html5/thumbnails/79.jpg)
87
BI
Dados ( OLTP e outras fontes)
Data Warehouse/ Data Marts
Ferramentas OLAP
Mineração de dados - KDD
Interpretação/
Avaliação
Decisões
Analise
de dados
Analises dos
tomadores de
decisão
Fundamentação da disciplina
Dados
Informação
Conhecimento
Análises Exploratória de Dados