Data Warehouse Janeiro/2013 Ceça Moraes [email protected].

Data Warehouse

Janeiro/2013Ceça Moraes

[email protected]

mailto:[email protected]

2

Material da Professora Valéria Cesário Times, do Cin-UFPE

3

Conteúdo

• Introdução• Conceitos básicos• Modelos e modelagem dimensional• Arquitetura de DW• Processamento OLAP x OLTP• Cubo Multidimensional• Arquitetutas OLAP• Exemplos de Relatórios OLAP

4

Hierarquia da Informação

5

CONCEITOS BÁSICOS

6

Conceitos e Terminologia de SDW

• O que é Banco de Dados Multidimensional?• O que é Data Warehouse (DW)?• O que é Data Mart (DM)?• O que são ETL e ODS?• O que é Data Warehousing(DWing)?• O que são Sistemas de DW e OLAP?

7



8

Banco de Dados Multidimensional

• Podemos pensar (conceitualmente) em um Banco de Dados Multidimensional (BDMD) como um ARRAY gigantesco:–BDM D(i ,j ,l ,m ,n,o ,p ,r,s ,t, . .. , )– Tamanho Máximo do BDMD = imax * jmax *

kmax * lmax * mmax * ...

9

Banco de Dados Multidimensional Consulta

10

Banco de Dados Multidimensional Consulta - Tridimensional

11



12

O que é o Data Warehouse?

• “Coleção de dados orientada a assunto, integrada, não-volátil e variante no tempo, utilizada para tomada de decisões”.–W. H. Inmon

• "a copy of transaction data specifically structured for query and analysis"–R. Kimball

13

O que é o Data Warehouse?

• “Repositório estruturado e corporativo de dados orientados a assunto, variantes no tempo e históricos, usados para recuperação de informações e suporte à decisão. O DW armazena dados atômicos e sumarizados”.– Definição de DW da Oracle

• Nossa: DW é uma base de dados que facilita a execução de consultas de apoio à decisão

14

Propriedades de um DW

15

Alterações no DW

16



17

O que é Data Mart (DM)?

• DM é um subconjunto de um DW– Subconjunto do DW que satisfaz os requisitos de

um certo tema ou atividade de negócio– Projetado para um dado grupo de usuários

• Pode ser construído antes ou depois do DW• Antes fragmentos de dados⇒• Depois produzem juntos uma visão ⇒

integrada dos dados

18

Movendo Dados de um DW para DM

• Vantagens– Dados totalmente

integrados antes

• Desvantagens– Pode ser mais complexo,

custoso e demorado

19

Movendo Dados dos DM para o DW

• Vantagens– Mais simples e rápido– Integração de dados

específicos de cada departamento

• Desvantagens– Duplicação de dados– Data Marts podem ter

dados incompatíveis

20

Data Mart

• Benefícios– Tempo e dificuldade de implantação minimizados– São mais facilmente entendidos– Consultas mais rápidas e com menor número de

usuários e menor volume de dados• Importante– Garantir a consistência dos dados

• Mudanças nos dados das fontes podem gerar necessidade de atualização dos DM

21

Data Mart

• Razões Adicionais para Criação de DM– Permitir aos usuários, acesso aos dados que eles

analisam mais frequentemente– Menor tempo de resposta por causa da redução

do volume de dados acessados– DM são mais facilmente extraídos,

transformados,carregados e integrados• Implementação de DM é mais simples do que de um

DW inteiro• Custo de implementação de DM é também menor

22

DW x DM

23



24

ETL e ODS (Staging)

• ETL = Extraction, Transformation and Load

• Ferramentas de ETL– Responsáveis pela conversão dos dados do

ambiente operacional para o de suporte à decisão– Realizam Acesso, Extração, Limpeza,

Transformação, Validação e Carga dos dados

25

ETL e ODS (Staging)

• Operational Datastore (ODS) ou Staging• Repositório de dados operacionais integrados– Intermediário entre as fontes de dados e o DW

• Benefícios– Otimiza a criação do DW– Possibilita a realização de consultas relacionais

sobre todos dados históricos

26

ETL e ODS• Abordagem Top-Down (DW DMs)⇒• Visão DW corporativo– Grande abrangência

27

ETL e ODS• Abordagem Botton-Up (DMs DW)⇒• Visão DW departamental– Probabilidade de ilhas de dados• Pode acontecer dos DM não se integrarem

28


• O que é Banco de Dados Multidimensional?• O que é Data Warehouse (DW)?• O que é Data Mart (DM)?• O que são ETL e ODS?• O que é Data Warehousing (DWing)?• O que são Sistemas de DW e OLAP?

29

Data Warehousing

• Processo de criação e manutenção do DW

30

Data Warehousing• Processo de construção do DW como uma base de dados

dimensional

31

Data Warehousing

32


• O que é Banco de Dados Multidimensional?• O que é Data Warehouse (DW)?• O que é Data Mart (DM)?• O que são ETL e ODS?• O que é Data Warehousing(DWing)?• O que são sistemas de DW e OLAP?

33

Sistemas de DW/OLAP• Possuem Front end• Permitem que usuários naveguem nos

diferentes níveis de detalhes sobre os dados– Dados são organizados no DW por meio de

modelagem dimensionais– Resultados de consultas são interpretados em

uma variedade de visões multidimensionais• Consultas são providas pelas ferramentas OLAP (On-

Line Analytical Processing)

34

Consultas no DW

35

Consultas no DW

36

Sistemas de DW

• Principais objetivos dos Sistemas de DW– Tornar a informação da organização facilmente

acessível– Exibir a informação de forma consistente– Ser adaptativo e acomodar facilmente mudanças– Servir de base para a tomada de decisão– Satisfazer as necessidades de análise dos usuários– Garantir a segurança das informações mantidas no

DW

37

Sistemas de DW

• Responsabilidades do administrador do Sistema de DW– Identificar que decisões seus usuários desejam

tomar– Escolher o subconjunto de dados a ser mantido

pelo DM– Monitorar a precisão dos dados e dos relatórios

gerados– Garantir interfaces e aplicações sejam simples de

usar

38

Sopa de Letrinhas

39

Bibliografia

• Data Warehousing, Data Mining & OLAP, Alex Berson, Stephen J. Smith. McGraw-Hill

• The Data Warehouse Toolkit. Ralph Kimball, Margy Ross. John Wiley & Sons, Inc.

• Data Warehouse Brasil (http://www.dwbrasil.com.br/)• Artigos de Kimball (

http://www.ralphkimball.com/html/articles.html)• Data Warehousing Institute (

http://www.dw-institute.com/)• OLAP Report - (http://www.olapreport.com/)

http://www.dwbrasil.com.br/

http://www.ralphkimball.com/html/articles.html

http://www.dw-institute.com/

http://www.olapreport.com/

Data Warehouse Janeiro/2013 Ceça Moraes [email protected].

Documents

Transcript of Data Warehouse Janeiro/2013 Ceça Moraes [email protected].