Power Center ferramenta Etl
-
Upload
carlos-eduardo-fernandes -
Category
Documents
-
view
217 -
download
0
Transcript of Power Center ferramenta Etl
-
8/16/2019 Power Center ferramenta Etl
1/30
Carlos Eduardo Fernandes
-
8/16/2019 Power Center ferramenta Etl
2/30
Power Center
É uma ferramenta de software cuja função é a extraçãode dados de diversos sistemas, limpeza de dados,transformação desses dados conforme regras de negcios ep!r "m a carga dos dados geralmente em um #ata $art eum #ata %are&ouse'
( processo de E)* é uma das fases mais cr+ticas edemoradas na construção de um #ata %are&ouse #%-,aproximadamente cerca de ./0 do tempo de um projeto de#% são gastos na fase de construção de scripts e extraçãode dados'
-
8/16/2019 Power Center ferramenta Etl
3/30
-
8/16/2019 Power Center ferramenta Etl
4/30
6m dos grandes trunfos dele é a porta:ilidade'
=ão existe a necessidade de um :anco de dadosespec+"co para 8ue a ferramenta funcione, ela acessainformaç>es de :ases &eterog?neas de praticamente8ual8uer distri:uidor, inclusive de mainframes'
7 estrutura do Power Center suporta processamento dedados tanto em :atc& como em tempo real'
-
8/16/2019 Power Center ferramenta Etl
5/30
@ers>es do Produto
Standard:
Processamento de A$* :2sico, 1ntegração de dados em lotes-B
Advanced:7lta disponi:ilidade, #esenvolvimento e controle de vers>es:aseados em e8uipe-B
Premium:
$onitoramento e alertas, @alidação de dados, )este de unidadee sistema, @eri"car a validade dos dados operacionais-
-
8/16/2019 Power Center ferramenta Etl
6/30
Real Time:
;erviços da %e:, Conectividade em tempo real-B
Big Data:
7n2lise de ar8uivos não estruturados, Processamento de
linguagem natural-B Power Center Dig #ata Edition é um software de integração dedados corporativos de alto desempen&o e dimension2vel,
Fornece 1ntegração de dados :aseada em HadoopB
adoop é uma plataforma de software em Gava de computaçãodistri:u+da voltada para clusters e processamento de grandesmassas de dados'
-
8/16/2019 Power Center ferramenta Etl
7/30
Hepositrio do PowerCenter
É um :anco de dados relacional gerenciado pelo;erviço de Hepositrio'
Ele consiste em ta:elas de :anco de dados 8uearmazenam metadado'
(s metadados descrevem diferentes tipos de o:jetos,como mapeamentos e transformaç>es, 8ue voc? podecriar ou modi"car usando as ferramentas do Cliente doPowerCenter'
( ;erviço de 1ntegração utiliza os o:jetos derepositrio para extrair, transformar e carregar dados'
-
8/16/2019 Power Center ferramenta Etl
8/30
-
8/16/2019 Power Center ferramenta Etl
9/30
Conceitos D2sicos so:re o
funcionamento da ferramenta Mapa:
É um o:jeto 8ue contém a lgica da carga dos dados' 1r2conter componentes tais como sources, targets, joiners,expressions e outros'
Sources:
;ource signi"ca fonte ou seja todo a :ase de informaç>es8ue voc? necessita para desenvolver a sua construção dosmapas, nela é poss+vel importar dados de uma Danco de#ados, 7r8uivos )extos, Aml e outros'
Targets
)argets alvo- signi"ca o destino "nal do seu mapa pode serum ar8uivo texto, xml ou uma :ase se dados'
-
8/16/2019 Power Center ferramenta Etl
10/30
-
8/16/2019 Power Center ferramenta Etl
11/30
Mapa "T#
$% Source &uali'er #escreve as caracter+sticas de uma fontede dados ou um ar8uivo'
(% Trans)ormation $odi"ca so dados antes de escrever no
target' 6se diferentes o:jetos de transformação para executarfunç>es diferentes'
*% Target de'nition #e"ne a ta:ela ou ar8uivo de destino'
+ % #inks Conecta fonte de dados e destinos e transformaç>es
para 8ue o serviço de integração possa mover e transformar osdados'
-
8/16/2019 Power Center ferramenta Etl
12/30
M,dulos do Po!er -enter
Repositor. Manager
É uma ferramenta voltada para administração dorepositrio'
Com ela podemos criar projetos, usu2rios, gerenciarpermiss>es, e v2rias outras funç>es relacionadas Jadministração do repositrio'
-
8/16/2019 Power Center ferramenta Etl
13/30
Designer
Principal ferramenta do software'
É através do #esigner 8ue conseguimos construir osprocessos E)* mapas-'
6m mapa mais simples deve ser composto por um source,um source 8uali"er e um target'
Para construir um mapa, primeiro deve ser importado osmetadados da ta:elaKar8uivo do source e target para orepositrio'
-
8/16/2019 Power Center ferramenta Etl
14/30
-
8/16/2019 Power Center ferramenta Etl
15/30
Worko! Manager
É uma ferramenta 8ue permite executar, agendar asexecuç>es dos procedimentos E)* no servidor E)*'
=ela podemos tam:ém criar conex>es do servidor com o:anco de dados'
Para executarmos a carga de um mapa constru+do no#esigner precisamos criar uma session uma tasI- e colocaresta session dentro de um worI
-
8/16/2019 Power Center ferramenta Etl
16/30
-
8/16/2019 Power Center ferramenta Etl
17/30
Worko! Monitor
É uma ferramenta 8ue permite visualizar, monitorar, parar,a:ortar e reexecutar os processos no servidor E)*B
7lém de visualizar logs dos processos em execução e osLltimos executados'
-
8/16/2019 Power Center ferramenta Etl
18/30
-
8/16/2019 Power Center ferramenta Etl
19/30
Desempenho=os testes internos de refer?ncia, em relação a uma
solução l+der de software livre, o Power Center apresentoudesempen&o superior em tarefas de integração de dados,incluindo uma alocação de memria 3M vezes mais r2pida econex>es 5,3 vezes mais r2pidas'
-onectividade
inclui conectores prontos de integração de dados para asfontes de dados mais comuns, como :ancos de dados
relacionais (racle, #DM, ;N*, ;O:ase, (#DC, G#DC-, A$*,ar8uivos simples, serviços da %e:, redes sociais incluindoFace:ooI, )witter e *inIed1n-B
7lém de ar8uivos semiestruturados P#F, %ord, Excel,PowerPoint-'
@antagens
-
8/16/2019 Power Center ferramenta Etl
20/30
Testes:
Com:ina testes de validação de dados automatizados,audit2veis e repet+veis, contendo alertas proativos e de
monitoramento para avisar os usu2rios caso surjam pro:lemasem seus processos operacionais e de desenvolvimento'
/ava Trans)ormation
6tilização da linguagem Gava para transformação dos dados'
@oc? pode através deste componente criar loops para geração dedados
S Trans)ormation
Healiza comandos ;N* no meio de um
-
8/16/2019 Power Center ferramenta Etl
21/30
Processamento em tempo real:
7 plataforma da ferramenta permite o acesso real9time a :asetransacional para 8ue os dados sejam atualizados com a velocidadee necessidade exigida pelo negcio'
Permite 8ue o usu2rio desenvolva um processo de carga8ue seja capaz de analisar a :ase de dados de origem e atualizarno #ata ware&ouse apenas o dado 8ue foi atualizado na8uelemomento, otimizando assim o consumo e tempo de execução da
carga'
( mais interessante disto é 8ue não &2 necessidade da criaçãode triggers, procedures ou 8ual8uer outro método na :ase deorigem para 8ue tal atualização seja feita, a prpria ferramenta seencarrega disto'
"scala1ilidade
Pode ser transferidas de servidor mais facilmente e até
eventualmente distri:uir sua carga entre v2rios servidores'
-
8/16/2019 Power Center ferramenta Etl
22/30
-
8/16/2019 Power Center ferramenta Etl
23/30
Ferramentas 2ue competem com ela3
-
8/16/2019 Power Center ferramenta Etl
24/30
(%D (racle %are&ouse Duilder-
;urgiu no ano M/// integrado no (racle #eveloper;uiteB
;uporte a modelagem relacional e dimensionalB
6tiliza funç>es fuzzO limpeza, agrupamento dosdados-B
$ovimentação de dados em tempo realB
-
8/16/2019 Power Center ferramenta Etl
25/30
#ata;tage
)eve origem no @$arI da empresa Prime Computers em344B
Em M//3 a 1D$ comprouB
$ovimentação e 1ntegração de dados em tempo realB
Conectividade com dados de diferentes formatos e fontes
-
8/16/2019 Power Center ferramenta Etl
26/30
"mpresas no Brasil 2ue utili4amesse so)t!are3
78ui no Drasil possui como clientes a @ale do Hio #oce,@ivo, Danco Central do Drasil, #epartamento deinform2tica do ;6;, 6niversidade Est2cio de ;2 entre
outras3
-
8/16/2019 Power Center ferramenta Etl
27/30
Banco -entral do Brasil
Desa'o(:ter informaç>es precisas em tr?s pilares do ;istema de
$onitoramento de $ercado ;$$-
risco de mercado, risco de li8uidez e an2lise de operaç>es,para "scalizar diariamente as operaç>es de Q'/// instituiç>es
"nanceiras em todo o Drasil'Solu56es
=a fase de planejamento do projeto, identi"cou9se M5processos de negcios a serem implementados com aferramenta, para 8ue, na 2rea de supervisão, os especialistas
de risco e li8uidez pudessem realizar o monitoramento do;istema Financeiro =acional'
( Danco Central, depois de analisar e de"nir osre8uisitos de negcios, solicitou a todas as cRmaras decustdia o envio dos dados necess2rios para implementaçãodo projeto'
-
8/16/2019 Power Center ferramenta Etl
28/30
Resultados
$aior segurança do sistema "nanceiro nacional eavaliação da li8uidez de cada instituição'
$ais rapidez e e"c2cia nos processos do #epartamento
de Fiscalização Danc2ria, 8ue necessita atualmente demenos auditores para analisar informaç>es do sistema"nanceiro e operaç>es fora do padrão, pois a solução j2aponta estes ind+cios'
Hece:imento e transformação de dados de cerca de Mmil&>es de transaç>es di2rias ocorridas no sistema"nanceiro'
-
8/16/2019 Power Center ferramenta Etl
29/30
7ivo
898-8AT87AS D" 9";-8es para "ns de
monitoramento, an2lise, geração de relatrios e tomada dedecis>esB
7umento da e"ci?ncia operacionalB
7 @1@( utilizava seis data ware&ouses , isolados, cada8ual dotado de suas prprias ferramentas de intelig?ncia denegcios, fontes de dados, regras de negcios, processos,ferramentas, culturas e plataformas'
Esses ware&ouses foram originados pela fusão e
a8uisição de mLltiplas operadoras locais' ;ua integração deuJ operadora de telecomunicaç>es l+der no Drasil aoportunidade de criar uma visão Lnica so:re S/ mil&>es
de clientes de telefonia mvel'
-
8/16/2019 Power Center ferramenta Etl
30/30
B"9"F=-8