Desenvolvendo uma metodologia Ágil para Projetos de BI

Marco Garcia mgarcia@cetax.com.brwww.cetax.com.br

Quem somos – Cetax Consultoria

Empresa especializada em BI Consultoria e Treinamento

Fundada em 2001 Mais de 30 projetos bem sucedidos, executados

por seus colaboradores.

Quem sou – Marco Antonio Garcia

Formado pela FATEC, MBA pela FGV 21 anos em TI, 15 em BI/DW. Mais de 35 projetos executados. Especialista em finanças, marketing e vendas. Em 1999 abandonei a carreira de Desenvolvedor

para especialização em DW/BI 2005 – Cursos Kimball nos EUA 2011/2013 - Cursos TDWI nos EUA Hadoop/Big Data nos EUA

Projetos de Inteligência

São essencialmente projetos de negócios !

Mas apoiados por tecnologia !

O que se espera de um projeto ? Assertividade – cumpra os requisitos. Performance – seja rápido. Custo – não exceda as expectativas de custo Etc..etc.. Resolva todos os problemas, mesmo aqueles que não

conhecemos.

Para Atingir o resultado esperado

Busca-se uma metodologia.

Know-how de quem já fez.

Experiências em outros projetos.

Experiências na mesma indústria.

Busca por uma metodologia,Todos querem um Livro Santo !

1998 – 900 páginas

2008– 636 páginas

Busca por uma metodologiaCiclo de Vida Kimball

1

2

3

4

Pontos de Falha no Ciclo1-ESPERA-SE QUE TODOS OS REQUISITOS SEJAM COLETADOS EM UMA ÚNICA FASE

2-ESCOLHA DOS SOFTWARES É FEITA SOMENTE NA 4A ETAPA

3-O PROCESSO DE CARGA DE DADOS INICIA SOMENTE NA 5A ETAPA

4-A INTERAÇÃO DOS USUARIOS COM AS FERRAMENTAS SAO FEITAS SOMENTE NA 5A ETAPA

Metodologia Ágil = Entrega Contínua

- DIMINUIR CICLOS DE DESENVOLVIMENTO

- GERAR PROTÓTIPOS VIÁVEIS PARA ANÁLISE

- CRIAR FASES INCREMENTAIS

- FOCO NO DESENVOLVIMENTO DO PRODUTO FINAL

Como construir um projeto do ZERO

Negócios

Modelo

Dados

Regras

Arquitetura

Controles

Protótipo

Construção Definitiva

Negócios

- Comece sempre pelas saídas- Relatórios- Visões - Consultas

- Não deixe de entender as principais regras de negócios- Cálculos, De-Paras, Agrupamentos, Formatação

Negócios – separe os relatórios- Agrupe por Departamentos e Processos de Negócios

FINANÇASCONTAS A PAGARCONTAS A RECEBERINADIMPLÊNCIAFLUXO DE CAIXA

VENDASEMISSÃO NOTAS FISCAISENTREGAS

Para cada grupo de relatóriosPense nos 4 passos Kimball (base montagem dos relatórios)

1) Processo de Negócio – qual processo será atendidoEx.: Financeiro – Contas a Pagar

2) Granularidade – Nível de Detalhe do Processo Ex.: 1 registro por titulo,data,fornecedor e parcela

3) Dimensões – Entidades DescritivasEx.: Datas (Cad,Vencto,Pagto), Departamento, Fornecedor, MeioPagto, ContaCorrente, Funcionário.

4) Métricas – métricas básicas do processoEx.: Vlr Título, Vl Multa, Vl Juros

Importante !- Tenha certeza que os relatórios mapeados estejam sendo

atendidos pelos 4 Passos Kimball.

- Sempre modele suas tabelas no nível mais granular, é

sempre mais fácil agregar do que abrir os dados.

- Localize as entidades bases, são aquelas tabelas que dão

origens principais aos dados.

- Pense na Desnormalização ( Data Warehouse Toolkit 3 ).

- Corra para criar um protótipo funcional o mais rápido

possível !

Modelo e Dados- Após mapear o negócio, precisamos mapear os dados

- Precisamos de ajuda : DBA, AD, Desenvolvedor.

- Localize as entidades bases.

- MOVIMENTAÇÕES OU SALDOS = FATOS

- CADASTROS PRINCIPAIS = DIMENSÕES

Modelo e Dados : DATA PROFILING- Examinar os dados da origem para ter certeza que

suportam as análises de negócio.

- Busquem por :

- PK,FK e UK

- Colunas vazias

- Dominios e padrões

- De-Paras

Modelo e Dados : DATA PROFILING- Qualquer falha nos dados :

- AVISE A TODOS IMEDIATAMENTE

- 3 CAMINHOS

- Buscar por uma nova fonte de dados

- Criar uma regra, cálculo ou de-para

- Assumir um valor “default” ou abandonar a coluna

REGRAS e CÁLCULOS- Os processos de transformação dos dados da origem para

a visão esperada no sistema de BI, será feita através das

regras de transformação de dados.

- Regras de qualidade garantem o tratamento dos dados

- Regras de DE-PARA garantem a padronização

- Regras de cálculos garantem os dados previamente

calculados.

ARQUITETURA- Softwares

- Banco de dados ( Armazenamento )

- Integração ( ETL )

- Apresentação ( Front-End )

- Arquitetura DW

- Kimball ou Inmon

- Controles ( em fase de protótipo não criamos os controles )

ARQUITETURA - softwaresBanco de dados ( Armazenamento )

- MySql, PostgreSQL,Oracle, SqlServer

- Hadoop ( HDFS, HBASE )

- NoSql ( Cassandra, MongoDB, etc )

Integração ( ETL )

- PDI, TalendETL ( OpenSource )

- SSIS, OWB (Database Component)

- PowerCenter, DataStage, BO DI ( Independent )

- Apresentação ( Front-End )

- Arquitetura DW

- Kimball ou Inmon

- Controles ( em fase de protótipo não criamos os controles )

ARQUITETURA - softwares- Apresentação ( Front-End )

- Excel, PowerPivot,PowerBI

- Pentaho, Jasper, Spago

- Tableau, Qlikview, Tibco Spotfire

- Oracle BIEE, SAP BO, IBM Cognos

ARQUITETURA – DATA WAREHOUSE?- Construir ou não o data warehouse ?

- Se possuir mais de 1 fonte de dados

- Necessidade de integração de dados

- Padronização, limpeza, qualidade de dados

- Deseja tornar o armazenamento independente do front-

end ?

SE AS RESPOSTAS FOREM = SIM

CRIE O DATA WAREHOUSE ou DATA MART

ARQUITETURA – KIMBALL

ARQUITETURA – INMON

PROTÓTIPO- Escolha junto aos usuários de negócio uma massa de

dados para o protótipo, ex.: Março/2015.

- Crie o protótipo o mais rápido possível.

- CREATE TABLE AS SELECT - pode ser uma boa

solução.

- Mas sempre respeite a modelagem dimensional

- Deixe o protótipo o mais funcional possível.

- Coloque a ferramenta de BI para acessar o protótipo.

PROTÓTIPO- Faça junto com os usuários sessões de validação:

- Montando relatórios

- Análises

- Consultas

- Os itens divergentes ou correções, se tornam atividades de

desenvolvimento do projeto.

PROTÓTIPO – alterações viram CARDS

DEFINA OS CONTROLES DE ETLSubsystem 4 - Data Quality

Subsystem 5 - Controle Eventos Erros

Subsystem 6 - Dimensão AuditoriaCTRL_Regras_Eventos_Carga

cdRegraDados

dsRegraDadosidCargaDadosdsTabelaPrincipal

CTRL_Mapas

cdMapa

dsMapaCargadsTabelaPrincipaldsEtapaCargadtParIniCargadtParFimCargadsFiltroCarga_1dsFiltroCarga_2dsFiltroCarga_3

DimAuditoria

skAudit

dsMapaCargadsTabelaPrincipalqtRegistrosOrigemqtRegistrosCargaqtRegistrosErrosdthrInicioCargadthrFimCargastGeralCarga

CTRL_Erros_Eventos_Carga

skAudit (FK)cdRegraDados (FK)cdMapa (FK)dthrErroCargadsRegistroOrigemdsErroCargacdErroCarga

Stg_Estatitscas_Cargas

cdMapa (FK)skAudit (FK)dtReferenciaqtRegistroCarregadosqtRegistrosErrosqtRegistrosLidos

Após aprovação Protótipo Pense na construção definitiva

ETLs Automação Carga Teste Disponibilização aos usuários

ITENS IMPORTANTES ! Construção incremental Entregas semanais Acompanhamento constante dos usuários Crie Templates

Modelos de Dados ETLs Controles

Obrigado !Para dúvidas:mgarcia@cetax.com.br

* Importante ! Próxima semana Treinamento de modelagem dimensional – desconto para todos que estão aquiContato@cetax.com.br – Pentaho Day