Uso do servidor OLAP Mondrian em um Sistema de Planejamento de colheita de cana-de-açúcar

2093-RF

THE USE OF THE MONDRIAN OLAP SERVER IN A SUGAR CANE HARVESTING PLANNING SYSTEM

Rodrigo Edson Fernandes (Universidade Federal de So Carlos, So Paulo, Brasil) [email protected] Carlos dos Santos (Universidade Federal de So Carlos, So Paulo, Brasil) [email protected] Abstract

Due to the large volume of information currently stored in the databases, more and more companies are making use of the data warehouse (DW) approach as an efficient way of storing and retrieving information in order to support strategic decisions. This paper presents the use of the Mondrian OLAP server in a sugar cane harvesting planning system. Mondrian is an OLAP server written in Java which enables anyone to interactively analyze very large datasets stored in SQL databases without writing SQL queries. The paper covers the use of this technology in a data warehouse built from information of a database implemented in PlanCol which is a strategic information system that among other features implements the management and planning of sugar cane harvesting.

Key-words: Mondrian, Data warehouse, ETL, JPivot, OLAP

Uso do servidor OLAP Mondrian em um Sistema de Planejamento de colheita de cana-de-acar

Resumo

Devido ao grande volume de informaes armazenadas atualmente, cada vez mais as empresas esto fazendo uso de abordagens de Data Warehouse (DW) como um mecanismo eficiente de armazenamento e recuperao de informaes para auxiliar nas tomadas de decises estratgicas. Para encontrar as informaes nestes DWs foram desenvolvidas vrias ferramentas chamadas de OLAP (On-line Analytical Processing) que tem a capacidade para manipular e analisar grandes volumes de dados sob mltiplas perspectivas. Entre elas est a plataforma Mondrian que um servidor OLAP open sourceescrito em Java, que possibilita a anlise destes dados/informaes sem que haja necessidade de consultas em SQL. O artigo apresenta o uso do Mondrianem um DW construda a partir das informaes de um banco de dados implementado no sistema PlanCol que entre outras funcionalidades faz o planejamento da colheita de cana de acar.

Palavras-Chave: Mondrian, Data warehouse, ETL, JPivot, OLAP

Agradeo aos amigos Murilo Habemann Torquato e Tiago A. B. Torrete que juntamente comigo desenvolveram o PlanCol durante a ps-graduao e a empresa Logtrac que ofereceu apoio para o desenvolvimento do PlanCol.

2267

7 CONTECSI - International Conference on Information Systems and Technology Management

TECSI - Laboratrio de Tecnologia e Sistemas de Informao FEA USP - www.tecsi.fea.usp.br

1. Introduo

O aumento da competitividade mundial est obrigando as usinas de cana-de-acar a sempre planejar e acompanhar suas operaes com confiabilidade. Para isso elas esto aprofundando a informatizao dos seus processos produtivos e fazendo uso de softwares que simulam ou preveem por meios matemticos e/ou estatsticos a factibilidade das suas operaes com os recursos, equipamentos, mquinas e mo-de-obra, que possuem. Assim elas tero um meio para estipular metas e avaliar a necessidade da compra ou contratao de novos recursos.

Essa informatizao garante um maior controle dos processos, possibilitando comparaes entre o que foi planejado e o que foi realizado, conseguindo assim avaliar qual problema pode estar comprometendo suas metas ou descobrir mais rapidamente qual soluo est trazendo resultados satisfatrios, possibilitando uma evoluo mais gil no seu processo de qualidade.

No entanto, a grande quantidade de informaes geradas por esses softwares, muitas vezes dificulta uma visualizao rpida e eficaz dos fatores que mais influenciam a produo e a reduo de custos, ou apenas mostram uma viso atual do processo sem a possibilidade de comparao com perodos anteriores ou com informaes de softwares que as usinas possuem de fornecedores diferentes.

nesse cenrio que um Data Warehouse (DW) pode ser implantado, para possibilitar uma anlise de forma relacionada e organizada das informaes oriundas dos vrios softwares e setores das usinas, como j vem sendo feito por vrios setores do mercado.

Essa crescente adeso dos DWs pelo mercado incentivou os fornecedores de tecnologia, como Microsoft, Oracle, IBM, entre outros, a desenvolverem mecanismos mais eficientes para sintetizar essas informaes. Estes mecanismos so chamados de servidores OLAP, que tm como objetivo possibilitar um suporte s necessidades gerenciais da informao, gerando vises multidimensionais do negcio e permitindo que os dados sejam vistos de vrios ngulos.

Este artigo discute a utilizao do servidor OLAP Mondrian, em um DW, construdo a partir dos dados gerados pelo PlanCol, que possibilitar aos seus usurios uma anlise histrica das programaes de colheita j realizadas em suas safras anteriores.

A seo 2 desse artigo discute pesquisas anteriores realizadas sobre o assunto. Na seo 3 apresentada a fundamentao terica sobre ambientes de DW e suas principais caractersticas. Uma introduo sobre o servidor OLAP Mondrian realizada na seo 4 e a apresentao do funcionamento do PlanCol encontra-se na seo 5. A construo do DW do PlanCol, chamado de PlanColDW, est descrita na seo 6 e finalmente a seo 7 descreve a aplicao do servidor OLAP Mondrian sobre o PlanColDW seguida pela seo 8 com a metodologia e as concluses do artigo na seo 9.

2. Pesquisas anteriores realizadas sobre o assunto

Trabalhos sobre Data Warehouse e ferramentas OLAP esto sendo desenvolvidos em vrias reas da indstria e governo. A seguir sero apresentados alguns destes projetos.

2268



Para a sade pblica, Santos et. al., 2006 propuserem um projeto de DW, seguindo a abordagem de Inmon [INMON, 1997], em que os dados resultantes do Departamento de informtica do SUS (DATASUS) so processados e disponibilizados para as coordenadorias, diretorias regionais e gestores dos municpios.

Na indstria, temos uma aplicao voltada para a anlise dos dados obtidos pelos sistemas que controlam o cho-de-fbrica [Fortulan e Gonalves, 2005], em que os dados so reunidos em um DW e consultados por um servidor OLAP, por meio do qual os gerentes podem fazer uso para fundamentar suas decises.

Alguns trabalhos com o Mondrian propem interfaces para facilitar a visualizao dos dados pelo usurio final, geralmente gerentes, que no possuem o domnio das linguagens usadas nas consultas dos dados.

Neste quadro, temos o trabalho de Fernandes e Kantorski [FERNANDES e KANTORSKI, 2008] que descreve o desenvolvimento da ferramenta Neuro BI, desenvolvida usando as tecnologias Mondrian e JPivot [PENTAHO II, 2009] e a biblioteca de tags JSP (JavaServer Pages) que facilita o uso de tabelas OLAP em pginas WEB, visando agregar meios/recursos que facilitem a criao de relatrios pelos usurios que no so da rea de informtica, facilitando assim a utilizao de DWs pelos mesmos.

3. Fundamentao terica sobre um ambiente DW

O DW surgiu a partir da necessidade de conseguir analisar uma grande quantidade de dados provenientes de diversas origens com formatos e padronizaes diferentes, de uma forma gil, a fim de transformar esses dados em informaes que possam gerar um diferencial competitivo.

Ele pode ser considerado um enorme repositrio central que armazena as informaes de uma organizao de maneira consolidada e de forma histrica, preocupando-se em integrar e consolidar as informaes de fontes internas, na maioria das vezes heterogneas, e fontes externas, sumarizando, filtrando e limpando esses dados, preparando-os para dar suporte tomada de deciso. [MACHADO, 2009]. Suas principais caractersticas so:

x Orientado a assunto - armazena dados importantes sobre temas especficos do negcio de uma organizao; x Possui dados consolidados - consolida dados de diferentes fontes, em uma estrutura nica e consistente. x Varivel no tempo - permite o acompanhamento histrico dos dados ao longo do tempo; e x No voltil as informaes no so modificadas

Sua construo envolve um complexo processo de anlise do negcio, seguido de um projeto dimensional, que deve envolver diretamente os executivos da empresa, em que so definidas as divises das informaes, chamadas de dimenses, e a granularidade em que os dados sero consolidados. Posteriormente feito um mapeamento dos dados nos sistemas legados, para ento dar incio ao processo de extrao, transformao e carga (ETL - Extract,Transform, and Load) dos mesmos no DW, que pode ser dividido em Data Marts, ou usado diretamente pelas ferramentas de relatrio, Data Mining ou OLAP, como exemplificado na figura 1.

O processo de ETL consiste em levantar e analisar todas as fontes de dados em que as informaes necessrias ao DW se encontram, para ento extrair de

2269



forma padronizada as informaes e em seguida transform-las no formato esperado pelo DW, consolidando e limpando o que no necessrio antes de carregar os dados efetivamente para as tabelas do DW, como demonstrado na figura 2.

Figura 1 - Processo de construo de um DW [baseada em MAZN et. al.,2008]

Figura 2 - Processo de ETL [Baseada em VASSILIADS et. al., 2008]

Aps a criao do DW, as empresas podem fazer uso das chamadas ferramentas OLAP, termo esse, que foi citado pela primeira vez por E. F. Codd, quando ento definiu doze regras que estas aplicaes deveriam atender, sendo uma destas regras, possibilitar uma viso multidimensional dos negcios de uma empresa, a qual se tornou a caracterstica fundamental no desenvolvimento destas aplicaes [ANZANELLO, 2002].

Dentre as ferramentas OLAP, temos o Mondrian, usado neste artigo em conjunto com o DW construdo a partir dos dados do PlanCol (PlanColDW) para fornecer uma soluo de BI (Business Intelligence) de baixo custo que possibilite aos usurios do PlanCol consultar seus dados de uma forma histrica e multidimensional.

4. Servidor OLAP Mondrian

Desenvolvido pela Pentaho [PENTAHO I, 2009], o Mondrian um produto open source escrito em Java que executa consultas MDX (Multidimensional Expression - uma linguagem que prov uma sintaxe especializada para consultas em

2270



dados multidimensionais), e retorna os resultados em um formato multidimensional atravs de uma API Java, podendo ser conectado a vrios bancos de dados relacionais.

Ele possibilita uma anlise de grandes volumes de dados, tipicamente muitos milhes de registros em tempo real, isso significa que o sistema deve responder as consultas o mais rpido possvel para gerar uma interatividade na explorao dos dados, ou seja, permitir que o usurio avance ou recue nos detalhamentos das dimenses com rapidez.

A seguir a tabela 1 exemplifica uma anlise multidimensional que pode ser obtida pelo Mondrian.

Tabela 1 - Formato multidimensional de dados [PENTAHO I, 2009] Ano 2000 2001 Crescimento

ProdutoVendas em

DlaresVendas em Unidades

Vendas em Dlares

Vendas em Unidades

Vendas em Dlares

Vendas em Unidades

Total $7073 2693 $7636 3008 8% 12%

Livros $2753 824 $3331 966 21% 17%

Fico $1341 424 $1202 380 -10% -10%

No Fico $1412 400 $2129 586 51% 47%

Revistas $2753 824 $2426 766 -12% -7%

Greetings cards

$1567 1045 $1879 1276 20% 22%

Neste exemplo, o eixo das linhas representa todos os produtos, livros de fico e no fico, revistas e assim por diante e o eixo das colunas representa o produto cartesiano com informaes dos anos 2000 e 2001 e o crescimento na ltima coluna. Cada clula representa as vendas de uma categoria de produto em um determinado ano. Como exemplo, na tabela anterior, est representado que as vendas em dlares de revistas em 2001 foram de $ 2426.

A tabela1 tambm demonstra o recurso de detalhar as hierarquias de uma dimenso, como feito nos membros da categoria livro, Fico e No Fico, e a possibilidade do uso de frmulas, como as usadas nas colunas de Crescimento.

Para este caso foram usadas apenas duas dimenses, produto e tempo, representando o fato vendas, mas podem ser usadas quantas dimenses forem necessrias para representar as informaes desejadas pelos gerentes. O conjunto de dimenses, hierarquias e medidas chamado de cubo.

Para recuperar os conjuntos de dados como o demonstrado na tabela 1, o Mondrian faz uso da linguagem MDX, que sua principal linguagem de consulta. A sintaxe bsica do MDX a primeira vista lembra a SQL, porm enquanto a SQL executada diretamente nas tabelas do banco de dados, a MDX executada sobre um cubo, que deve ser configurado usando as tabelas de fato e dimenses do DW.

A seguir, est um exemplo de consulta MDX simples, onde so obtidas as informaes Unit Sales e Store Sales do fato Measures que esto no cubo Salesfiltrando os dados pela dimenso Time onde ela seja igual a 1997 no segundo quadril (Q2).

2271



SELECT {[Measures].[Unit Sales], [Measures].[Store Sales]} ON COLUMNS, {[Product].members} ON ROWS FROM [Sales] WHERE [Time].[1997].[Q2]

5. PlanCol Sistema de planejamento de colheita de cana-de-acar.

O PlanCol um sistema online de planejamento de colheita que visa ajudar o usurio a selecionar os talhes de uma fazenda que traro melhor resultado ao serem colhidos em um determinado perodo, possibilitando tambm uma previso de quando cada frente de colheita dever se deslocar de uma fazenda para outra.

O PlanCol foca no horizonte de tempo da safra e fornece ao usurio um mecanismo que permite a ele programar uma sequncia de talhes para uma determinada frente de colheita, baseando-se nos parmetros informados na filtragem dos talhes, como distncia mnima, idade mnima da cana-de-acar, dentre outros.

Essas programaes, ficam armazenadas no banco de dados do PlanCol, porm, passado o perodo a que essa programao pertence, ela perde sua validade estratgica e se torna apenas um documento que diz o que foi programado, para quem e quando.

A implantao do DW do PlanCol tem como finalidade impedir que os dados estratgicos das programaes fiquem esquecidos, disponibilizando ao usurio meios para que ele possa analisar os dados das programaes realizadas no passado, retirando delas conhecimentos que possam ajudar nas programaes futuras.

6. Data Warehouse do PlanCol - PlanColDW

O PlanColDW armazena historicamente os dados das programaes de colheita dos usurios do PlanCol, possibilitando uma anlise comparativa das programaes das safras anteriores com as da safra atual, permitindo que o usurio avalie qual programao j realizada anteriormente trouxe um bom resultado e us-la como guia para uma nova programao.

O modelo de dados utilizado no DW o modelo dimensional onde os dados so geralmente representados utilizando o esquema estrela [KIMBALL et al.,1998]. Tal esquema estruturado ao redor de uma tabela principal, denominada fato, que se liga s tabelas secundrias, denominadas dimenses, como mostra a figura 3 a seguir, sendo que:

x A tabela fato armazena as medidas numricas do PlanCol, como rea colhida e a produo esperada. x As dimenses so as descries secundrias que envolvem o negcio, como a frente de colheita e o fundo agrcola.

A granularidade do PlanColDW para a dimenso tempo, tem como unidade mxima de detalhamento o dia, ou seja, essa unidade ter o maior nvel de detalhes possvel em uma consulta. Esse nvel de granularidade deve ser considerado no processo de ETL para consolidar os dados do PlanCol nessa unidade.

2272



Como a nica fonte de informao do PlanColDW ser o banco de dados do PlanCol, o processo de ETL no precisa se preocupar em normalizar informaes de softwares de fornecedores diferentes.

Figura 3 - Diagrama fsico do PlanColDW

Na fase de extrao, os atributos e tabelas desnecessrias ao PanColDW foram ignorados, e algumas informaes que no PlanCol estavam distribudas em mais de uma tabela, como as que so esperadas pela dimenso fundo_agricola, que no PlanCol esto divididas entre as tabelas fundo_agricola e talhao, apresentadas na figura 4, foram extradas de forma unificada.

As informaes extradas nessa fase so inseridas antes em um banco de dados intermedirio, chamado de DSA (Data Starting Area) onde foram posteriormente transformados e limpos conforme a necessidade pelo processo de transformao.

Com as informaes na DAS, a fase de transformao da ETL aplicada para limpar e consolidar os dados extrados na unidade mnima de granularidade esperada pelo DW, no caso o dia.

Aps a transformao das informaes da DAS, os dados so carregados no PalnColDW, aplicando uma ateno especial para manter a integridade do DW, uma vez que existe uma desnormalizao proposital dos dados para atender suas caractersticas multidimensionais.

2273



Figura 4 - Diagrama fsico do banco de dados do PlanCol

7. Aplicao do Servidor OLAP Mondrian no PlanColDW

Para traduzir as consultas MDX em consultas SQL o Mondrian faz uso de um cubo de dados que deve ser configurado em XML a partir das tabelas do PlanColDW. Para facilitar a criao desse cubo, a Pentaho possui uma ferramenta chamada Schema Workbench, que fornece uma interface grfica para essa configurao, conforme apresentado na figura 5.

2274



Figura 5 - Cubo do PlanColDW criado pela ferramenta Schema Workbench

Com o cubo gerado, necessrio configurar o Mondrian para usar o XML em suas consultas. Para isso o XML deve ser copiado para a pasta /WEB-INF/queries do Mondrian e em seguida deve ser alterado o arquivo web.xml, alterando os elementos connectString para usar o nome do arquivo XML gerado.

Com o servidor configurado, o Mondrian pode executar as consultas MDX e recuperar os dados do PlanColDW, como exibido na figura 6.

As consultas MDX executadas pelo Mondrian so muito complexas para serem montadas pelos usurios finais, geralmente diretores e gerentes, que no possuem um conhecimento avanado em computao. Visando solucionar esse problema, foi criada a ferramenta JPivot, tambm distribuda pela Pentaho, que usada em conjunto com o Mondrian oferece aos usurios finais uma interface grfica amigvel para manipulao dos dados do DW. A figura 7 apresenta o resultado de uma consulta MDX exibida pelo JPivot.

O JPivot, permite que o usurio navegue pelos nveis de detalhamento das dimenses com facilidade, bastando apenas clicar no smbolo de (+) mais ou (-) menos ao lado da dimenso, como mostra a figura 8.

2275



Figura 6 - Exemplo de consulta MDX

Figura 7 - Consulta MDX exibida pelo JPivot

Figura 8 - Exemplo de navegao entre as dimenses do Cubo

2276



O JPivot permite que o usurio visualize, e se desejar alterar, a consulta MDX que corresponde aos dados que esto sendo exibidos no momento, clicando no boto MDX da barra de ferramentas, conforme a figura 9.

Figura 9 - Consulta MDX gerada pelo JPivot

Com o JPivot o usurio pode alterar as dimenses que esto sendo exibidas e aplicar filtros ou inverter as dimenses que esto nas linhas ou nas colunas.

As configuraes de filtro ou quais dimenses sero exibidas na consulta podem ser feitas pelo primeiro boto da barra de ferramentas, conforme exibido na figura 10.

Figura 10 - Configurao dos dados exibidos

8. Metodologia

As metodologias utilizadas para produzir e apresentar uma sntese dos resultados discutidos neste artigo foram em trs frentes de trabalho. Primeiro uma metodologia robusta (processo unificado) para desenvolvimento do sistema PlanCol envolvendo o conhecimento do primeiro autor deste artigo na rea sucroalcooleira.

2277



Esta mesma metodologia foi utilizada para a extenso das funcionalidades do PlanCol para incorporar mecanismos de apoio deciso com a criao de um DW e o uso do sistema Mondrian responsvel pela produo de relatrios executivos. Segundo, uma metodologia para a produo de uma monografia exigida em um curso de Ps-Graduao lato-sensu. Ela exigiu pesquisas e leituras em livros, artigos cientficos e na internet. Terceiro uma abordagem muito semelhante da produo da monografia, mas esta mais focada na elaborao deste artigo.

9. Concluso

Este artigo conclui que com o uso de ferramentas livres, qualquer empresa pode montar, sem a necessidade de grandes investimentos, uma ferramenta de BI para ajudar seus executivos a fundamentarem suas decises em dados histricos.

A montagem do DW em si o passo mais complexo e caro a ser implantado, e pode exigir a contratao de uma consultoria especializada, porm o uso do Mondrian combinado com o JPivot, elimina a necessidade do pagamento de qualquer tipo de licena de uso de software, conforme demonstrado neste artigo, usando apenas ferramentas livres.

Para as usinas de cana de acar, que geralmente so carentes desse tipo de ferramenta, este trabalho pode servir de modelo e incentivo, a fim de popularizar o uso de DWs e ferramentas OLAP no auxlio tomada de deciso estratgica.

Este artigo o resultado da implementao de um sistema e a sua extenso para incorporar funcionalidades importantes para apoiar a tomada de deciso.

10.Referncias Bibliogrficas

ANZANELLO, C. A. OLAP conceitos e utilizao. Instituto de Informtica, UFRGS. (Disponvel em: www.inf.ufrgs.br/~clesio/cmp151/cmp15120021/artigo_cynthia.pdf. Acesso em: Maro de 2009).

FERNANDES, M.S.; KANTORSKI, G. Z. Neuro BI: Uma ferramenta WEB open source para apoio tomada de deciso. Santa Maria: Universidade Luterana do Brasil, 2008. 181p.

FORTULAN, M. R.; GONALVES, E. V. F. Uma proposta de aplicao de Business Intelligence no cho-de-fbrica. Gesto & Produo, v. 12, n. 1, p 55-66. 2005.

INMON, W. H. Como construir o Data Warehouse, Rio de Janeiro: Campus, 1997.

KIMBALL, R., REEVES L., ROSS M., THORNTHWAITE W. The Data Warehouse Lifecycle Toolkit. John Wiley & Sons, 1998.

MACHADO, F. N. R. Tecnologia e Projeto de Data Warehouse. So Paulo: Erica, 2009.

2278



MAZN, J., TRUJILLO, J., SERRANO, M., e PIATTINI, M. Applying MDA to the Development of Data Warehouses, Proceedings of the 8th ACM international workshop on Data warehousing and OLAP, 4-5 de novembro, Bremen, Germany, 2005, pp 56-66.

PENTAHO (I): Pentaho Analysis Services: Mondrian Project. Disponvel em: Acessado em: 25/07/2009.

PENTAHO (II): JPivot - a JSP based OLAP client. Disponvel em: Acessado em: 25/07/2009.

SANTOS, R. S.; GUTIERREZ, M. A.; FURUIE, S.; TACHINARDI, U. Projeto de um Data Warehouse para a Sade Pblica. Departamento de Informtica em Sade (DIS); Universidade Federal de So Paulo (UNIFESP), Brasil; Servio de Informtica, Instituto do Corao (INCOR); Universidade de So Paulo (USP), Brasil; Secretaria de Estado da Sade de So Paulo, 2006.

VASSILIADIS, P.; SIMITSIS, A.; SKIADOPOULOS, S.; Conceptual Modeling for ETL Processes. In: Proc. of Data Warehousing and OLAP (DOLAP'2002) ACM 5th Intl Workshop in conjunction with CIKM02, McLean-USA. AnaisNovember 8, 2002.

2279



Uso do servidor OLAP Mondrian em um Sistema de Planejamento de colheita de cana-de-açúcar

Documents

Transcript of Uso do servidor OLAP Mondrian em um Sistema de Planejamento de colheita de cana-de-açúcar