Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan...
Transcript of Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan...
![Page 1: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/1.jpg)
Modelo GRAND:Gerenciamento de Aplicações
em Ambiente de Grade
Patrícia Kayser Vargas Mangan
![Page 2: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/2.jpg)
Introdução
Computação em grade (grid computing) infra-estrutura computacional grande número de recursos recursos heterogêneos e geograficamente
distribuídos aplicações de grande demanda computacional
![Page 3: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/3.jpg)
Introdução
Vários trabalhos na área... mas vários problemas em aberto
Na minha tese, abordei gerenciamento de aplicações COPPE/Sistemas – UFRJ, 2006 orientadores:
Inês de Castro Dutra Cláudio F. R. Geyer
![Page 4: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/4.jpg)
Introdução
Gerenciamento de aplicações consiste na: preparação submissão escalonamento monitoramento da execução
para todas as tarefas que compõem a aplicação
![Page 5: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/5.jpg)
Introdução
Aplicações formadas por um grande número de tarefas ex: experimentos de física e bioestatística escalonamento e controle são desafios sobrecarga na máquina de submissão gerenciamento manual proibitivo
grande quantidade de recursos e tarefas tempo longo de execução
![Page 6: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/6.jpg)
Introdução
Aplicação pode ser modelada como um grafo nodo: tarefa aresta: dependência (arquivos)
Tarefas – Classificação independent tasks loosely-coupled tasks tightly-coupled tasks
loosely-coupled
tightly-coupled
independent
![Page 7: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/7.jpg)
Introdução
Modelo GRAND Grid Robust ApplicatioN Deployment
Contribuições solução de limitações existentes, tratando de
(a) evitar submissão e gerenciamento centralizado do grafo de tarefas
(b) aumentar a escalabilidade
(c) controlar o tráfego no gerenciamento de dados gerenciamento hierárquico de aplicações nova linguagem de descrição de tarefas protótipo com métodos para gerenciar recursos e dados
![Page 8: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/8.jpg)
GRANDDAG inference
Clustering
Mapping
Submission
Application Description
Directed Acyclic Graph (DAG)
Set of sub-DAGs (or clusters)
Allocation Decisions
Results
Etapas:
![Page 9: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/9.jpg)
GRAND
Três componentes principais para a realização destas tarefas
![Page 10: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/10.jpg)
Submit Machine
Control Machine
application description
Task Manager
Application Manager
status and monitoringInfo. & results
Grid Node
Resource Management
System
results
tasks
status and monitoringInfo. & results
subgraphof tasks
monitoring info & results
Local Network
Submission Manager
subgraphof tasks
![Page 11: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/11.jpg)
GRANDRepresentação da Aplicação e do DAG
Proposta de uma nova linguagem de descrição de aplicações GRID-ADL – Grid Application Description
Language maior flexibilidade no gerenciamento do grafo
não é necessário representar todas as tarefas em memória simultaneamente
construções similares a linguagens de script DAG descrito de forma implícita
![Page 12: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/12.jpg)
GRANDDAG inference
Clustering
Mapping
Submission
Application Description
Directed Acyclic Graph (DAG)
Set of sub-DAGs (or clusters)
Allocation Decisions
Results
Etapas:
![Page 13: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/13.jpg)
GRANDRepresentação da Aplicação e do DAG
DAG armazenado internamente como uma estrutura
em memória repetições (loops) ao invés de tarefas individuais
exportado em XML baseado em JSDL, linguagem padrão da GGF facilita uso por outras ferramentas útil para aplicações que serão executadas mais de
uma vez melhor para número não muito grande de tarefas
![Page 14: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/14.jpg)
GRANDDAG inference
Clustering
Mapping
Submission
Application Description
Directed Acyclic Graph (DAG)
Set of sub-DAGs (or clusters)
Allocation Decisions
Results
Etapas:
![Page 15: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/15.jpg)
GRANDDAG inference
Clustering
Mapping
Submission
Application Description
Directed Acyclic Graph (DAG)
Set of sub-DAGs (or clusters)
Allocation Decisions
Results
Etapas:
![Page 16: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/16.jpg)
GRANDDAG inference
Clustering
Mapping
Submission
Application Description
Directed Acyclic Graph (DAG)
Set of sub-DAGs (or clusters)
Allocation Decisions
Results
Etapas:
![Page 17: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/17.jpg)
GRAND
... ...
Cluster B
Network C
Cluster D
Network A
RMSTM
RMS
RMS
AM
TM
SM SM TM
TMTMRMS t
tt
tt
t
tTM
![Page 18: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/18.jpg)
Resultados Experimentais
Protótipo implementado AppMan – Application Manager Java + JavaCC + Exehda
![Page 19: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/19.jpg)
Resultados Experimentais
...
...
Cluster B
Network C
Cluster D
Network A
1AM
SM
SM
2SM
2
Web Server
3
![Page 20: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/20.jpg)
...
...
Cluster B
Network C
Cluster D
Network A
1AM
SM
SM
SM
NFS 3
TM
TM
TT
4
T
T
4
Resultados Experimentais
![Page 21: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/21.jpg)
Resultados Experimentais
Dois tipos de experimentos realizados: verificação do gerenciamento de recursos
comparação com o Condor verificação do gerenciamento de dados
avaliação do sistema com e sem otimizações
![Page 22: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/22.jpg)
Resultados Experimentais Gerenciamento de recursos
AppMan implementa um escalonador que não utiliza informações dinâmicas do sistema
Objetivo do GRAND é usar RMS existente Implementação da submissão do AppMan
permite conduzir experimentos em redes locais sem RMS
![Page 23: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/23.jpg)
Resultados Experimentais Gerenciamento de recursos
![Page 24: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/24.jpg)
Resultados Experimentais Gerenciamento de recursos
Avaliação comparativa com Condor indica que um escalonamento menos sofisticado leva a um bom desempenho nos experimentos com tarefas de curta duração,
chegou a ser 5 vezes mais rápido devido ao número reduzido de máquinas, o
número de SM não influenciou significativamente os resultados
![Page 25: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/25.jpg)
O protótipo implementa otimizações na busca dos arquivos de entrada somente busca arquivos que ainda não tenham
sido buscados cache nos SMs
Resultados Experimentais Gerenciamento de dados
![Page 26: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/26.jpg)
Resultados Experimentais Gerenciamento de dados
![Page 27: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/27.jpg)
Resultados Experimentais Gerenciamento de dados
![Page 28: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/28.jpg)
Resultados Experimentais Gerenciamento de dados
Uso de otimizações simples na busca dos dados permitiram obter bom desempenho
Uso de cache no SM permitiu reduzir de 2 a 3 vezes o tempo total de execução
O custo de manutenção das informações não foi significativo
![Page 29: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/29.jpg)
Conclusão
Proposta de um modelo arquitetural para aplicação com grande número de tarefas em
ambiente de grade gerenciamento distribuído de aplicações projeto e implementação como middleware
![Page 30: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/30.jpg)
Conclusão Modelo
descrição de tarefas, DAG e clusters em XML extensão da linguagem JSDL útil para número não muito grande de tarefas
particionamento para distribuição da submissão e da execução em duas fases (clustering e mapping) flexibilidade
Protótipo aspectos de gerenciamento de recursos
até 5 vezes mais rápido do que o Condor para tarefas curtas aspectos de gerenciamento de dados
2 a 3 três vezes mais rápido com as otimizações na busca dos dados de entrada
![Page 31: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/31.jpg)
Trabalhos Futuros
Aprimoramentos no AppMan otimizar estruturas de dados
Vinícius (UFRJ) integração com PBS e Condor
Éder e Rômulo (UFRGS) Avaliar outros algoritmos de particionamento
colaboração UFLA (Marluce) Monitoramento de recursos
Daniel (UNILASALLE)
![Page 32: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/32.jpg)
Trabalhos Futuros
Outros temas se interesse Uso das informações de monitoramento nas
decisões de escalonamento Tratar aspectos de segurança Avaliar a possibilidade de usar o serviço GridFTP
para aumentar o desempenho no envio de arquivos
Implementar replicação de dados Permitir acesso a dados disponíveis em bancos
de dados
![Page 33: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/33.jpg)
Conclusão
Algumas referências:VARGAS, Patrícia Kayser et al. Hierarchical Submission in a Grid
Environment. In: 3rd International Workshop on Middleware for Grid Computing (MGC 2005), November 28 -- December 2, 2005. Grenoble, France.
SANCHES, J. A. L., VARGAS, P. K., DUTRA, I. C., et al., Regs: user-level reliability in a grid environment, In: Cluster Computing and Grid 2005 (CCGRID 2005), (Cardiff, UK), May 9-12 2005.
VARGAS, Patrícia Kayser; DUTRA, Inês C.; GEYER, Cláudio F.R Application Partitioning and Hierarchical Management in Grid Environments. In: 1st International Middleware Doctoral Symposium (MDS 2004); October 19th, 2004. Toronto, Canadá, p. 314—318.
PEREIRA, Marluce R., VARGAS, Patrícia Kayser, FRANÇA, F. M. G. et al. Applying Scheduling by Edge Reversal to constraint partitioning. In The 15th Symposium on Computer Architecture and High Performance Computing (SBAC-PAD 2003), São Paulo, SP, November 10-12 2003.
![Page 35: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/35.jpg)
GRAND – Premissas
Ambiente heterogêneo Um grande número de tarefas será
submetido As tarefas não se comunicam por troca de
mensagens Tarefas podem ter dependências com outras
tarefas devido a compartilhamento de arquivos
![Page 36: Modelo GRAND: Gerenciamento de Aplicações em Ambiente de Grade Patrícia Kayser Vargas Mangan kayser@unilasalle.edu.br.](https://reader036.fdocuments.net/reader036/viewer/2022062303/552fc15e497959413d8e59fa/html5/thumbnails/36.jpg)
GRAND – Premissas
Um grande número de arquivos pode ser manipulado pelas tarefas
O ambiente de grade utilizado é seguro Cada nodo da grade possui o seu
gerenciador de recursos local Cada nodo da grade disponibiliza
informações sobre os recursos locais