Integrade - Usando TakTuk e Oar
-
Upload
fabricio-nascimento -
Category
Technology
-
view
478 -
download
1
Transcript of Integrade - Usando TakTuk e Oar
IntegradeFerramentas para distribuição e escalonamento
Fabrício de Sousa Nascimento
1
Distribuindo com TakTuk
2
Como é hoje
3
Como é hoje
• Distribuição do Integrade é feito de maneira manual. “Compila e roda ou ....”
3
O que vamos fazer
4
O que vamos fazer
• Distribuição dos módulos de maneira automática eficiente e segura. Fácil tanto para o usuário quanto para o Administrador de Sistemas
4
Considerações importantes
5
Considerações importantes
• Pré requisito nos novos nós (clientes)
5
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
5
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
• Execução remota de comandos/scripts
5
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
• Execução remota de comandos/scripts
• Replicação do Integrade
5
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
• Execução remota de comandos/scripts
• Replicação do Integrade
• Transferência de arquivos
5
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
• Execução remota de comandos/scripts
• Replicação do Integrade
• Transferência de arquivos
• Configuração dos clientes
5
Considerações importantes
• Pré requisito nos novos nós (clientes)
• Comunicação segura com máquinas pré instaladas (servidor)
• Execução remota de comandos/scripts
• Replicação do Integrade
• Transferência de arquivos
• Configuração dos clientes
• Instalação dos Módulos (lrm, grm, lupa... )
5
Taktuk (taktuk.gforge.inria.fr)
6
Funcionamento Taktuk
7
Funcionamento Taktuk
7
Funcionamento Taktuk
7
Funcionamento Taktuk
7
Funcionamento Taktuk
7
Funcionamento Taktuk
7
Funcionamento Taktuk
7
Taktuk (taktuk.gforge.inria.fr)
8
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
8
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
• Escalabilidade
8
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
• Escalabilidade
• Portabilidade ( Perl )
8
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
• Escalabilidade
• Portabilidade ( Perl )
• Flexibilidade
8
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
• Escalabilidade
• Portabilidade ( Perl )
• Flexibilidade
• Camada de Comunicação
8
Taktuk (taktuk.gforge.inria.fr)
• Adaptatividade (Work-Stealing)
• Escalabilidade
• Portabilidade ( Perl )
• Flexibilidade
• Camada de Comunicação
• Autopropagação
8
TakTuk e Integrade
IntegradeNovo
Cliente
9
Requisita Instalação
Requisitos:‣Perl‣Open ssh (Conector)‣Conjunto de chaves públicas para Servidores Confiáveis *‣Arquivo de Conf.
TakTuk e Integrade
IntegradeNovo
Cliente
9
TakTuk e Integrade
IntegradeNovo
Cliente
9
TakTuk e Integrade
Integrade
Verifica possibilidade de Instalação (TakTuk)
‣Checa Pré-Requisitos‣Faz Verificações de disponibilidade (espaço em disco, módulos) Novo
Cliente
9
TakTuk e Integrade
IntegradeNovo
Cliente
9
TakTuk e Integrade
Integrade
Transfere os módulos e dependências (TakTuk)
‣Compila ou envia binário‣Configura‣Registra junto ao GRM
Novo
Cliente
9
TakTuk e Integrade
IntegradeNovo
Cliente
9
Questões em Aberto
10
Questões em Aberto
• Dá para usar o Taktuk para outras tarefas? Exemplos:
10
Questões em Aberto
• Dá para usar o Taktuk para outras tarefas? Exemplos:
• Monitorar máquinas. (OAR usa taktuk para monitoramento)
10
Questões em Aberto
• Dá para usar o Taktuk para outras tarefas? Exemplos:
• Monitorar máquinas. (OAR usa taktuk para monitoramento)
• Recuperar máquinas indisponíveis
10
Questões em Aberto
• Dá para usar o Taktuk para outras tarefas? Exemplos:
• Monitorar máquinas. (OAR usa taktuk para monitoramento)
• Recuperar máquinas indisponíveis
• Kanif
10
Escalonando com OAR5000
11
Como é hoje
12
Como é hoje
• Escalonamento é feito de maneira simples. Processos não pode ser agendados. Se não há recursos disponíveis rejeita submissão.
12
O que vamos fazer
13
O que vamos fazer
• Escalonamento inteligente de recursos. Agendamento, filas de prioridade, melhor aproveitamento de recursos.
13
Considerações
14
Considerações
• Escalonamento não é uma tarefa simples
14
Considerações
• Escalonamento não é uma tarefa simples
• Já existe um GRM
14
Considerações
• Escalonamento não é uma tarefa simples
• Já existe um GRM
• Comunicação entre módulos
14
OAR (oar.imag.fr)
15
Funcionamento do OAR
MySQL
Grade
OAR
Cliente
16
Funcionamento do OAR
MySQL
Grade
OAR
Cliente
16
Funcionamento do OAR
SubmissãoMySQL
Grade
OAR
Cliente
16
Funcionamento do OAR
SubmissãoMySQL
Grade
OAR
Cliente
16
Funcionamento do OAR
Submissão
Notifica
MySQL
Grade
OAR
Cliente
16
OAR (oar.imag.fr)
17
OAR (oar.imag.fr)
• Casamento de Recursos
17
OAR (oar.imag.fr)
• Casamento de Recursos
• Multiplas Filas de Prioridade
17
OAR (oar.imag.fr)
• Casamento de Recursos
• Multiplas Filas de Prioridade
• Regras de Admissão
17
OAR (oar.imag.fr)
• Casamento de Recursos
• Multiplas Filas de Prioridade
• Regras de Admissão
• Não há daemon nos nós clientes
17
OAR (oar.imag.fr)
• Casamento de Recursos
• Multiplas Filas de Prioridade
• Regras de Admissão
• Não há daemon nos nós clientes
• Interface por Database
17
Questões em Aberto
18
Questões em Aberto
• Como usar o OAR?
18
Questões em Aberto
• Como usar o OAR?
• Oar5000 tem algumas alternativas interessantes
18
Questões em Aberto
• Como usar o OAR?
• Oar5000 tem algumas alternativas interessantes
• Maui Cluster Scheduler (Java)
18
Dúvida?
19