Revisão geral

CG 09/10

Introdução Plataformas de processamento paralelo e

distribuído Clusters Gerenciadores de recursos (RMS –

Resource Management Systems)NQESGECondor

Definições de grid

Condor

Escalonamento oportunista Matchmaking Classads Arquitetura e processo principais Comandos principais Checkpointing DAGMan Master-worker Flocking

EGEE

Overview do projetoObjetivosAplicaçõesProjetos relacionadosSustentabilidadeMiddleware

gLite Aspectos administrativos de

desenvolvimento do middleware Arquitetura: serviços Job workflow Segurança

AutenticaçãoAutorizaçãoProxiesOrganizações virtuais (VO e VOMS)

gLite Sistema de informação

BDII (Berkeley Database Information Index), ldap

Accounting Apel Dgas

Storage elements Computing Elements Gestão de jobs (WMS – Workload Management

System) User Interface (UI), Logging & Bookkeeping

(LB), Logical File Catalog (LFC)

gLite Autenticação e autorização Chaves públicas e privadas Certificados Formas de criptografia Segurança

X.509 PKI Organizações virtuais IGTF Certificate authorities e registration authorities CRLs CNs e DNs Renovação de certificado Login to the grid, single sign-on, delegation

gLite: WMS & DMS

Workload Management systemFeaturesAPI

Data Management SystemFeaturesAPI

Arquitetura de grids (OGSA e outras) Desafios History and Evolution of Grid Introduction to Grid Architecture Key Components - Resource infrastructure Services in the Web and the Grid Technology: Globus

Arquitetura de grids (OGSA)

Modelo da ampulheta (hourglass model)AplicaçõesCollective servicesCoreFabric

Arquitetura de grids (OGSA)

Web services versus Grid services OGSA/OGSI/WSRF Implementation: Globus

Serviços (GRAM, GridFTP, GSI, etc) limitações

Application Description Languages

Script-like Atribute-value Workflow-based Xml-based

Languages ClassAds DAGMan VDL GXML AGWL XPWSL GEL GRID-ADL JDL JSDL

Grid Systems and Scheduling Taxonomia (segundo Foster):

Computacionais Data grids Service grids

Taxonomia de aplicações Distributed supercomputing

High-Throughput Computing

On-Demand Computing

Data-Intensive Computing

Collaborative Computing

Grid Systems and Scheduling (cont.)

Alternative classification for applications: IndependentLoosely-coupledTightly-coupled

Application managementPartitioningMappingallocation

Grid Systems and Scheduling (cont.)

Particionamento e aglomeração de grafos de aplicação

Heurísticas de particionamento:Graph collapsingDominant edgeMachine cutzeroing

Grid Systems and Scheduling (cont.)

Survey de estratégias de escalonamentoKwok & AhmadCasavant & KhulList scheduling family

Dominance sequence clustering (DSC)Kumar & Biswas

MinimaxZomaya et al.: Muliple queues with duplicationReinforcement learning

Grid Systems and Scheduling (cont.)

Resource managementWhen to transferWhich taskWhich node

Sender-initiated Receiver-initiated Simmetrically-initiated

When to collect info

Scheduling mechanisms for grids(according to Berman and reviewed by Kayser)

Níveis:Application JobResourceMeta-scheduler

Scheduling mechanisms for grids

Legion Globus MyGrid/OurGrid GrADS EasyGrid Nimrod/G AppLeS GRAnD/AppMan

Grid Systems and Scheduling (cont.)

Grid operating systemsVeja OSXtreemOS

Grids versus Clouds

Rever bibliografia sugerida nos últimos slides da disciplina