I progetti di integrazione di GRID EU-US€¦ · Flavia Donno Commissione I, Perugia 11-12 Novembre...

Flavia Donno Commissione I, Perugia 11-12 Novembre 2002

1

I I progettiprogetti di di integrazioneintegrazione di di GRID EUGRID EU--USUS

Flavia DonnoINFN Sezione di Pisa

Riunione Comm. I sul calcolo a LHCPerugia, 11-12 Novembre 2002


2

I progetti e le iniziativeI progetti e le iniziativeGOAL:GOAL:Costruire una “grid transatlantica” sperimentale basata sulla Costruire una “grid transatlantica” sperimentale basata sulla interoperabilita’ tra lainteroperabilita’ tra la grid europea (EDG) e quella americana grid europea (EDG) e quella americana (VDT), con lo scopo di fornire un accesso trasparente alla (VDT), con lo scopo di fornire un accesso trasparente alla infrastruttura di calcolo massivamente distribuita, necessaria infrastruttura di calcolo massivamente distribuita, necessaria per far fronte alla richiesta delle moderne applicazioni “dataper far fronte alla richiesta delle moderne applicazioni “data--intensive”.intensive”.

• DataTAG DataTAG (middleware EDG)(middleware EDG)The DataTAG project will create a large-scale intercontinental Grid testbed that will focus uponadvanced networking issues and interoperability between these intercontinental Grid domains, hence extending the capabilities of each and enhancing the worldwide programme of Grid development.The project will address the issues which arise in the sector of high performance inter-Gridnetworking, including sustained and reliable high performance data replication, end-to-end advanced network services, and novel monitoring techniques. The project will also directly address the issues which arise in the sector of interoperability between the Grid middleware layers such as information, security services, data access and job scheduling. The advance made will be disseminated into each of the associated Grid projects.


3

I progetti e le iniziativeI progetti e le iniziative

• iVDGL iVDGL (middleware VDT)(middleware VDT)The iVDGL is a global Data Grid that will serve forefront experiments in physics and astronomy. Its computing, storage and networking resources in the U.S., Europe, Asia and South America provide a unique laboratory that will test and validate Grid technologies at international and global scales. Sites in Europe and the U.S. will be linked by a multi-gigabit per second transatlantic link funded by the European DataTAG project.

GLUEGLUEThe Grid Laboratory Uniform Environment (GLUE) initiative was created in Feb. 2002 to provide a focused effort to achieve interoperability between the U.S. (iVDGL, GriPhyN and PPDG) and the European (EDG, DataTAG) physics Grid projects. The scope includes the definition of a set of software, configuration recommendations, documentation and test suites cover the basic interoperability requirements. Software will be deployed and tested on a Grid testbed set up for this specific purpose. GLUE management and activities are provided by the iVDGL (U.S. side) and DataTAG (European side) projects specifically. The project reports to and gets guidance from the High Energy Physics Intergrid Coordination Board (HICB) and its Joint Technical Board (JTB). Since LCG has endorsed the effort as bringing benefit to the project goals of deploying global production grids for LHC experiments, commitment to deliver worth to LCG is part of the GLUE program.


4

DataTAG: gli obiettiviDataTAG: gli obiettivi

L’ INFN e’ responsabile delle attivita’ del WP4: L’ INFN e’ responsabile delle attivita’ del WP4: •• Trovare le soluzioni per i problemi di interoperabilita’ e/o Trovare le soluzioni per i problemi di interoperabilita’ e/o

integrazione.integrazione.• Lo scenario comune ha portato alla definizione di requirements

molto simili per i progetti di middleware. Un risultato che ne e’ derivato e’ l’adozione di software comune per i servizi di base quali Globus e Condor. Questa situazione ha facilitato il tipo di approccio adottato per studiare il problema:– definizione di un set minimo di core services che devono essere comuni a

tutte le grid– Studio di integrazione o coesistenza per i servizi di alto livello


5

Schema dei servizi di grid

Globus Core ServicesGRAM, GSI, GRIS , Basic Data Access Replica Catalog, GDMP, Condor basic components

Grid Resources and Local ServicesCompute Element, Storage Element, Network,Local Authorization Service, Local Scheduler

DataGRIDGrid SchedulerReplica ManagerR-GMA

DataGRIDVO AAServices

VOMS

GriPhyN/PPDGPlanner/ExecutorReplica ManagerMDS, SRB

GriPhyN/PPDGVO AAServices

CAS


6

DataTAG: gli obiettiviDataTAG: gli obiettivi• In particolare, il primo e piu’ importante requisito per

garantire l’interoperabilita’ e’ la necessita’ di accedere allerisorse sulla griglia utilizzando:

– protocolli comuni– meccanismi base di sicurezza, autenticazione e

autorizzazione comuni– un modo omogeneo di descrivere le informazioni relative

alle risorse grid

• Il Globus Toolkit fornisce protocolli di accesso (GRAM),di pubblicazione delle informazioni (GIS) e unainfrastruttura di sicurezza basata su chiavi pubbliche (PKI), la Globus Security Infrastructure (GSI).


7

DataTAG: DataTAG: il programma di WP4il programma di WP4

L’attivita’ di WP4 si divide in:L’attivita’ di WP4 si divide in:

• Resource discovery and GLUE schema (task 4.1)• Resource access policy, authentication, authorization and security (task 4.2)

• Collective services : evaluation/selection/integration (task 4.3)Distribution and Configuration Conventions and Tools

•Application GRID integration (task 4.4)

•First testbed prototypes and demos


8

DataTAG: DataTAG: autenticazione e autorizzazioneautenticazione e autorizzazione

• I Tools EDG sono stati proposti per l’uso ai collaboratori iVDGL• EDG Certification Authorities• VO LDAP server• VO GroupMAN• edg-mkgridmap

Questi tools (sviluppati dall’INFN) sono ora parte della distributioneufficiale VDT.

• VOMS e’ studiato dai collaboratori americani iVDGL.•VOMS architettura definita•Accordo sulla struttura del database (MYSQL)•Accordo sulle ACLs per gli amministratori del database• i dati ritornati contengono il soggetto del certificato utente e gliattributi(user's role...) e informazioni membership (VO, group, subgroup..)

che vengono aggiunti alla proxy.•Pronta prima versione del VOMS server.

• Collaborazione INFN - FNAL su KCA/X509


9

DataTAG: DataTAG: ResourceResource discovery e GLUE schemadiscovery e GLUE schema

CE : la CE : la strutturastruttura logicalogica e’ stabilee’ stabileSE: la SE: la strutturastruttura logicalogica e’ stabilee’ stabileL’implementazioneL’implementazione LDAP e’ LDAP e’ statastata rilasciatarilasciata!!Lo Schema Glue e’ Lo Schema Glue e’ inclusoincluso in in GlobusGlobus MDS 2.2 MDS 2.2 GliGli Information Providers Information Providers GlobusGlobus e EDG Info Providers e EDG Info Providers sonosonoinclusiinclusi in VDT.in VDT.

PrimoPrimo testbed ditestbed di test test transatlanticotransatlantico con TOP GIIScon TOP GIISTestatoTestato con con successosuccesso ilil Resource Broker “GlueResource Broker “Glue--aware”!aware”!


10

DataTAG: DataTAG: MiddlewareMiddleware selectionselection

Per Per ilil primo primo prototipoprototipo di testbed intercontinentaledi testbed intercontinentale e’e’statostato condottocondotto unouno studio per studio per identificareidentificare ilil middlewaremiddlewarecheche permettepermette didi far far interoperareinteroperare I I dominidomini GRID GRID americanoamericano((iVDGLiVDGL) e ) e EuropeoEuropeo (EDG):(EDG):

ComponentiComponenti GlobusGlobus standardstandardResource Broker e EDG User InterfaceResource Broker e EDG User InterfaceReplica Manager e Replica CatalogueReplica Manager e Replica CatalogueEDG Schema e Information ProvidersEDG Schema e Information ProvidersEDG Authorization and Authentication systemEDG Authorization and Authentication system


11

DataTAG: DataTAG: Distribution and ConfigurationDistribution and Configuration ToolsTools

Goals:Goals:⌦⌦ContribuireContribuire a a unauna distribuzionedistribuzione cheche ::

E’ “conforme” a entrambe le distribuzioni EDG e VDTInclude componenti EDG e VDTPermette l’interoperabilita’ dei testbedsStabilisce regole di configurazione comuni e flessibili.

CosaCosa e’ e’ statostato fattofatto::Creato unaCreato una software repository software repository comunecomune per la per la creazionecreazione di rpmsdi rpms e PACMAN.e PACMAN.La repository La repository WorldGridWorldGrid cache cache contienecontiene unauna distribuzionedistribuzione stabile stabile cheche puopuo’’essereessere assorbitaassorbita dada VDT e EDG.VDT e EDG.PropostaProposta unauna strategiastrategia di configurazionedi configurazione a VDT e EDGa VDT e EDGLavoriamoLavoriamo susu unauna strategiastrategia comunecomune per per ilil versioning EDGversioning EDG--VDTVDTCerchiamoCerchiamo di convergeredi convergere susu un toolun tool di distribuzionedi distribuzione ““comunecomune””


12

DataTAG: DataTAG: First testbed prototypes and demosFirst testbed prototypes and demos

IST2002IST2002 44--6 November, Copenhagen6 November, CopenhagenSC2002 16SC2002 16--22 November, Baltimore22 November, Baltimore

Goals: Goals: DimostrareDimostrare::Collaborazione tra progetti Grid Europei e US. Interoperability tra domini grid per applicazioni sottomesse da utenti didiverse “organizzazioni virtuali”.Uso controllato di resorse condivise soggette a una policy stabilitaUso integrato di risorse eterogenee di domini testbed iVDGL e EDG

Infrastructure:Infrastructure: WEB site: WEB site: http://http://datatagdatatag--demo.pi.demo.pi.infninfn.it,.it, http://www.http://www.ivdglivdgl.org/demo.org/demo

GLUEGLUE testbedtestbed with common schemawith common schemaVO (VO (DataTAGDataTAG andand iVDGLiVDGL) LDAP Servers in EU and US) LDAP Servers in EU and USCentral Repository with software distribution (Central Repository with software distribution (DataTAGDataTAG oror iVDGLiVDGL))Planning document outlinePlanning document outline


13

DataTAG: DataTAG: First testbed prototypes and demosFirst testbed prototypes and demos

IST2002IST2002 44--6 November, Copenhagen6 November, CopenhagenSC2002 16SC2002 16--22 November, Baltimore22 November, Baltimore

La demo IST2002 ha La demo IST2002 ha riscossoriscosso un un notevolenotevole successosuccesso..CentinaiaCentinaia di applicazionidi applicazioni di simulazionedi simulazione didi CMS e ATLAS CMS e ATLAS sonosono state state sottomessesottomesseed ed eseguiteeseguite con con successosuccesso..


14

DataTAG: DataTAG: Application GRID integrationApplication GRID integration

L’attivita’ di WP4 deve tenere conto quello che e’ stato gia’ adottato e usato dagli esperimenti LHC e delle loro necessita’.

Un piano coordinato deve essere stabilito per integrare e svilupUn piano coordinato deve essere stabilito per integrare e sviluppare pare ulteriormente i tools disponibili ulteriormente i tools disponibili ((che vengono sia daiche vengono sia dai Progetti Progetti GRID GRID e e sia dal software degli esperimenti specifici) sia dal software degli esperimenti specifici) in in soluzioni soluzioni comcomuniuni..

Piani individualiPiani individuali sono stati discussi con ogni esperimento ed e’ stata sono stati discussi con ogni esperimento ed e’ stata adottata una strategia comuneadottata una strategia comune. . Necessita’ ad alto livello e aree di Necessita’ ad alto livello e aree di intervento sono state identificate attraverso svariate discussiointervento sono state identificate attraverso svariate discussioni e ni e riunioni con tutti gli esperimenti LHC.riunioni con tutti gli esperimenti LHC.

Esistono testbed operanti Esistono testbed operanti gia’gia’ per CMS e ATLASper CMS e ATLAS. . Anche Anche ALICE ALICE sta sta per seguire.per seguire.


15

DataTAG: DataTAG: ConclusioniConclusioni

L’attivita’ di DataTAG nel campo della interoperabilita’ dei doL’attivita’ di DataTAG nel campo della interoperabilita’ dei domini mini GRID e’ fondamentale.GRID e’ fondamentale.

La sperimentazione in corso viene seguita con particolare interLa sperimentazione in corso viene seguita con particolare interesse a esse a livello internazionale e presa come punto di partenza per il deplivello internazionale e presa come punto di partenza per il deployment loyment del testbed di produzione LCG.del testbed di produzione LCG.

Molte delle attivita’ in corso parte del programma GLUE verrannMolte delle attivita’ in corso parte del programma GLUE verranno o assorbite da LCG in fase di produzione.assorbite da LCG in fase di produzione.

L’INFN, responsabile per il WP4, ha svolto un ottimo lavoro conL’INFN, responsabile per il WP4, ha svolto un ottimo lavoro conrisultati tangibili.risultati tangibili.

Il testbed internazionale oggi operante conta 137 CPUs e circa 2Il testbed internazionale oggi operante conta 137 CPUs e circa 20 siti 0 siti in Europa e America. LCG intende collaborare all’esperimento conin Europa e America. LCG intende collaborare all’esperimento con un un prototipo di tale testbed al CERN e intende partecipare alle proprototipo di tale testbed al CERN e intende partecipare alle produzioni duzioni CMS in programma.CMS in programma.

I progetti di integrazione di GRID EU-US€¦ · Flavia Donno Commissione I, Perugia 11-12 Novembre...

Documents

Transcript of I progetti di integrazione di GRID EU-US€¦ · Flavia Donno Commissione I, Perugia 11-12 Novembre...