1

STATO DELL’INTEGRAZIONE TRA I 4 PROGETTI AVVISO 1575/2004

Riunione del Comitato Tecnico sull’Interoperabilità MUR, 28/02/2008

S.Pardi

2

STATO INTEROPERABILITA’

CRESCO HA COMPLETATO L’INSTALLAZIONE DEI SERVIZI CORE DI PRIMO LIVELLO

ESEGUITA L’ABILITAZIONE DELLA VO CRESCO SU TUTTI I PROGETTI

ESEGUITI I PRIMI TESTI DI FUNZIONAMENTO

3

GARR

PI2S2

GARR Altri Enti e realtà

Strategia di Interoperabilità

COMPLETATA

4

SOMMARIO 1. TAG DI RUNTIME 2. JOB QUEUE 3. SERVIZI COLLECTIVE CENTRALI E DISTRIBUITI 4. SERVIZI DI MONITORAGGIO 5. ISTALLAZIONE SOFTWARE APPLICATIVO 6. INTERFACCE E PROTOCOLLI PER LO STORAGE 7. ACCOUNTING 8. GESTIONE DOWNTIME E SISTEMA DI TICKET 9. SERVICE LEVEL AGREEMENT 10. ABILITAZIONE DELLE VO COMUNI 11. INTEROPERABILITA’ CON ALTRE INFRASTRUTTURE

Documento Tecnico Operativo 5.0

5

Documento Tecnico Operativo 5.0

SOMMARIO 1. TAG DI RUNTIME 2. JOB QUEUE 3. SERVIZI COLLECTIVE CENTRALI E DISTRIBUITI 4. SERVIZI DI MONITORAGGIO 5. ISTALLAZIONE SOFTWARE APPLICATIVO 6. INTERFACCE E PROTOCOLLI PER LO STORAGE 7. ACCOUNTING 8. GESTIONE DOWNTIME E SISTEMA DI TICKET 9. SERVICE LEVEL AGREEMENT 10. ABILITAZIONE DELLE VO COMUNI 11. INTEROPERABILITA’ CON ALTRE INFRASTRUTTURE

OK

6

TAG SPECIFICA

MIDDLEWARE

LCG-X_Y_Z Supporta versione del middleware LCG-X_Y_Z

GLITE-X_Y_Z Supporta versione del middleware GLITE-X_Y_Z

ANAGRAFICA

CITTA’ (XXXX) Città dove è situato il sito

PROJECT-NAME (XXXX) Nome del progetto

SITE-NAME (XXXX) Nome del sito

LIBRERIE E SOFTWARE

MPICH Libreria MPICH

MPICH2 Libreria MPICH versione 2

MPI_HOME_SHARED Architettura MPI con directory Shared tra i worker node

MPI_HOME_NOTSHARED Architettura MPI con directory NON Shared tra i worker node

IDL-X.Y Supporto per IDL versione X.Y

ABAQUS-X.Y Supporto per ABAQUS versione X.Y

Sono stati definiti i TAG che descrivono - secondo gli standard europei che si è deciso di adottare - le caratteristiche delle risorse hardware e software.

TAG DI RUNTIMETAG DI RUNTIME

7

Nome Coda TIPO CPUTIME (minuti) WALLTIME (minuti) PRIORITY

jobmanager-<lsf/pbs>-poncert Coda di Certificazione 2880 4320 Prioritaria

jobmanager-<lsf/pbs>-crescocert Coda di Certificazione 2880 4320 Prioritaria

jobmanager-<lsf/pbs>-cybrcert Coda di Certificazione 2880 4320 Prioritaria

jobmanager-<lsf/pbs>-pi2s2cert Coda di Certificazione 2880 4320 Prioritaria

jobmanager-<lsf/pbs>-scopecert Coda di Certificazione 2880 4320 Prioritaria

jobmanager-<lsf/pbs>-cresco_short

Coda Job Cresco 15 120 Alta

jobmanager-<lsf/pbs>-cresco_long

Coda Job Cresco 720 1440 Media

jobmanager-<lsf/pbs>-cresco_infinite

Coda Job Cresco 2880 4320 Bassa

jobmanager-<lsf/pbs>-cybr_short Coda Job Crybersar 15 120 Alta

jobmanager-<lsf/pbs>-cybr_long Coda Job Crybersar 720 1440 Media

jobmanager-<lsf/pbs>-cybr_infinite

Coda Job Crybersar 2880 4320 Bassa

jobmanager-<lsf/pbs>-pi2s2_short Coda Job PI2S2 15 120 Alta

jobmanager-<lsf/pbs>-pi2s2_long Coda Job PI2S2 720 1440 Media

jobmanager-<lsf/pbs>-pi2s2_infinite

Coda Job PI2S2 2880 4320 Bassa

Tutti i progetti implementano tre code job per ogni progetto, short, long e infinite più la coda poncert (per la certificazione dei sw) con differenti policies di CPUTIME e WALLTIME e differenti priorità.

JOB QUEUEJOB QUEUE

8

E’ stata adottata la seguente organizzazione:

Servizi distribuiti:

VOMS, BDII, RB/WMS, CE, SE, WN, UI

LFC, Ticketing

Servizi centralizzati:

Monitoring, Accounting

SERVIZI “COLLECTIVE” CENTRALI E DISTRIBUITISERVIZI “COLLECTIVE” CENTRALI E DISTRIBUITI

9

I servizi di monitoraggio sono stati implementati in maniera centrale e suddivisi tra i progetti in modo da avere molti tools attivi ma senza una eccessiva ridondanza che produrrebbe un eccessivo traffico di interrogazioni.

Web LDAP Browser (in ogni sito) GridICE (centralizzato presso SCoPE) GStat (centralizzato presso il server goc.grid.sinica.edu.tw ) SAM +VO poncert (centralizzato presso CYBERSAR) Real-Time Monitoring (centralizzato presso PI2S2)

SERVIZI DI MONITORAGGIOSERVIZI DI MONITORAGGIO

10

Monitoraggio

GSTAT

SAM – CYBERSAR https://sam-cybr.ca.infn.it/sam/sam.py

DOWN-TIME - PI2S2http://trigrid-advices.trigrid.it/support/calendar/

GRIDICEhttp://gridice.scope.unina.it

11

Soluzione tecnica:

Realizzare tool-kit di applicazione Pubblicare nella variabile di RUNTIME Installare il software tramite utenti SGM (Software

Grid Manager )

ISTALLAZIONE SOFTWARE APPLICATIVOISTALLAZIONE SOFTWARE APPLICATIVO

12

Protocolli di trasferimentoPer mantenere il sistema di autenticazione basato sui certificati, i progetti abiliteranno il protocollo di trasferimento griftp per il trasferimento dati.

Interfacce SRM (Storage Resource Manager) e configurazioniPer garantire piena compatibilità ed interoperabilità con le altre strutture internazionali gli Storage Element impiegati per l’interoperabilità dai progetti utilizzeranno interfaccia SRM supportando srmv1.1 e srmv2.2.

Ogni progetto abiliterà sugli storage element impegnati nell’interoperabilità una quantità di spazio disco da definire creando le seguenti aree logiche:

/home/cresco, /home/cyersar, /home/pi2s2, /home/scope

INTERFACCE E PROTOCOLLI PER LO STORAGEINTERFACCE E PROTOCOLLI PER LO STORAGE

13

DGAS (Distributed Grid Accounting System )Si utilizzerà per le informazioni di accounting il sistema DGAS (ref. http://www.to.infn.it/grid/accounting/main.html) installando il sensore DGAS Gianduia sui Computing Element.

HLR (Home Location Register )Ogni sito installerà un HLR_RESOURCE ed un HLR_USER Server sul quale verranno registrate tutte le risorse disponibili per l’interoperabilità, in termini di code job.

Sarà possibile individuare un HLR di secondo livello per raccogliere le informazioni dei differenti progetti in un unico punto, utilizzando il tool grafico HLR MON.

ACCOUNTINGACCOUNTING

14

Ogni progetto utilizzerà il proprio sistema di ticketing locale.

Per la gestione dei ticket interprogetto, se un utente del progetto X riscontra problemi sul sito del progetto Y, può aprire una segnalazione direttamente sul sistema di ticketing del progetto Y.

I sistemi di ticketing devono prevedere almeno 3 aree per la suddivisione dei ticket:

SITE – per i problemi tecnici di installazione VO – per le questioni relative alla singola virtual organization, certificazioni ecc. APPLICATION – per il supporto delle applicazioni.

GESTIONE DOWNTIME E SISTEMA DI TICKETGESTIONE DOWNTIME E SISTEMA DI TICKET

15

SCOPE TICKET

TICKET PI2S2TICKET-CYBERSARTICKET CRESCO

16

E’ stato preparato un documento per definire il livello di servizi che i progetti si impegnano a garantire.

Ci si basa sull’esperienza del Regional Operation Center (ROC) italiano di EGEE.

SERVICE LEVEL AGREEMENTSERVICE LEVEL AGREEMENT

17

E’ in corso la discussionecorso la discussione dei seguenti punti principali:

DURATA DELL’AGREEMENT RESPONSABILITA’ SUPPORTO DI SECONDO LIVELLO HARDWARE E CRITERI DI CONNETTIVITA’ DESCRIZONE DEI SERVIZI MINIMI OFFERTI

(Numero di CPU e di spazio disco) SERVICE HOURS DOWNTIME SUPPORTO VO

18

Ogni Progetto coinvolto nell’infrastruttura interoperabile dovrà :Periodo di validità 6 mesi

Fornire risorse di calcolo, storage e servizi:

numero di CPU pari al 25% delle forniture del progetto avviso 1575 in best-effort.

………………………

Garantire man power sufficiente per l’interoperabilità:

almeno 2 persone, per un totale minimo di 1 FTE Gestire efficacemente le risorse del sito:

a) effettuare gli aggiornamenti relativi al software applicativo per le applicazioni di interoperabilità.

b) modificare le configurazioni coordinandosi durante le riunioni

telefoniche.

Prendere in carico e aggiornare i ticket relativi all’interoperabilità: tempo massimo di risposta: 48 ore dal lunedì al venerdì.

Memorandum of Understanding Progetti Avviso 1575Memorandum of Understanding Progetti Avviso 1575Definizione del Service Level Agreement Definizione del Service Level Agreement

per l’interoperabilità tra i quattro progetti dell’Avviso 1575per l’interoperabilità tra i quattro progetti dell’Avviso 1575(IN DISCUSSIONE)(IN DISCUSSIONE)

19

Monitorare “proattivamente” il sito, controllando periodicamente lo stato

delle risorse e dei servizi mediante tools di monitoraggio concordati:

GridICE, Gstat, SFT, ecc.

Garantire continuità al supporto ed alla gestione del sito; durante i periodi

unattended, si dovrà mettere in down-time il sito chiudendo le code.

Garantire la partecipazione dei tecnici operativi dell’ interoperabilità alle

phone conference quindicinali.

Compilare i pre-report settimanali: entro il venerdì.

Supportare le VO di test e controllo (coda poncert) con priorità maggiore

rispetto alle altre VO.

Questo MoU dovrà essere sottoscritto dal responsabile del progetto e potrà essere aggiornato in base ai feedback ottenuti durante la sperimentazione.

20

E’ attualmente in corso un’indagine per individuare aree applicative di interesse comune ai 4 progetti con l’obiettivo di creare VO tematiche trasversali.

Tali VO costituiranno un valore aggiunto per l’integrazione e la coesione tra le infrastrutture nascenti ed avranno, tra le altre attività, l’obiettivo di individuare e manutenere il software applicativo di interesse specifico.

Le soluzioni tecniche fin ora adottate sono adeguate per realizzare l’e-infrastruttura dell’Italia meridionale e per l’integrazione nell’

e-infrastruttura Grid italiana ed europea.

ABILITAZIONE DELLE VO COMUNIABILITAZIONE DELLE VO COMUNI

INTEROPERABILITA’ CON ALTRE INFRASTRUTTUREINTEROPERABILITA’ CON ALTRE INFRASTRUTTURE

21

ATTUAZIONEATTUAZIONE

Proposta:

Far partire il Service Level Agreement:

Far partire le riunioni telefoniche tecniche operative a partire da Marzo.

Far partire la gestione dei ticket entro fine Marzo.

Aggiungere le risorse man mano che entrano a regime.

22

ATTUAZIONEATTUAZIONE

CALENDARIO RIUNIONI TELEFONICHE

14 Marzo28 Marzo11 Aprile24 Aprile2 Maggio16 Maggio

23

Tempistica

01/09/07 25/10/07

AZIONI 1-4 NEI SITI PROVVISTIDI SERVIZI COLLETTIVI

IMPLEMENTAZIONE DEI SERVIZI COLLETTIVI NEI SITI ANCORA SPROVVISTI

INIZIO DEL TESTBED

INTEGRAZIONE DEI 4PON

INTEGRAZIONE DEI 4PON

TESTBED SU TUTTA LA NUOVA GRIGLIA

30/01/200820/12/0729/11/07

SPECIFICHE DEI SERVIZIDI PRIMO LIVELLO

SPECIFICHE SERVIZI DI SECONDO LIVELLO E SERVICES LEVEL AGREEMENT

24/01/08

29/02/2008

24

Tempistica

01/09/07 25/10/07

AZIONI 1-4 NEI SITI PROVVISTIDI SERVIZI COLLETTIVI

IMPLEMENTAZIONE DEI SERVIZI COLLETTIVI NEI SITI ANCORA SPROVVISTI

INIZIO DEL TESTBED

INTEGRAZIONE DEI 4PON

INTEGRAZIONE DEI 4PON

TESTBED SU TUTTA LA NUOVA GRIGLIA

30/01/200820/12/0729/11/07

SPECIFICHE DEI SERVIZIDI PRIMO LIVELLO

SPECIFICHE SERVIZI DI SECONDO LIVELLO E SERVICES LEVEL AGREEMENT

24/01/08 28/02/08

29/02/2008