A GRID approach for Gravitational Waves Signal Analysis with a Multi- Standard Farm Prototype CHEP...
-
Upload
ludovica-nicoletti -
Category
Documents
-
view
214 -
download
0
Transcript of A GRID approach for Gravitational Waves Signal Analysis with a Multi- Standard Farm Prototype CHEP...
A GRID approach for Gravitational A GRID approach for Gravitational Waves Signal Analysis with a Multi-Waves Signal Analysis with a Multi-
Standard Farm PrototypeStandard Farm Prototype
CHEP 2004 27 September
Dr. Silvio PardiUniversità degli Studi di Napoli “Federico II”
CHEP 2004 27 September
Dr. Silvio PardiUniversità degli Studi di Napoli “Federico II”
OverviewOverview
The detection of gravitational waves (GW) is one of the most interesting fields of the modern physics: it will provide a strong
proof of the general relativity theory, opening in this way a completely new
channel of information on the dynamics and evolution of astrophysical objects .
The detection of gravitational waves (GW) is one of the most interesting fields of the modern physics: it will provide a strong
proof of the general relativity theory, opening in this way a completely new
channel of information on the dynamics and evolution of astrophysical objects .
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
The Virgo ExperimentThe Virgo Experiment
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
FOCUS
Analyses of Data coming from Analyses of Data coming from interferometric gravitational wave detector interferometric gravitational wave detector
Analyses of Data coming from Analyses of Data coming from interferometric gravitational wave detector interferometric gravitational wave detector
signals coming from coalescing binaries
signals coming from neutron stars
signals coming from coalescing binaries
signals coming from neutron stars
The Virgo ExperimentThe Virgo Experiment
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
Computational cost for Matched filter on VIRGO’s data
~300 Gflops for CB
~1 Tflops for NS
we need High Performance Computing
Computational cost for Matched filter on VIRGO’s data
~300 Gflops for CB
~1 Tflops for NS
we need High Performance Computing
TechnologiesTechnologies
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
FOCUS
Hardware & Software Hardware & Software TechnologiesTechnologies
AvailableAvailableHardware & Software Hardware & Software TechnologiesTechnologies
AvailableAvailable
Bewulf Cluster & Parallel computation
GRID COMPUTING
Bewulf Cluster & Parallel computation
GRID COMPUTING
The Virgo Lab of NapoliThe Virgo Lab of Napoli
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
SWITCH GIGABIT
SWITCH
FAST ETHERNET
PC SUPERMICROPENTIM III
PC APPROXEON
HardwareHardware
20 Node Dual Processor
12 with Pentium III 1 Gz8 With Xeon 2.4 Gz – RAM (512 Mb)
20 Node Dual Processor
12 with Pentium III 1 Gz8 With Xeon 2.4 Gz – RAM (512 Mb)
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
Network – Fast Ethernet (100 Mbps)– Gigabit Ethernet (1Gbps)
Network – Fast Ethernet (100 Mbps)– Gigabit Ethernet (1Gbps)
High Troughtput
High Troughtput
Linux FarmLinux Farm
Operativing system Linux RedHat Distribution
Operativing system Linux RedHat Distribution
S.O. stable
library of parallel calculation available
Free
S.O. stable
library of parallel calculation available
FreeDr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
Linux FarmLinux Farm
Every node can work in two possible configuration:
Every node can work in two possible configuration:
Local Cluster (MPI & OpenMosix)
GRID
(Testbed of GRID-it)
Local Cluster (MPI & OpenMosix)
GRID
(Testbed of GRID-it)
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
Diskless ClusterDiskless Cluster
Advantages of a diskless clusterAdvantages of a diskless cluster
Easy ManagementSingle File system Low costs
(Beowulf)
Easy ManagementSingle File system Low costs
(Beowulf)
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
GRID ARCHITECTUREGRID ARCHITECTURE
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
USER INTERFACEUSER INTERFACE
STORAGE ELEMENT
STORAGE ELEMENT
USER FARM
USER FARM
COMPUTING ELEMENT
COMPUTING ELEMENT
GRIGRIDD
GRIGRIDD
vovovovo
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
MASTER
NODE1NODE2
…
…
…
NODE10
NODE11
APPRO MASTER
APPRO NODE 1
……
APPRO NODE 7
SW
ITC
H F
AS
TETH
ER
NET 1
0/1
00
SW
ITC
H
10/1
00
UP
LIN
KSERVERALPHA
SW
ITC
H
GIG
AB
YTE
PUB
CE
UI
SE
LCFGng
GRID ConfigurationGRID Configuration MASTER
NODE1
…
…
NODE10
NODE11
APPRO MASTER
APPRO NODE1
…
APPRO NODE7
LCFGng
SERVER DHCP
DHCPREQUEST
IP ADDRESS +
LOCAL BOOT
…
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
MASTER
NODE1
…
…
NODE11
APP MASTER
APP NODE1
…
APPNODE7
LCFGng
SERVER DHCP
DHCPREQUEST
IP ADDRESS
+NEXT
SERVERMASTER
…
TFTPREQUEST
KERNEL
Local Cluster ConfigurationLocal Cluster Configuration
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
Cosa hanno in comune?Cosa hanno in comune?
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Conclusion Conclusion
Dr. Silvio Pardi – CHEP 2004 – Interlake Switzerland
This double configuration of the cluster’s node This double configuration of the cluster’s node
:GRID and Local FARM, allow to a laboratory with:GRID and Local FARM, allow to a laboratory with
limited resources to participate to the GRID planslimited resources to participate to the GRID plans
without to renounce to a local farm whenwithout to renounce to a local farm when
is necessary.is necessary.
This double configuration of the cluster’s node This double configuration of the cluster’s node
:GRID and Local FARM, allow to a laboratory with:GRID and Local FARM, allow to a laboratory with
limited resources to participate to the GRID planslimited resources to participate to the GRID plans
without to renounce to a local farm whenwithout to renounce to a local farm when
is necessary.is necessary.
THE ENDTHE ENDTHE ENDTHE END
Esigenze principaliEsigenze principali
Elevata potenza di calcolo
Velocità di esecuzione
Disponibilita’ di risorse
Costi Ridotti
Elevata potenza di calcolo
Velocità di esecuzione
Disponibilita’ di risorse
Costi Ridotti
Prof. Guido Russo - FOCUS ON RESEARCH 2003
COME FARE?COME FARE?
Paradigma di risoluzioneParadigma di risoluzione
GRID
CAMPUS GRID
BEOWULF
CALCOLO PARALLELO
GRID
CAMPUS GRID
BEOWULF
CALCOLO PARALLELO
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Livelli
stratificati
che poggiano
l’uno sull’altro
Livelli
stratificati
che poggiano
l’uno sull’altro
GRID
BeowulfCalcolo parallelo
Campus GRID
Cos’e’ GRIDCos’e’ GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Middleware per la gestione delle risorse di calcolo distribuite sul territorio.
Middleware per la gestione delle risorse di calcolo distribuite sul territorio.
GRIDGRID
Perche’ GRID?Perche’ GRID?
La rete GRID, condividendo risorse dislocate, permette di ottenere una potenza di calcolo che difficilmente puo’ essere concentrata in un unico laboratorio
La rete GRID, condividendo risorse dislocate, permette di ottenere una potenza di calcolo che difficilmente puo’ essere concentrata in un unico laboratorio
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Disponibilita’ di risorse
Modularita’Scalabilita’
Disponibilita’ di risorse
Modularita’Scalabilita’
Vantaggi
I servizi GRIDI servizi GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Distributed Computing On-Demand Computing Data-Intensive Computing Collabborative Computing
Distributed Computing On-Demand Computing Data-Intensive Computing Collabborative Computing
Una struttra tipo GRID fornisce servizi indispensabili per la ricerca.
Una struttra tipo GRID fornisce servizi indispensabili per la ricerca.
OsservazioneOsservazione
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Per ottenere prestazioni migliori con GRID occorrono line veloci e
alta disponibilita’ di risorse
Per ottenere prestazioni migliori con GRID occorrono line veloci e
alta disponibilita’ di risorse
ProblemaProblema
Ci sono un Chimico un Fisico e un Matematico in un campusCi sono un Chimico un Fisico e un Matematico in un campus
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Come fanno a condividere le proprie risorse di calcolo?
Come fanno a condividere le proprie risorse di calcolo?Zermelo
Einstein
Mendeleev
Domanda
Campus GRIDCampus GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
I D E A!I D E A!Una rete GRID di CAMPUS
ovvero: Una Virtual Organization tra Dipartimenti
Una rete GRID di CAMPUS ovvero: Una Virtual
Organization tra Dipartimenti
Campus GRIDCampus GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Reti Veloci
Interdisciplinarieta’
Test e sviluppo GRID
Reti Veloci
Interdisciplinarieta’
Test e sviluppo GRID
QUALI SONO I VANTAGGI?QUALI SONO I VANTAGGI?
Campus GRIDCampus GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
CDS Dip di Chimica Dip di Fisica Dip di Matematica INFN
CDS Dip di Chimica Dip di Fisica Dip di Matematica INFN
PARTECIPANTIPARTECIPANTI
Campus GRIDCampus GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Cablaggio Stellare Dorsale in Fibra ottica monomodale
Cablaggio Stellare Dorsale in Fibra ottica monomodale
Specifiche della ReteSpecifiche della Rete
Matematica
CDSCDS
Chimica
FisicaINFN
Banda
1 Gbit
Banda
1 Gbit
Piantina del CampusPiantina del Campus
Prof. Guido Russo - FOCUS ON RESEARCH 2003
CDS
Dip di Chimica
Dip di Fisica /INFNDip di Matematica
Fibra ottica
CDS
Dip di Chimica
Dip di Fisica /INFNDip di Matematica
Fibra ottica
Campus Grid
Di Monte Sant’Angelo
Campus Grid
Di Monte Sant’Angelo
Campus GRIDCampus GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
User Interfacemacchina a cui collegarsi per mandare i job sulla GRID
Information Indexservizio che contiene le informazioni sulle risorse della GRID
Resource Brokermacchina che distribuisce e monitorizza i job sulle risorse disponibili sulla base delle informazioni ricevute dal Information Index
Monitoring e Supportmacchina che monitorizza la funzionalita’ dei nodi e notifica eventuali anomalie
User Interfacemacchina a cui collegarsi per mandare i job sulla GRID
Information Indexservizio che contiene le informazioni sulle risorse della GRID
Resource Brokermacchina che distribuisce e monitorizza i job sulle risorse disponibili sulla base delle informazioni ricevute dal Information Index
Monitoring e Supportmacchina che monitorizza la funzionalita’ dei nodi e notifica eventuali anomalie
Macchine e servizziMacchine e servizzi
Campus GRIDCampus GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Richiesta sottomissioni jobRichiesta sottomissioni job
User InterfaceUser Interface Resource BrokerResource Broker Monitor & SuppotMonitor & SuppotInformation IndexInformation Index
User FarmUser FarmUser FarmUser Farm
User FarmUser Farm
CICLO DI VITA DI UN JOB SOTTOMESSO SULLA GRID
CICLO DI VITA DI UN JOB SOTTOMESSO SULLA GRID
Risorse de Campus GRIDRisorse de Campus GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Cosa c’e’ sotto la sovrastruttura di Campus GRID?
Cosa c’e’ sotto la sovrastruttura di Campus GRID?
Macchine SMPMolto veloci ma limitatamente scalabili
Cluster BEOWULFLa soluzione migliore?
Macchine SMPMolto veloci ma limitatamente scalabili
Cluster BEOWULFLa soluzione migliore?
Cluster BeowulfCluster Beowulf
Cluster di PC costituito con materiale facilmente reperibile sul mercato.
Cluster di PC costituito con materiale facilmente reperibile sul mercato.
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Bassi costi di implementazione
Alte prestazioniVersatilita’Scalabilita’
Bassi costi di implementazione
Alte prestazioniVersatilita’Scalabilita’
QUALITA’ PRINCIPALI
Network nei BeowulfNetwork nei Beowulf
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Nei cluster Beowulf si prediligono schede di rete
performati ma di basso costo
Nei cluster Beowulf si prediligono schede di rete
performati ma di basso costo
Fast EthernetGigabit Ethernet
Fast EthernetGigabit Ethernet
High Troughtput
High Troughtput
ProblemaProblema
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Il TCP/IP satura il
90% della banda teorica
Il TCP/IP satura il
90% della banda teorica
ProblemaProblema
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Come si fanno a configurare ed amministrare
semplicemente i nodi di un cluster?
Come si fanno a configurare ed amministrare
semplicemente i nodi di un cluster?
IDEA!IDEA!
Tecnologie di Calcolo ParalleloTecnologie di Calcolo Parallelo
Obiettivo: Bilanciamento del carico di lavoro sui nodi.
Obiettivo: Bilanciamento del carico di lavoro sui nodi.
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Distribuzione statica dei processi con MPI
Bilanciamento dinamico del carico dei nodi con OpenMosix
Distribuzione statica dei processi con MPI
Bilanciamento dinamico del carico dei nodi con OpenMosix
PRINCIPALI TECNICHE
Open Mosix per BeowulfOpen Mosix per Beowulf
Open Mosix e’ un estensione del kernel di linux che permette di far migrare in maniera trasparente i processi sui nodi disponibili per garantire un dinamico Load-Balancing
Open Mosix e’ un estensione del kernel di linux che permette di far migrare in maniera trasparente i processi sui nodi disponibili per garantire un dinamico Load-Balancing
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Conclusioni BeowulfConclusioni Beowulf
Prof. Guido Russo - FOCUS ON RESEARCH 2003
BEOWULFBEOWULF
OPENMOSIXOPENMOSIX
DISKLESSDISKLESS
S.S.I. (Single System Image)S.S.I. (Single System Image)
TIRANDO LE SOMMETIRANDO LE SOMME
S.S.I.S.S.I.
Requisiti richiestiRequisiti richiesti
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Le tecniche utilizzate per l’estrazione del segnale Le tecniche utilizzate per l’estrazione del segnale gravitazionale dal fondo di rumore strumentale gravitazionale dal fondo di rumore strumentale
richiedonorichiedono
Le tecniche utilizzate per l’estrazione del segnale Le tecniche utilizzate per l’estrazione del segnale gravitazionale dal fondo di rumore strumentale gravitazionale dal fondo di rumore strumentale
richiedonorichiedono
300 Gflops per le B300 Gflops per le Binarie inarie CCoalescentioalescenti1 Tflop per Stelle di Neutroni1 Tflop per Stelle di Neutroni
300 Gflops per le B300 Gflops per le Binarie inarie CCoalescentioalescenti1 Tflop per Stelle di Neutroni1 Tflop per Stelle di Neutroni
Necessariearchietture
di calcolo
Parallelo
Necessariearchietture
di calcolo
Parallelo
Virgo & GRIDVirgo & GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Per frontegiare un tale costo computazionale il Per frontegiare un tale costo computazionale il lab Virgo di Napoli si avvale dilab Virgo di Napoli si avvale di
Per frontegiare un tale costo computazionale il Per frontegiare un tale costo computazionale il lab Virgo di Napoli si avvale dilab Virgo di Napoli si avvale di
Cluster Beowulf localeCluster Beowulf locale (cluster diskless di pc)(cluster diskless di pc)
GRIDGRID (il Virgo partecipa al testbed di EDG)(il Virgo partecipa al testbed di EDG)
Cluster Beowulf localeCluster Beowulf locale (cluster diskless di pc)(cluster diskless di pc)
GRIDGRID (il Virgo partecipa al testbed di EDG)(il Virgo partecipa al testbed di EDG)
MultistandardMultistandard FarmFarm
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Il Beowulf di Virgo e’ un esempio di Multistandard Farm capace di lavorare su Grid ed In locale con MPI o OpenMosix.
Il Beowulf di Virgo e’ un esempio di Multistandard Farm capace di lavorare su Grid ed In locale con MPI o OpenMosix.
CARATTERISTICHE
Alte prestazioniFlessibilita’
Alte prestazioniFlessibilita’
Campus GRIDCampus GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
Il cluster di Virgo e’ un esempio di risorsa Il cluster di Virgo e’ un esempio di risorsa utilizabile nella rete di campusutilizabile nella rete di campus
Il cluster di Virgo e’ un esempio di risorsa Il cluster di Virgo e’ un esempio di risorsa utilizabile nella rete di campusutilizabile nella rete di campus
COS’E’ LA SINERGIA?COS’E’ LA SINERGIA?COS’E’ LA SINERGIA?COS’E’ LA SINERGIA?
Campus GRID & BeowulfCampus GRID & Beowulf
Prof. Guido Russo - FOCUS ON RESEARCH 2003
E’ E’ integrazione di varie attività integrazione di varie attività produttive e organizzative allo produttive e organizzative allo scopo di raggiungere una maggiore scopo di raggiungere una maggiore efficienza e risultati più vantaggiosi efficienza e risultati più vantaggiosi
E’ E’ integrazione di varie attività integrazione di varie attività produttive e organizzative allo produttive e organizzative allo scopo di raggiungere una maggiore scopo di raggiungere una maggiore efficienza e risultati più vantaggiosi efficienza e risultati più vantaggiosi
====CAMPUS GRIDCAMPUS GRIDCAMPUS GRIDCAMPUS GRID
Prof. Guido Russo - FOCUS ON RESEARCH 2003
FINEFINEFINEFINE