Korištenje grid okoline CRO NGI - unizg.hr...Ciljevi •Ciljevi •opis grid okoline i suvremenih...
Transcript of Korištenje grid okoline CRO NGI - unizg.hr...Ciljevi •Ciljevi •opis grid okoline i suvremenih...
Korištenje grid okoline CRO NGI
Emir Imamagić
Sveučilišni Računski Centar (Srce)
Sadržaj
Korištenje grid okoline CRO NGI
Ciljevi
• Ciljevi• opis grid okoline i suvremenih gridova
• uvod u osnovne funkcionalnosti grida
• upravljanje poslovima i podacima na gridu
• Što nije pokriveno• uspostava i održavanje grida
• programiranje za grid okoline
Korištenje grid okoline CRO NGI
Sadržaj
• Uvod• Grid
• Grid posrednički sustavi
• Usporedba klastera i grida
• Aplikacije
• CRO NGI• Uvod
• Arhitektura
• Sigurnost• Uvod
• Digitalni certifikati
Korištenje grid okoline CRO NGI
Sadržaj
• Upravljanje poslovima• HTCondor-G
• Nadzor• Ganglia
• GridSAFE
• EGI
Korištenje grid okoline CRO NGI
Uvod
Korištenje grid okoline CRO NGI
Grid
• “složeni računalni sustav koji omogućava ujedinjavanje proizvoljnih računalnih resursa (tzv. grid sjedišta) povezanih globalnom mrežom Internet.”
• Analogija s električnom mrežom (engl. grid)
• računalna moć – usluga poput struje, plina, vode…
Korištenje grid okoline CRO NGI
Grid
• Resursi• zemljopisno raspodijeljeni, heterogeni
• računalni resursi (procesorska moć, spremište)
• ostali resursi (instrumenti, senzori)
• Ujedinjavanje resursa• stvaranje privida
superračunala
• sigurno, koordinirano, kontrolirano
Korištenje grid okoline CRO NGI
Grid
• Virtualne organizacije• organizacije, osobe, resursi s istim interesima
• dinamične u trajanju, broju članova, ulogama članova
• npr. astrofizika, računalna kemija,biomedicina, itd.
Korištenje grid okoline CRO NGI
Grid - stvarno stanje
• Dijeljenje postojećih računalnih resursa s ciljem boljeg ukupnog iskorištenja
• izbjegavanje „praznog hoda” računalne opreme
• Korištenje standardnih rješenja za ključne funkcionalnosti• izbjegavanje specifičnih rješenja za pojedine institucije (npr.
autentikacijski mehanizmi)
• Prvenstveno namijenjen aplikacijama iz područja visoke propusnosti
• engl. High Throughput Computing HTC
• zbog različite učinkovitosti i pouzdanosti pojedinih resursa
Korištenje grid okoline CRO NGI
Arhitektura grida
• Grid sjedišta• zemljopisno raspodijeljene institucije
• računalni resursi (klasteri)
• podatkovni elementi
• Središnji servisi• sigurnosni servisi
• nadzorni servisi
• raspoređivanje i upravljanje izvođenjem poslova
• upravljanje podacima
• pristupni čvorovi
Korištenje grid okoline CRO NGI
Grid posrednički sustavi
• Engl. grid middleware
• Programska potpora koja omogućava rad grida
• Funkcionalnosti• sigurnosni mehanizmi
• nadzor i dohvat informacija
• upravljanje podacima
• upravljanje poslovima
• Uspostavlja se na postojeće sustave• računalni klasteri
• spremišni sustavi
Korištenje grid okoline CRO NGI
Usporedba klastera i grida
Komponenta Klaster Grid
Okolina - resursi usko povezani
(lokalna mreža)
- centralizirano upravljanje
- dedicirani resursi
- jedinstvena politika korištenja
- raspodijeljeni resursi
- nema jedinstvene točke
upravljanja
- resursi nisu dedicirani
- različite politike korištenja
Sigurnost otvaranje računa na
klasteru
digitalni i zastupnički
certifikati, virtualne
organizacije
Korištenje grid okoline CRO NGI
Usporedba klastera i grida
Komponenta Klaster Grid
Upravljanje poslovima jedinstven i centraliziran
sustav za upravljanje
poslovima (npr. Torque i
SGE)
nema potpunog rješenja,
primjeri: HTCondor-G,
GridWay, gLite WMS, GRAM
Upravljanje podacima raspodijeljeni datotečni
sustav (npr. NFS,
BeeGFS), scratch
direktorij na čvorovima
GridFTP, gLite alati
Pristup SSH pristupni čvorovi (UI), gridportali, osobna računala
Korištenje grid okoline CRO NGI
Grid aplikacije
• Velike paralelne aplikacije• veliku količinu računalne moći (nedostupna na pojedinim resursima)
• jako ili slabo povezane paralelne aplikacije
• raspodijeljene interaktivne simulacije, modeliranje klime planeta, astrofizika
• Podatkovno zahtjevne aplikacije• pristup i povezivanje velike količine raspodijeljenih podataka
• data mining, fizika visokih energija, astronomija, biomedicina
• Virtualni laboratoriji• sustavi za surađivanje
• pristup udaljenim instrumentima (mikroskopi, teleskopi, …)
Korištenje grid okoline CRO NGI
CERN & LHC
• Conseil Européen pour la Recherche Nucléaire• najveći svjetski institut za fiziku visokih energija
• LHC (engl. Large Hadron Collider)• najveći znanstveni instrument
• 10PB podataka godišnje
• WLCG• Worldwide
LHC Computing Grid
Korištenje grid okoline CRO NGI
CRO NGI
Korištenje grid okoline CRO NGI
CRO NGI
• Hrvatska nacionalna grid infrastruktura
• Dostupna za znanstvenu i akademsku zajednicu
Korištenje grid okoline CRO NGI
Trenutačno stanje - CRO NGI
Sjedište Model Broj čvorova CPU jezgri Spremište Klasterskisustav
UNIOS-ETFOS DELL PowerEdgeM600 Blade
16 128 5,5 TB (scratch)
SGE
UNIRI-GRADRI DELL PowerEdgeM600 Blade
16 128 880 GB(scratch)
SGE
IRB HP ProLiantSL230s Gen8
13 260 5,5 TB (scratch)
SGE
UNIZG-Srce IBM NeXtScalenx360 M5
12 336 200 TB SGE
HP ProLiantSL250s
16 208
Sun Fire x4600 11 352
Ukupno 84 1412 200 TB
Korištenje grid okoline CRO NGI
Arhitektura - sjedište Srce
Korištenje grid okoline CRO NGI
Arhitektura - ostala sjedišta
Korištenje grid okoline CRO NGI
Čvorovi
• UI (User Interface)• grid pristupno računalo (Srce)
• grid klijenti• izvođenje poslova (HTCondor-G)
• CE (Computing Element)• računalni klasteri – sva grid sjedišta
• grid servisi• dohvat informacija (BDII)
• izvođenje poslova (GRAM)
• prijenos podataka (GridFTP)
• sustav za nadzor Ganglia
Korištenje grid okoline CRO NGI
Čvorovi
• SE (Storage Element)• grid servisi
• prijenos podataka (GridFTP)
• MyProxy• servis MyProxy (Srce)
• IS (Information System)• središnji nadzorni poslužitelj (Srce)
• grid servisi• Ganglia
• Nagios
• GridSAFE
Korištenje grid okoline CRO NGI
Prijava
• Sustav za prijavu• bez papirnatih formulara
• https://www.cro-ngi.hr/prijava
• autentikacija putem AAI@EduHr identiteta
• Detaljne upute• http://wiki.cro-ngi.hr/index.php/Registracija
Korištenje grid okoline CRO NGI
Sigurnost
Korištenje grid okoline CRO NGI
Osnova sigurnosti
• X509 digitalni certifikati• poslužiteljski i korisnički certifikati
• Svi grid posrednički sustavi zasnovani na certifikatima
• International Grid Trust Federation (IGTF)• EUGridPMA, APGridPMA, TAGPMA
• certifikati Certifikacijskih autoriteta (CA) članova prihvaćeni na većini implementacija gridova
• SRCE CA – zadužen za korisnike iz Hrvatske
Korištenje grid okoline CRO NGI
SRCE CA
• Certifikacijski autoritet za Republiku Hrvatsku
• Član EUGridPMA od 2006. godine
• Koristi sustav OpenCA
• Zahtjev se podnosi putem web sučelja• integrirano s AAI@EduHr
• Životni vijek certifikata 13 mjeseci• prije isteka potrebno napraviti obnovu
• http://ra.srce.hr
Korištenje grid okoline CRO NGI
Digitalni certifikati
• Bitne komponente• puno ime (Distinguished name DN)
/C=HR/O=edu/OU=srce/CN=Pero PericCN=Pero Peric,OU=srce,O=edu,C=HR
• Common name (CN)Pero Peric
• životni vijek certifikata (Not After)Aug 2 18:00:21 2007 GMT
• puno ime CA /C=HR/O=edu/OU=srce/CN=SRCE CA CN=SRCE CA,OU=srce,O=edu,C=HR
Korištenje grid okoline CRO NGI
Grid certifikati
• engl. Grid Security Infrastructure
• Zastupnički certifikati• kratkoročni certifikati (12 sati)
• stvaraju se korisničkim certifikatom
• Svojstva• smanjene ovlasti
• privatni ključ nije zaštićen lozinkom
• Funkcionalnosti• SSO (engl. Single Sign On)
• delegacija
Korištenje grid okoline CRO NGI
Instalacija korisničkog certifikata
• Obavlja se na UI čvoru
• Pripremljena skripta
• unijeti password odabran prilikom spremanja certifikata
• Lokacije certifikata
Korištenje grid okoline CRO NGI
$ convertCert.sh <cert.p12>
$HOME/.globus/usercert.pem - certifikat
$HOME/.globus/userkey.pem - ključ
SRCE CA potpisana izjava
• Nakon izdavanja svakog novog certifikata potrebno poslati potpisanu izjavu
• Potvrda certifikata na pristupnom računalu
• preduvjet instalacija certifikata u Globus formatu (convertCert.sh)
• upisati lozinku unesenu prilikom instalacije certifikata
Korištenje grid okoline CRO NGI
$ cverify.pl
Zastupnički certifikat
• Stvaranje = ulazak na grid
• unijeti lozinku
• zastupnički certifikat se sprema u datoteku /tmp/x509_up<userid>
• Provjera stvaranja
• preporuča se prilikom prvog stvaranja zastupničkog certifikata
• korisno za rješavanje problema sa zastupničkim certifikatom
Korištenje grid okoline CRO NGI
$ grid-proxy-init
$ grid-proxy-init –verify -debug
Zastupnički certifikat
• Provjera valjanosti certifikata
• prva provjera u slučaju problema s prijenosom datoteka ili podnošenja poslova
• Brisanje = odjava s grida
Korištenje grid okoline CRO NGI
$ grid-proxy-info
$ grid-proxy-destroy
Automatsko osvježavanje
• Periodičko osvježavanje zastupničkog certifikata• dodatna komponenta na CRO NGI-ju
• Prijava zastupničkog certifikata
• unijeti lozinku korisničkog certifikata
• osvježavanje će se obavljati 7 dana
• Dodatne mogućnosti
• osvježavanje će se obavljati definirani broj dana
• 24h prije isteka korisnik će primiti email obavijest
Korištenje grid okoline CRO NGI
$ myproxy-manage-create
$ myproxy-manage-create –m –d <dana>
Automatsko osvježavanje
• Naknadno produljenje
• Provjera trajanja postojećeg certifikata
• Prekid osvježavanja
• preporuča se izvesti ukoliko nema aktivnih poslova
Korištenje grid okoline CRO NGI
$ myproxy-manage-create –m –d <dana>
$ myproxy-manage-destroy
$ myproxy-info
Upravljanje poslovima
Korištenje grid okoline CRO NGI
Grid raspoređivanje poslova
• Korisnik opisuje i podnosi posao
• Raspoređivač dohvaća informacije od sustava za nadzor
• Raspoređivač odabire resurse
• Posao se izvodi korištenjem posredničkih sustava
Korištenje grid okoline CRO NGI
Izazovi
• Osvježavanje zastupničkih certifikata• dugotrajni poslovi i dugotrajno čekanje u redu poslova
• na CRO NGI riješeno s myproxy-manage-create
• Prijenos ulaznih i izlaznih podataka na CE čvorove• u opisu posla navode se sve ulazne i izlazne podataka
• moguće koristiti GridFTP za pripremu podataka
• Pouzdane informacije o dostupnim resursima• koriste se sustavi za nadzor (npr. BDII)
• Veličina i lokacija ulaznih i izlaznih podataka• raspoređivanje prema podacima (engl. data-aware scheduling)
Korištenje grid okoline CRO NGI
HTCondor-G
• Komponenta sustava HTCondor
• Namijenjena za podnošenje poslova na grid• podržani posrednički sustavi ARC, UNICORE, Globus, gLite
• Red poslova• podnošenje i upravljanje poslovima slično računalnim klasterima
• Nije raspoređivač poslova• potrebno je navesti adresu sjedišta na koje se podnosi posao
Korištenje grid okoline CRO NGI
Trenutačno stanje - CRO NGI
Sjedište Adresa CE-a Brojčvorova
CPU jezgri
Spremište Klasterskisustav
MPI okolina
UNIOS-ETFOS ce.etfos.cro-ngi.hr 16 128 5,5 TB (scratch)
SGE MPICH2
UNIRI-GRADRI ce.gradri.cro-ngi.hr 16 128 880 GB(scratch)
SGE MPICH2
IRB ce.irb.cro-ngi.hr 13 260 5,5 TB (scratch)
SGE MPICH2
UNIZG-Srce ce.srce.cro-ngi.hr 39 896 200 TB SGE MVAPICH2
Ukupno 84 1412 200 TB
Korištenje grid okoline CRO NGI
Opisivanje poslova
• Što se treba izvesti? S kojim argumentima?
• Koji podaci su potrebni za izvođenje poslova?
• Gdje spremati privremene podatke i rezultate?
• Gdje je radni direktorij na čvorovima?
• Koliko procesora posao zahtjeva? Koju arhitekturu procesora?
• Koliko memorije, prostora na disku, vremena je potrebno?
Korištenje grid okoline CRO NGI
Opisivanje poslova
• Jezik Classads
• Nije osjetljiv na velika i mala slova
• Napomena: • jezik Classads ne podržava pisanje programa ljuske u opisu posla
• program ljuske se može navesti kao izvršna datoteka
Korištenje grid okoline CRO NGI
attribute = value
attribute = value
attribute = value
attribute = value
Izvršna datoteka
• Definicija izvršne datoteke
• Podrazumijevano HTCondor prenosi lokalnu datoteku• ne mora biti puna putanja
• Za korištenje datoteke na sjedištu navesti
• u ovom slučaju se preporuča koristiti apsolutnu putanju
Korištenje grid okoline CRO NGI
executable = path
transfer_executable = false
Argumenti
• Argumenti aplikacije
• Oznaka “ se mora posebno navesti
Korištenje grid okoline CRO NGI
arguments = arg1 arg2 arg3
arguments = arg1 \"arg 2\" 'arg 3'
Standardni ulaz, izlaz i greška
• Standardni ulaz
• Standardni izlaz
• Standardna greška
• Izlaz i greška se prepisuju• razlika u odnosu na SGE
Korištenje grid okoline CRO NGI
input = path
output = path
error = path
Prijenos datoteka
• Prijenos na udaljeno računalo
• Prijenos s udaljenog na lokalno računalu
• Datoteke se prenose u/iz direktorija iz kojeg se podnosi posao
Korištenje grid okoline CRO NGI
transfer_input_files="path","path"...
transfer_output_files="path","path"...
Prijenos datoteka
• Prijenos iste datoteke na udaljeno računalo i natrag• HTCondor prije prijenosa obriše sadržaj ulazne datoteke
• Koristi se parametar transfer_output_remaps
Korištenje grid okoline CRO NGI
transfer_input_files=test
transfer_output_files=test
transfer_output_remaps = "test=test.out"
Obavijesti
• Slanje obavijesti• moguće je navesti uvjete u kojim se šalju obavijesti
• Adresa korisnika
Korištenje grid okoline CRO NGI
notification = Always | Complete | Error | Never
notify_user = email@address
Atributi HTCondora
• Atribute Universe• mora biti postavljen na “grid”
• Dnevnik• detaljne informacije o izvođenju posla
Korištenje grid okoline CRO NGI
universe=grid
log=<path>
Atributi HTCondora
• Broj zadataka• obavezan, navodi se iza svih ostalih atributa
• Koristi se za podnošenje polja poslova
Korištenje grid okoline CRO NGI
queue [<count>] [expr]
Adresa sjedišta – eksplicitno
• Potrebno je navesti adresu sjedišta
• Globus Toolkit
Korištenje grid okoline CRO NGI
grid_resource=<grid_type> <address> <parameters>
grid_resource=gt2 ce.srce.cro-ngi.hr/jobmanager-sge
Podnošenje posla
• Naredba
• naredba ispisuje ID posla
Korištenje grid okoline CRO NGI
$ condor_submit <classadd_file>
Prikaz stanja poslova
• Naredba
• prikaz svih poslova
• korisnik ne mora spremati ID posla
• Opcije
Korištenje grid okoline CRO NGI
$ condor_q [-globus] [-long] [jobID] [username]
-globus prikaz sa specifičnim podacima od Globusa
-long detaljni podaci o poslu
(preporuča se koristiti sa jobID)
-hold detaljni podaci o razlogu zaustavljanja posla
Detalji o izvođenju posla
• Dnevnik• parametar log
• Detaljan HTCondorov dnevnik• /var/log/condor/GridmanagerLog.<username>
Korištenje grid okoline CRO NGI
Paralelni poslovi
• Nisu izravno podržani
• Ostvaruju se korištenjem Globus parametara
• Primjeri (mpi.jdl)
• opis MPI posla koji zahtjeva 4 procesora
• nije potrebno navoditi mpirun u skripti
• proizvoljna paralelna aplikacija
• primjer Gaussian
Korištenje grid okoline CRO NGI
globusrsl = (jobType=mpi)(count=4)
globusrsl = (jobType=single)(count=4)
Paralelni poslovi
• Svi procesori na istom čvoru
Korištenje grid okoline CRO NGI
environment = "PE_MODE=single"
MPI okolina
• Tri verzije• MPICH2 1.5 : mpich2-x86_64
• MVAPICH2 2.0 : mvapich2-x86_64
• MVAPICH2 2.0 s prevodiocima GNU 4.9 : mvapich2-gcc49-x86_64
• MVAPICH2 na UNIZG-Srce, na ostalima MPICH2
• Na pristupnom čvoru i skriptama potrebno odabrati naredbom
Korištenje grid okoline CRO NGI
module load <ime_modula>
Polja poslova
• Korištenjem parametra queue
• pokreće N neovisnih poslova
• Korisna varijabla u skripti
• $(Process) – jedinstveni identifikator pojedinog posla
• vrijednosti su 0 … N-1
Korištenje grid okoline CRO NGI
queue N
output = array.out.$(Process)
transfer_input_files = input.$(Process)
Polja poslova
• Pokretanje na više CE čvorova (job-array.jdl)
Korištenje grid okoline CRO NGI
executable = mojProg
output = ce.srce.out.$(Process)
error = ce.srce.err.$(Process)
grid_resource = gt2 ce.srce.cro-ngi.hr/jobmanager-sge
queue 2
output = ce.etfos.out.$(Process)
error = ce.etfos.err.$(Process)
grid_resource = gt2 ce.etfos.cro-ngi.hr/jobmanager-pbs
queue 2
GPU poslovi
• Poslovi koji zahtijevaju grafičke procesore (GPU)• GPU-ovi su dostupni isključivo na sjedištu Srce
• Primjer (gpu.jdl)
Korištenje grid okoline CRO NGI
grid_resource=gt2 ce.srce.cro-ngi.hr/jobmanager-sge
environment = SGE_PE=gpu
GPU okoline
• Dostupne su dvije GPU okoline:• CUDA 5.5: cuda-5-5
• CUDA 7.0: cuda-7-0
• CUDA 8.0: cuda-8-0
• Na pristupnom čvoru i skriptama potrebno odabrati naredbom
Korištenje grid okoline CRO NGI
module load <ime_modula>
Dodatni zahtjevi na sjedištu Srce
• Moguće je birati:• vrstu radnog čvora (vendor)
• količinu memorije za potrebe jednog procesa u GB (memory)
• količinu diska za potrebe jednog procesa u GB (memory)
• Dostupne vrste čvorova:• Sun - Sun Fire x4600
• HP - HP ProLiant SL250s
• IBM - IBM NeXtScale nx360 M5
Korištenje grid okoline CRO NGI
Dodatni zahtjevi na sjedištu Srce
• Primjer zahtjeva Sun čvora (srce.jdl)
• Primjer zahtjeva IBM čvora, pri čemu je za izvođenje potrebno 16 jezgri, 64 GB radne memorije i 256 GB diska
Korištenje grid okoline CRO NGI
globusrsl =
(jobType=single)(count=16)(memory=4)(vendor=IBM)
(scratch=16)
globusrsl = (vendor=Sun)
Varijable
• HTCondor omogućava korištenje varijabli u opisu posla• mogu se koristiti u vrijednosti svih atributa
• format: $(ime_varijable)
• korisne za izradu jednostavnijih skripti
• Varijable sustava• $(Cluster) - identifikator posla
• $(Process) - identifikator pojedinih poslova u polju
• primjer korištenja za jedinstveno ime izlaza i greške
Korištenje grid okoline CRO NGI
Output = output.$(Cluster).$(Process)
Error = error.$(Cluster).$(Process)
Varijable
• Korisničke varijable• proizvoljan broj u opisu posla
• vrijednost se postavlja naredbom (customvar.jdl)
• vrijednost može biti postavljena naredbom queue (napredna polja poslova)
Korištenje grid okoline CRO NGI
moja = test
Napredna polja poslova
• Tri operatora za odabir indeksa:• in: navodi se konačan broj vrijednosti za jednu varijablu
• from: navodi se konačan broj vrijednosti za više varijabli u opisu posla ili izdvojenoj datoteci
• matching: koristi se popis datoteka i direktorija kao vrijednosti za jednu varijablu
• Primjer korištenja operatora in (job-array-in.jdl)
• pokreće 4 posla
• varijabla $(MyTask) u poslu ima vrijednosti 1…4
Korištenje grid okoline CRO NGI
queue MyTask in 1 2 3 4
Napredna polja poslova
• Primjer korištenja operatora matching (job-array-matching.jdl)
• pokreće onoliko poslova koliko ima datoteka test.* u direktoriju iz kojeg se pokreće posao
• varijabla $(MyTask) u poslu ima vrijednost imena pronađene datoteke
• Primjer korištenja operatora from• prikazan u primjeru aplikacije Gaussian
Korištenje grid okoline CRO NGI
queue MyTask matching test.*
Primjer posla Gaussian
• Primjer posla Gaussian (gaus.jdl)
• Optimizacija posla pomoću korisničkih varijabli (gaus-custom.jdl)
• parametri naziv ulazne datoteke, broj jezgri i sjedište
• kod pokretanja mijenja se samo na jednom mjestu
• Optimizacija posla pomoću naprednog polja poslova (gaus-job-array.jdl)
• parametri se navode u tekstualnoj datoteci (gaus_run)
• navođenjem više linija pokreće se više poslova jednom naredbom
Korištenje grid okoline CRO NGI
test230 10 srce
Problem prijenosa izlaznih datoteka
• Condor-G problem s izlaznim datotekama• datoteke definirane u atributu transfer_output_files
• Ako po završetku posla barem jedna datoteka ne postoji (hold-155.jdl)
• posao se postavlja u stanje Hold s opisom
• standardni izlaz, greška i sve ostale izlazne datoteke će biti obrisane
• Situacija najčešće uzrokovana zbog greške u izvođenju aplikacije
Korištenje grid okoline CRO NGI
Globus error 155: the job manager could not stage
out a file
Problem prijenosa izlaznih datoteka
• Preporučeno rješenje (hold-155-fix.jdl)• na početku skripte stvoriti sve izlazne datoteke naredbom touch
Korištenje grid okoline CRO NGI
touch izlaz1 izlaz2 izlaz3
Dohvat podataka
• Dodatne skripte za dohvat podataka tijekom izvođenja posla
• Moguće je dohvatiti• standardni izlaz i grešku
• pojedine datoteke
• sve datoteke
• Datoteke se spremaju u poddirektorij ./<jobid>
Korištenje grid okoline CRO NGI
Dohvat podataka
• Dohvat liste datoteka u privremenom direktoriju
• Dohvat standardnog izlaza
• Dohvat standardne greške
• Dohvat datoteke
Korištenje grid okoline CRO NGI
$ remote-scratch-ls <jobID>
$ remote-scratch-get <jobID> stdout
$ remote-scratch-get <jobID> stderr
$ remote-scratch-get <jobID> filename
Dohvat podataka
• Na sjedištu UNIZG-Srce moguće izravno pristupiti radnom direktoriju
• naredba vraća direktorij
• direktoriju je moguće izravno pristupiti na UI čvoru
Korištenje grid okoline CRO NGI
$ remote-scratch-pwd <jobID>
Stanje sjedišta grida
• Naredba
• lista dostupnih sjedišta
• Detaljan status
• Ispis GRAM adresa
Korištenje grid okoline CRO NGI
$ condor_status
$ condor_status -l
$ condor_status -l | grep grid_resource
Stanje sjedišta grida
• Dodatna naredba koja koristi SGE
• zahtjeva valjani korisnički certifikat
Korištenje grid okoline CRO NGI
$ grid-queue-status
Zaustavljanje posla
• Naredba
• Ukoliko je posao u stanju X ili H
Korištenje grid okoline CRO NGI
$ condor_rm <jobID>
$ condor_rm -forcex <jobID>
Povijest poslova
• Naredba
• ispis svih poslova koje je HTCondor izveo
• Ispis povijesti za posao
• Detaljan ispis povijesti posla
Korištenje grid okoline CRO NGI
$ condor_history
$ condor_history <id>
$ condor_history -l <id>
Vježbe
• $HOME/gworkshop/
Korištenje grid okoline CRO NGI
hostname.jdl – izvođenje udaljenog programa
test.jdl – izvođenje programa smještenog na UI čvoru
stage.jdl – prijenos datoteka
mpi.jdl – paralelni MPI posao
gpu.jdl – GPU posao
Vježbe
• $HOME/gworkshop/
Korištenje grid okoline CRO NGI
srce.jdl – dugotrajni posao s zahtjevom Sun čvora
job-array.jdl - polje poslova na dva sjedišta
customvar.jdl – HTCondor korisničke varijable
moj-app.jdl – primjer slanja korisničke aplikacije u paketu, izvođenje u scratch direktoriju i prijenos izlaznih podataka u paketu
job-array-in.jdl - polje poslova s operatorom in
job-array-matching.jdl - polje poslova s operatorom matching
Vježbe
• $HOME/gworkshop/
Korištenje grid okoline CRO NGI
gaus.jdl – posao Gaussian
gaus-custom.jdl – posao Gaussian s korisničkim varijablama
gaus-job-array.jdl - posao Gaussian kao polje poslova s operatorom from i definicijom parametara u datoteci
hold-155.jdl - posao koji završava greškom zbog izlazne datoteke koja nedostaje
hold-155-fix.jdl - rješenje problema izlaznih datoteka korištenjem naredbe touch
Nadzor
Korištenje grid okoline CRO NGI
Ganglia
• Raspodijeljeni sustav za nadzor klastera i grida
• Agregira podatke na razini klastera i cijelog grida
• Središnji servis Ganglia• http://mon.cro-ngi.hr/ganglia
Korištenje grid okoline CRO NGI
Ganglia
Korištenje grid okoline CRO NGI
CRO NGI statistike
• Web stranice Srca• sustav za nadzor Zabbix
• razvijeni vlastiti senzori
• trendovi za dan, tjedan, mjesec, kvartal, pola godine i godinu
• CRO NGI prikaz• http://www.cro-ngi.hr/crongi_stats/
• statistike poslova
• ukupno zauzeće CPU i GPU resursa
• opterećenje i zauzeće raspodijeljenih datotečnih sustava BeeGFShome i shared
Korištenje grid okoline CRO NGI
CRO NGI statistike
• CRO NGI prikaz po sjedištu• http://www.cro-ngi.hr/crongi_site_stats/
• statistike poslova po sjedištu
• ukupno zauzeće CPU i GPU resursa po sjedištu
• korisno za odluku gdje podnijeti poslove
Korištenje grid okoline CRO NGI
CRO NGI statistike
Korištenje grid okoline CRO NGI
GridSAFE
• Sustav za praćenje iskorištenja resursa
• Koristi podatke• sustava za upravljanje poslovima
• grid posredničkih sustava
• Web sučelje• autentikacija pomoću certifikata
• u pripremi integracija s AAI@EduHr
Korištenje grid okoline CRO NGI
GridSAFE
• Vrste grafova• iskorištenje kroz vrijeme (Time Chart)
• stupčani graf (Bar Chart)
• tortni graf (Pie Chart)
• apsolutno (CPU-sekunde) kroz vrijeme (Service Usage)
Korištenje grid okoline CRO NGI
GridSAFE
• Grafovi• podaci (Plot)
• broj poslova (Count)
• procesorsko vrijeme (Time)
• grupiranje (Group)• broj zauzetih jezgri (CPUs)
• korisničko ime (UserName)
• sjedište (MachineName)
• ustanova (Group)
Korištenje grid okoline CRO NGI
GridSAFE
• Podržani formati• web stranica
• CSV
• XML
• https://mon.cro-ngi.hr/webacct/
Korištenje grid okoline CRO NGI
GridSAFE
Korištenje grid okoline CRO NGI
GridSAFE
Korištenje grid okoline CRO NGI
EGI
Korištenje grid okoline CRO NGI
Uvod
• engl. European Grid Initiative
• Nastavak projekata EGEE
• Uspostava održive grid okoline za potrebe znanstvenika
• gridifikacija aplikacija iz određenih znanstvenih područja
• Grid sastavljen od nacionalnih grid infrastruktura (NGI)• NGI-jevi potpuno neovisni
• sukladno NREN (engl. National Research and EducationalNetworks) u računalnim mrežama
• Trenutno najveći svjetski grid
Korištenje grid okoline CRO NGI
Uvod
• Preko 300 sjedišta
• Preko 650 000 procesorskih jezgri
• Gotovo 300 PB diskovnog prostora
• Preko 200 PB tračnog prostora
• 1,6 milijuna poslova dnevno
• Posrednički sustavi gLite, ARC, UNICORE, Globus
Korištenje grid okoline CRO NGI
Uvod
Korištenje grid okoline CRO NGI
Arhitektura
• Grid sjedišta• sjedišta sadrže različite vrste čvorova
• Vrste čvorova• CE, SE, MyProxy – ista svrha kao i na CRO NGI-ju
• sadrže veći skup servisa
• BDII – središnji informacijski servisi
• WMS – središnji servisi sustava za upravljanje poslovima
• LFC (engl. LCG File Catalog) – središnji katalog datoteka
• FTS (engl. File Transfer Service) – servisi za upravljanje prijenosom podataka
• VOMS (engl. Virtual Organization Membership Service) – središnji servis za upravljanje VO-ovima
Korištenje grid okoline CRO NGI
Hrvatska u EGI
• Sudjeluje od druge faze EGEE-II (2006.)• operativne i networking aktivnosti
• Uspostavljena tri sjedišta• financirana od strane MZOS-a
• SRCE CA prihvaćeno u EUGridPMA (IGTF)
Korištenje grid okoline CRO NGI
Virtualne organizacije
• Specifična područja primjene• LHC VO-ovi (npr. alice, atlas), biomed
• Regionalni VO-ovi• Hrvatska je dio CE regije
• svi korisnici imaju pravo pristupa VOCE VO-u
• Pojedini VO-ovi imaju zasebna sučelja za prijavu
Korištenje grid okoline CRO NGI
Virtualne organizacije
• Operations Portal • http://operations-portal.egi.eu/vo/search
• pregled dostupnih VO-ova
• zahtjeva certifikat u pregledniku
• link VO Information / List
• VO Cards• detaljne informacije o pojedinim VO-ovima
Korištenje grid okoline CRO NGI
EGI web aplikacije
• Katalog aplikacija• popisom dostupnih aplikacija
• https://appdb.egi.eu/
• Accounting• korištenje resursa od strane pojedinih VO-ova
• http://accounting.egi.eu
• Dostupnost sjedišta• sustav ARGO koji razvijaju CNRS, GRNET i SRCE
• http://argo.egi.eu
Korištenje grid okoline CRO NGI
Srce politikom otvorenog pristupa široj javnosti
osigurava dostupnost i korištenje svih rezultata rada
Srca, a prvenstveno obrazovnih i stručnih informacija
i sadržaja nastalih djelovanjem i radom Srca.
Ovo djelo je dano na korištenje pod licencom
Creative Commons Imenovanje-Nekomercijalno
4.0 međunarodna.
www.srce.unizg.hr creativecommons.org/licenses/by-nc/4.0/deed.hr www.srce.unizg.hr/otvoreni-pristup
Hvala na pažnji!
Pitanja?