Dzień Otwarty Cyfronetu 12 listopada 2007
Pols
ki
Gri
d
Polski Grid:Ogólnopolska Infrastruktura
Gridowa dla Nauki
Jacek KitowskiInstytut Informatyki AGH-UST
ACK CYFRONET AGH
Dzień Otwarty Cyfronetu 12 listopada 2007 2
Pols
ki
Gri
d
WprowadzeniePolski Grid (PL-Grid)
Inicjatywa PL-Gridu – motywacja Infrastruktura Architektura Struktura Gridowa
Projekt PL-Grid Cele Pakiety Robocze
Przykłady wykorzystania GriduWspółpraca z Inicjatywą Europejską
Spis treści
Dzień Otwarty Cyfronetu 12 listopada 2007 3
Pols
ki
Gri
dCo to jest Grid ?
W Stanach Zjednoczonych jest to popularne określenie sieci elektrycznej
Rozległa sieć maszyn obliczeniowych i innych zasobów zarządzanych w sposób rozproszony i niezależny – szybki, niezawodny i bezpieczny system połączonych komputerów i innych
urządzeń, który umożliwia łatwy dostęp do dużych, rozproszonych mocy obliczeniowych, zasobów danych i usług, bez względu na to, gdzie te zasoby są zlokalizowane.
Po co się to robi? – Dlatego że sieć połączonych komputerów, nawet niewielkich, może zastąpić jeden
wielki (i drogi) komputer, konieczny do wykonania skomplikowanych obliczeń
Grid to nowy paradygmat usług informatycznych realizowany przez zbiory nowych technologii informatycznych – z takich sieci korzystają już fizycy, chemicy, biologowie, inżynierowie, lekarze,
przedsiębiorcy – ci, którzy dla swych obliczeń sporadycznie potrzebują setek komputerów…
Europa traktuje grid jako na nowe, bardzo przydatne narzędzie, a Unia Europejska planuje utworzenie europejskiej infrastruktury gridowej.
ACK: „Grid łączy”, Dziennik Polski Akademicki, 7.2.2007
Dzień Otwarty Cyfronetu 12 listopada 2007 4
Pols
ki
Gri
dPrzykłady
ACK: „Grid łączy”, Dziennik Polski Akademicki, 7.2.2007
Europejska Sieć Naukowa GEANT
Dzień Otwarty Cyfronetu 12 listopada 2007 5
Pols
ki
Gri
d Inicjatywa PL-Grid
European e-
Infrastructure
2000 Testbeds 2010 Utility ServiceRoutine Usage
National
International
Ewolucja rozwoju europejskiej infrastruktury gridowej w skali lat
Odpowiedź na potrzeby polskich naukowców i bieżących aktywności gridowychw Polsce, w innych krajach europejskich i na całym świecie,
podjęta przez Polskie Centra z inicjatywy Cyfronetu
SGI Grid, Progress(Clusterix, National Data Store ...)
Crossgrid, Chemomomentum, Virolab, CoreGrid, Gredia, int.eu.grid, Baltic Grid, GridLab,
Porta Optica, RINGRid, Phosphorus, EUChinaGRID, QoSCoSGrid, Intelligrid, K-WfGrid, Unicore...
Dzień Otwarty Cyfronetu 12 listopada 2007 6
Pols
ki
Gri
dInicjatywa PL-Grid
Dzień Otwarty Cyfronetu 12 listopada 2007 7
Pols
ki
Gri
dInicjatywa PL-Grid
Głównym celem inicjatywy budowy ogólnopolskiej infrastruktury gridowej jest rozwój i stworzenie w Polsce, stabilnej infrastruktury zasobów obliczeniowych i gromadzenia danych, a także podstawowych usług dla nauki - w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym.
Dzień Otwarty Cyfronetu 12 listopada 2007 8
Pols
ki
Gri
d
# Procesory, Moc obliczeniowa (GFlops) and RAM (GB)
CYFRONET ICM UW PCSS CI TASK WCSS
proc. Rpeak RAM proc. Rpeak RAM proc. Rpeak RAM proc. Rpeak RAM proc. Rpeak RAM
SMP 204 1080 368 60 664 192 224 845 328 128 768 512 136 780 264
Klastry 650 8399 1729 500 3400 1036 380 3188 1068 288 3226 2304 256 3600 768
Razem 854 9479 2097 560 4064 1228 604 4033 1396 416 3994 2816 392 4380 1032
Koniec
Roku 2007
152 5666 912 1344 50000 5376 272 13077 2792
Obecne Zasoby
Dzień Otwarty Cyfronetu 12 listopada 2007 9
Pols
ki
Gri
dPoczątkowa działalność PL-Grid
Utworzenie Konsorcjum Polskiego Gridu (PL-Grid)Porozumienie podpisane w styczniu 2007♦ Akademickie Centrum Komputerowe CYFRONET AGH w Krakowie (ACK CYFRONET AGH) – koordynator Programu PL-Grid♦ Poznańskie Centrum Superkomputerowo-Sieciowe w Poznaniu (PCSS)♦ Wrocławskie Centrum Sieciowo - Superkomputerowe we Wrocławiu (WCSS)♦ Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej w Gdańsku (TASK)♦ Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego w Warszawie (ICM)
Konsorcjum utworzone z pięciu największych polskich centrów superkomputerowo-sieciowych (założyciele)
Przygotowanie projektu PL-Grid (2008-2010, 2011-2013)
GEANT2GEANT2
Dzień Otwarty Cyfronetu 12 listopada 2007 10
Pols
ki
Gri
d Uzasadnienie i cele projektu PL-Grid
Podejście e-Science do badań naukowych Eksperymenty komputerowe Olbrzymie, rozproszone i różnorodne w strukturze
dane Narzędzia dostępu do danych, ich integracji i
przetwarzania Różnorodność dziedzin i dyscyplin:
• fizyka, astronomia, astrofizyka,
• chemia,
• biologia, bioinformatyka,
• meteorologia, klimatologia,
• medycyna,
• nauki o Ziemi,
• zaawansowane przetwarzanie tekstu,
• przetwarzanie i zarządzanie wiedzą,
• e-learning.
Dzień Otwarty Cyfronetu 12 listopada 2007 11
Pols
ki
Gri
dUzasadnienie i cele projektu PL-Grid
Wizja PL-Grid:
Umożliwienie realizacji modelu e-Science w poszczególnych dziedzinach naukowych poprzez:
Budowę infrastruktury gridowej w pełni kompatybilnej i interoperabilnej z gridem europejskim i światowym dzięki współpracy z zespołami rozwijającymi grid europejski (EGEE, DEISA, OMII, C-OMEGA, ESFRI),
Zapewnienie działania tej infrastruktury w trybie produkcyjnym, Umożliwienie działania gridów dziedzinowych, Stosowanie i propagowanie standardów w odniesieniu do usług
gridowych, Dostosowywanie PL-Gridu do wymagań użytkowników, Integrację, testowanie, składanie i instalowanie w PL-Gridzie
oprogramowania pochodzącego z wiodących projektów gridowych (polskich i zagranicznych),
Organizowanie wsparcia dla użytkowników PL-Gridu (szkolenia, helpdesk i doradztwo),
Bieżące zarządzanie.
Dzień Otwarty Cyfronetu 12 listopada 2007 12
Pols
ki
Gri
dInfrastruktura PL-Grid
Założenia
Polski Grid będzie miał wspólną bazową infrastrukturę – podobnie do rozwiązań zastosowanych w innych krajach
Dziedzinowe systemy gridowe – włącznie z usługami i narzędziami zorientowanymi na specyficzne typy aplikacji – będą konstruowane na tej infrastrukturze.
Dzień Otwarty Cyfronetu 12 listopada 2007 13
Pols
ki
Gri
dInfrastruktura PL-Grid
Dziedzinowe systemy gridowe mogą być rozwijane i utrzymywane w ramach odrębnych projektów. Takie podejście powinno umożliwić efektywne wykorzystanie dostępnych środków finansowych.
Infrastruktura gridowa (usługi gridowe)PL-Grid
Ap
lika
cja
Ap
lika
cja
Ap
lika
cja
Ap
lika
cja
Klastry Komputery dużej mocy Repozytoria danych
Krajowa sieć komputerowa PIONIER
Grid Dziedzinowy
Zaawansowane Platformy Usługowe
Grid Dziedzinowy
Grid Dziedzinowy
Grid Dziedzinowy
Dzień Otwarty Cyfronetu 12 listopada 2007 14
Pols
ki
Gri
dStruktura PL-Grid
Infrastruktura PL-Grid będzie bazą dla Gridów dziedzinowych, obejmujących usługi i narzędzia zorientowane na specyficzne typy aplikacji
Użytkownicy
Krajowa sieć
komputerowa
Warstwadostępowa/tworzeniaaplikacji
System Wirtualnych organizacji
i bezpieczeństwa
Podstawowe usługi gridowe
Usługi gridowe
LCG/gLite(EGEE)
UNICORE(DEISA)
OtherSystemy gridowe
Zasoby gridowe
Rozproszone zasoby
obliczeniowe
Portale gridowe, narzędzia programistyczne
Rozproszone repozytoria
danych
Dzień Otwarty Cyfronetu 12 listopada 2007 15
Pols
ki
Gri
dStruktura PL-Grid
Oprogramowanie PL-Gridu obejmuje:
narzędzia użytkownika, takie jak: portale, systemy zarządzania i monitorowania aplikacji, wizualizacji wyników i innych zgodnych z używanym w PL-Grid oprogramowaniem niższych warstw;
biblioteki programistyczne;
system wirtualnych organizacji: podsystemy certyfikatów i kont, system zarządzania danymi: katalogi metadanych, zarządzanie replikami, transfer plików;
system zarządzania zasobami: zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami.
Dzień Otwarty Cyfronetu 12 listopada 2007 16
Pols
ki
Gri
d
PLANOWANIE I ROZWÓJ INFRASTRUKTURY
SPRZĘTOWEJ
P2
Koordynacja ArchitekturaRozpowszechnianie
informacji
ZARZĄDZANIEP1
CENTRUM BEZPIECZEŃSTWA
P6
Szkolenia
WSPARCIE DLA GRIDÓW
DZIEDZINOWYCH
P5P4 ROZWÓJ OPROGRAMOWANIA
DZIEDZINOWEGO I NARZĘDZI UŻYTKOWNIKA
EGEE DEISA … .
CENTRUM OPERACYJNEP3
Projekt PL-Grid jest podzielony na kilka pakietów roboczych
Planowana realizacja celów: Projekt PL-Grid
Dzień Otwarty Cyfronetu 12 listopada 2007 17
Pols
ki
Gri
dPakiety Robocze PL-Grid
Pakiet 1 Zarządzanie (włącznie z architekturą PL-Grid i rozpowszechnianiem informacji) – koordynowany przez ACK CYFRONET AGH (Kraków) ,
Pakiet 2 Planowanie i rozwój infrastruktury sprzętowej – TASK (Gdańsk),
Pakiet 3 Centrum operacyjne – ACK CYFRONET AGH,
Pakiet 4 Rozwój oprogramowania gridowego i narzędzi użytkownika – PCSS (Poznań),
Pakiet 5 Wsparcie dla gridów dziedzinowych – ICM (Warszawa),
Pakiet 6 Centrum bezpieczeństwa – WCSS (Wrocław)
Dzień Otwarty Cyfronetu 12 listopada 2007 18
Pols
ki
Gri
dPakiety Robocze PL-Grid
Ogólne założenia funkcjonowania PL-Gridu, które będą realizowane w ramach poszczególnych pakietów:
Wsparcie dla systemów produkcyjnych EGEE i DEISA; Współpraca systemów produkcyjnych gLite i UNICORE -
symetryczna; Otwarcie na nowe systemy gridowe; Wyodrębnianie zasobów do celów badawczych; Efektywne zarządzanie zasobami (system monitorowania
oraz zarządzania zasobami); Współpraca z dostawcą sieci (PIONIER); Wspieranie adaptacji aplikacji – usługi techniczne i
adaptacyjne; Rozwój oprogramowania PL-Gridu (użytecznego dla PL-
Gridu i użytkowników).
Dzień Otwarty Cyfronetu 12 listopada 2007 19
Pols
ki
Gri
dP1 - Zarządzanie
Zadania Koordynacja Architektura PL-Grid Rozpowszechnianie informacji
Dzień Otwarty Cyfronetu 12 listopada 2007 20
Pols
ki
Gri
dP2 - Planowanie i rozwój infrastruktury
sprzętowej
Zadania: przygotowanie technicznej specyfikacji
dotyczącej sprzętu zgodnie z kierunkiem rozwoju PL-Gridu,
informowanie o możliwościach technicznych instalacji w poszczególnych ośrodkach,
koordynowanie zakupów sprzętowych, koordynacja instalacji sprzętu i „lokalnego”
oprogramowania, utrzymania zainstalowanej infrastruktury.
Dzień Otwarty Cyfronetu 12 listopada 2007 21
Pols
ki
Gri
d P3: Centrum Operacyjne PL-Grid
Zadania ustanowienie i utrzymywanie stabilnej infrastruktury gridowej produkcyjnej; dostarczanie oprogramowania systemowego; dostarczanie oprogramowania dla gridu produkcyjnego typu EGEE i DEISA zarządzanie wdrażaniem oprogramowania – certyfikacja; monitorowanie infrastruktury i usług; rozliczania z wykorzystania zasobów; pomoc techniczna dla użytkowników i administratorów.
Dzień Otwarty Cyfronetu 12 listopada 2007 22
Pols
ki
Gri
d P4: Rozwój oprogramowania
gridowego i narzędzi użytkownika
Zadania analiza wymagań użytkowników i określenie
niezbędnych narzędzi i usług w ramach PL-Grid,
analiza dostępnych narzędzi i wybór narzędzi do repozytorium;
reinżynieria oprogramowania oraz integracja z platformami w PL-Grid,
budowa repozytorium oprogramowania pośredniego oraz wspomagającego użytkowników i twórców aplikacji,
rozwój i integracja nowych narzędzi i usług.
Dzień Otwarty Cyfronetu 12 listopada 2007 23
Pols
ki
Gri
dP5 - Wsparcie dla gridów dziedzinowych
Zadania zorganizowanie trwałego i wszechstronnego
wsparcia dla użytkowników Gridu, zespołów rozwijających aplikacje i serwisy gridowe dla aplikacji, w zakresie użytkowania gridu, rozwoju aplikacji, przydziałów zasobów, współpracy gridów i VO z różnych dziedzin nauki, techniki, administracji i biznesu,
organizacja działalności szkoleniowej, dydaktycznej i upowszechniającej wiedzę w zakresie technologii przetwarzania danych na Gridzie,
opracowanie i wdrożenie procedur udostępniania oprogramowania komercyjnego na Gridzie.
Dzień Otwarty Cyfronetu 12 listopada 2007 24
Pols
ki
Gri
dP6 - Centrum bezpieczeństwa
Zadania opracowanie wymagań bezpieczeństwa dla
ośrodków PL-Gridu, opracowanie procedur reagowania na incydenty
dotyczące bezpieczeństwa, cykliczne przeprowadzanie audytu
bezpieczeństwa. utrzymywanie struktury CA/RA w Polsce dla PL-
Gridu, zapewnienie istnienia spójnego mechanizmu
autentykacji i autoryzacji w gridzie PL-Grid, pro-aktywne monitorowanie infrastruktury gridu.
Dzień Otwarty Cyfronetu 12 listopada 2007 25
Pols
ki
Gri
dPrzykłady wykorzystania Gridu
HEP – WLCGChemia obliczeniowa – Gaussian,
Turbomole .....(Charmm, Amber, DL_POLY..)
Biologia/Farmacja – białka ...MeteorologiaSystemy złożone (gry
wieloagentowe...)
Dzień Otwarty Cyfronetu 12 listopada 2007 26
Pols
ki
Gri
dInfrastruktura sieciowo-obliczeniowa
polskiego Tier2 dla WLCG
Dzień Otwarty Cyfronetu 12 listopada 2007 27
Pols
ki
Gri
dAtlas Experiment
SFISFI SFI
PFLocal Event Processing Farms
Back End Network
SFOsmassstorage
CERNCERN Computing Center
CopenhagenEdmontonKrakówManchester
PFPF
PFPF
PacketSwitchedWAN: GEANT
Switchlig
htp
at
h
PF
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688 [email protected]
• Gaussian VO - utworzona i wspierana przez 2 Partnerów (działalność EGEE )
• Zaakceptowane przez dostawcę oprogramowania
• Rejestracja: https://voms.cyf-kr.edu.pl:8443/vo/gaussian/vomrs
GAUSSIAN w Gridzie
• Kierownik VO: Mariusz Sterzel (CYFRONET), koordynator ds.Chemii Obliczeniowej (EGEE II)
ACK: Tomasz Szepieniec
Enabling Grids for E-sciencE
EGEE-II INFSO-RI-031688 [email protected]
Never Born Protein Folding
ComputingElement
Euchina Virtual Organization (EGEE)
StorageElement
2. Transfer
application
User InterfacePortal
AABTDDSAD
1.Submit
sequence
3. Store protein
4. Visualize
PDB1.32 3.23 3.442.77 4.33 5.661.32 3.23 3.44
Prof. Irena Roterman (CM UJ)
i projekt EUChinagrid
ACK: Tomasz Szepieniec
Dzień Otwarty Cyfronetu 12 listopada 2007 30
Pols
ki
Gri
dWspółpraca z EGI-DS
1.ZORIENTOWANE NA INFRASTRUKTURĘ1.1.Opublikowanie nowego Middleware gridowego1.2.Dodanie nowego site’u NGI/EGI1.3.Alarm funkcjonalności na danym site’cie NGI1.4.Negocjacja zasobów dla VO2. ZORIENTOWANE NA APLIKACJE2.1.Żądanie przepustowości QoS2.2.Filtrowanie LHC na bieżąco
2.3. Aplikacja komercyjna z serwerem licencji2.4. Aplikacja rownoległa
3. ZORIENTOWANE NA UŻYTKOWNIKÓW KOŃCOWYCH3.1. Prywatnie sfinansowany sprzęt3.2. Pojedynczy użytkownik bez przynależności do VO potrzebuje użyć Gridu
Aktywne uczestnictwo w warsztatach EGI w Budapeszcie (2.10.07)
Identifikacja przypadków użycia (use-cases)
Dzień Otwarty Cyfronetu 12 listopada 2007 31
Pols
ki
Gri
dWnioski
Etap wstępny zakończony Porozumienie zostało podpisane Rada Naukowa została utworzona Zarząd został utworzony
Wniosek o finansowanie Projektu PL-Grid
Top Related