Polska Infrastruktura Polska Infrastruktura Informatycznego Wspomagania Nauki Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczejw Europejskiej Przestrzeni Badawczej

PL-Grid i jego Wirtualne Laboratorium PL-Grid i jego Wirtualne Laboratorium dla nauk społeczno-gospodarczychdla nauk społeczno-gospodarczych

Joanna Kocot, Eryk CiepielaJoanna Kocot, Eryk Ciepiela

Akademickie Centrum Komputerowe Akademickie Centrum Komputerowe Cyfronet AGHCyfronet AGH

Szkoła Symulacji Systemów Gospodarczych

Kudowa-Zdrój, 21 września 2010

Plan prezentacjiPlan prezentacji

Projekt PL-Grid Idea Gridu i e-Nauki Oferta PL-Grid dla naukowców Wirtualne Laboratorium GridSpace

2

PL-GridPL-Grid Projekt finansowany w ramach Programu Operacyjnego

Innowacyjna Gospodarka Cele:

3

Wskaźniki: Ilość naukowców korzystających z usług PL-Grid (700) Ilość nowych dziedzin (grup naukowców) wspieranych przez PL-Grid (7)

Wyjaśnienie pojęćWyjaśnienie pojęć Infrastruktura sprzętowa – dedykowane komputery (serwery)

pogrupowane w tzw. klastry, połączone szybką siecią, które są w stanie wykonywać (równoległe) programy, działająca w wyspecjalizowanych centrach komputerowych, z zapewniająca łączność z jej użytkownikami poprzez sieć Internet

Oprogramowanie – programy dla konkretnych domen nauki przystosowane do pracy na infrastrukturze sprzętowej (np. umiejące korzystać z możliwości obliczeń równoległych) współdzielone przez społeczność użytkowników

Grid – idea łączenia komputerów z jedną infrastrukturę sprzętową wygodnie dostępną z każdej lokalizacji poprzez sieć komputerową (analogia: elektrownie – sieć energetyczna – gniazdka)

e-Nauka – nauka wspomagana technologiami informatycznymi, wykorzystująca możliwości obliczeń, gromadzenia, analizy danych itp. (?)

4

Wyjaśnienie pojęćWyjaśnienie pojęć Narzędzia – programy komputerowe, portale internetowe itp.

umożliwiające i ułatwiające korzystanie z infrastruktury (gridu) jej końcowym użytkownikom oraz wspierające czynności wykonywane w trakcie przeprowadzania badań naukowych z użyciem szeroko rozumianych technologii informatycznych

Wirtualne laboratoria – szczególny typ narzędzi stanowiących środowisko pracy naukowców korzystających z infrastruktury (gridu) umożliwiający korzystanie z infrastruktury i wielości dostępnego oprogramowania oraz komponowanie z nich kompletnych scenariuszy przeprowadzających naukowe obliczenia od danych wejściowych aż po opracowanie rezultatów czyli tzw. wirtualnych eksperymentów

GridSpace – wirtualne laboratorium, które rozwijamy w ACK Cyfronet AGH w ramach projektu PL-Grid

5

Konsorcjum PL-GridKonsorcjum PL-Grid Akademickie Centrum Komputerowe CYFRONET AGH – koordynator Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS) Wrocławskie Centrum Sieciowo – Superkomputerowe (WCSS) Centrum Informatyczne Trójmiejskiej Akademickiej Sieci

Komputerowej (TASK) Interdyscyplinarne Centrum Modelowania Matematycznego

i Komputerowego (ICM)

6

Europejska Inicjatywa Gridowa EGIEuropejska Inicjatywa Gridowa EGI

7

EGEEEGEE

8Mariusz Sterzel CGW'08 Kraków, 13 October 2008 8

EGEE

ArcheologyAstronomyAstrophysicsCivil ProtectionComp. ChemistryEarth SciencesFinanceFusionGeophysicsHigh Energy PhysicsLife SciencesMultimediaMaterial Sciences…

>250 sites48 countries>150,000 CPUs>50 PetaBytes>15,000 users>150 VOs>200,000 jobs/day

Oferta PL-GridOferta PL-Grid

Wzrost udostępnianej mocy obliczeniowej do ok. 215 TFLOP (5000 procesorów 4-rdzeniowych, 38 rdzeni na użytkownika non-stop)

Wzrost pamięci dyskowej o ok. 2500 TB (2,5 mln GB, 3571 GB na użytkownika)

Zestaw zaawansowanych narzędzi do organizacji programów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb

Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji naukowych na rozległych zasobach obliczeniowych

Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid

9

Dostępne OprogramowaieDostępne Oprogramowaie

Każda aplikacja środowiska Unix/Linux może być dostosowana do infrastruktury PL-Grid

Oferujemy: Pakiety QM

ADF, Gaussian, Turbomole, GAMESS, Molcas, Pakiety MD, MM

NAMD, Amber (wkrótce) Pakiety do dokowania

AutoDock Zestaw typowych narzędzi

kompilatory, biblioteki numeryczne, MPI Czekamy na propozycje Państwa programów

10

Jak zostać użytkownikiem PL-GridJak zostać użytkownikiem PL-Grid Osoba prowadząca działalność

naukową, związana z jednostką naukową w rozumieniu ustawy z dnia 8 pazdziernika 2004r. o zasadach finansowania nauki.

Współpracownicy osoby prowadzącej działalność naukową (doktoranci, studenci, współpracownicy zagraniczni)

Jak się zarejestrować? Procedura w pełni on-line System rejestracji i zarządzania

kontem użytkownika PL-Grid https://konto.plgrid.pl/

Wymagany aktualny, własny wpis w bazie „Ludzie Nauki” OPI bądz wpis opiekuna naukowego

Weryfikacja zgłoszenia przez stronę internetową jednostki bądz telefonicznie

11Podziękowania:T. Szepieniec, M. RadeckiPodziękowania:T. Szepieniec, M. Radecki

Co uzyskam dzięki rejestracji w PL-GridCo uzyskam dzięki rejestracji w PL-Grid Konto na maszynie „dostępowej” w Cyfronecie ui.cyfronet.pl Z tej maszyny dostęp do:

gLite – oprogramowanie zapewniające dostęp do gridu UNICORE – oprogramowanie zapewniające dostęp do gridu system kolejkowy PBS – oprogramowanie zapewniające dostęp do

własnego cyfronetowego klastra Zeus (w dalszej kolejności kolejne klastry)

• Żądanie obliczenia (tzw. zadania) jest umieszczane w kolejce zadań i harmonogramowane gdy wymagane dla tego zadania zasoby (ilość procesorów, pamięci itp.) są dostępne

Pełny dostęp do systemu pomocy „Helpdesk PL-Grid” Dane o wykorzystaniu zasobów (wkrótce) System grantów obliczniowych

Grant podstawowy Granty przyznawane

Jedno konto, jedno hasło wszędzie

12

Podziękowania:T. Szepieniec, M. RadeckiPodziękowania:T. Szepieniec, M. Radecki

System pomocy „Helpdesk” PL-GridSystem pomocy „Helpdesk” PL-Grid Jeden punkt kontaktu do ekspertów od wszystkich aspektów

działania infrastruktury PL-Grid Procedury zapewniające przekazywanie spraw (np. w czasie

urlopowym) Zgłoszenia nie giną i nie są zapominane:

użytkownik może zgłaszać i śledzić proces rozwiązywania problemu monitorowanie czasu rozwiązywania sprawy

Zgłoszenia tworzone są poprzez: interfejs graficzny https://helpdesk.plgrid.pl (dla zarejestrowanych

użytkowników) e-mail helpdesk@plgrid.pl

Użytkownik otrzymuje identyfikator zgłoszenia umożliwiający pózniejsze śledzenie statusu sprawy

Istotne powiadomienia o stanie problemu wysyłane są e-mailem Zgłaszającemu

13

Podziękowania:T. Szepieniec, M. RadeckiPodziękowania:T. Szepieniec, M. Radecki

www.plgrid.plwww.plgrid.pl

14

Zapraszamy do rejestracji na:Zapraszamy do rejestracji na:

15

https://konto.plgrid.pl/

16

MotywacjaMotywacja Złożone aplikacje naukowe działające na

zasobach komputerowych Klastry, gridy, cloud

Bogactwo pakietów oprogramowania Aplikacje (Gaussian, NAMD,…) Dostępne w sieci usługi – Web Services Języki skryptowe do przetwarzania danych: Perl,

Python, Ruby Różne klasy użytkowników

Eksperci domenowi (konsultanci) Programiści aplikacji (producenci) Końcowi użytkownicy (konsumenci)

Eksplozja zbiorów danych, digitalizacja danych Pliki, bazy danych, …

Eksploracyjne programowanie Odzwierciedlające naturę pracy badacza Krok po kroku realizowanie kolejnych etapów

obliczeń, gdzie kolejny krok silnie zależy od wyników poprzedniego

Współdziałanie Zespoły, społeczności (wirtualne)

17

MożliwościMożliwości Dostępność niespotykanej do

tej pory mocy obliczeniowej Metody analityczne → metody

numeryczne Heurystyki → współbieżne

przeszukiwanie szerszej przestrzeni rozwiązań

Bardziej szczegółowe modele Złożone modele Większe rozmiary problemów Zrównoleglanie obliczeń Symulacje wykorzystujące systemy

agentowe Wsparcie naukowców w

tworzeniu lub adaptacji istniejącego oprogramowania Wsparcie programistów Szkolenia Wspólne tworzenie aplikacji Utrzymywanie aplikacji

ScientistClusters

SSHBash

Gnuplot

Storage

Supercomputers

Ruby

Files

Zakup, utrzymywanie i udostępnianie (komercyjnego) oprogramowania

Szkolenia Korzystanie z zainstalowanego

oprogramowania Pisanie własnego

oprogramowania

18

Praca z GridSpace2Praca z GridSpace2 Experiment Workbench

Portal WWW Środowisko do

eksploracyjnego programowania i uruchamiania aplikacji (eksperymentu)

Experiment Host Serwer na którym

wykonywane są eksperymenty

Infrastruktrura komputerowa Klastry, gridy, cloud, na

których wykonuje się zadania pamięciowo i/lub obliczeniowo intensywne

19

Exp

erim

ent

Wo

rkb

ench

Exp

erim

ent

Wo

rkb

ench

20

Binding sites in proteinsBinding sites in proteins Comparison of Services for Predicting

Ligand Binding Sites Multiple services available on the Web Conversions between data formats Visualization scripts (Jmol, Gnuplot) Single access based on experiments

developed in Virtual Laboratory Calculation of hydrophobicity profiles

Multiple scales, parameters, input data Computed using PL-Grid resources –

easy access to Zeus cluster at Cyfronet Management of experiment results:

~ 1 Million output files Using semantic integration framework for

metadata management

Collaboration with Department of Bioinformatics and Telemedicine, Jagiellonian University, Prof. Irena Roterman-Konieczna, Katarzyna Prymula

21

Analysis of water solutions of aminoacidsAnalysis of water solutions of aminoacids Involving multiple steps realized

with many tools, languages and libraries used for Packmol – molecular dynamics

simulations of packing molecules in a defined regions of space

Jmol – visualization of solution Gaussian – computing a spectrum of

the solution Python/CCLIB – extracting spectrum

info jqPlot – displaying plot

Collaboration with computational chemists of ACC Cyfronet AGH and Department of Chemistry, Jagiellonian University, Dr. Mariusz Sterzel, Klemens Noga

22

KonkluzjeKonkluzje Dostępność nowoczesnego sprzętu komputerowego,

oprogramowania, metodologii daje nowe możliwości ale też wymaga „nowego myślenia”

Moc obliczeniowa i ograniczenia pamięci nie są już tak wąskim gardłem w przeprowadzaniu obliczeń

Potrzeba narzędzi umożliwiających korzystanie z infrastruktury i wielości dostępnego oprogramowania

Potrzeba umożliwienia komponowania kompletnych scenariuszy przeprowadzających naukowe obliczenia od danych wejściowych aż po opracowanie rezultatów

Możliwość nowych ekscytujących zastosowań PL-Grid (w szczególności GridSpace) otwarty i darmowy dla

polskich naukowców

23

ReferencjeReferencje http://www.plgrid.pl

– kompletne zródło informacji o PL-Grid http://wl.plgrid.pl

– wejdz do Wirtualnego Laboratorium GridSpace http://dice.cyfronet.pl/gridspace

– dowiedz się więcej na temat technologii GridSpace

Prośba o wspólne uzupełnienie ankiet, które pomogą nam lepiej spełniać Państwa oczekiwania