GRID Computing
-
Upload
tazanna-chan -
Category
Documents
-
view
40 -
download
0
description
Transcript of GRID Computing
3/44
Развој е-наукеРазвој е-науке
• Пре појаве Интернета– Теоријски приступ и/или експерименти
који се изводе самостално или у малим групама; објављивање радова
• Након појаве Интернета– Креирање и истраживање великих база
података добијених посматрањем или симулацијама
– Развој симулација и њихова анализа
– Удаљен приступ специјализованим инструментима
– Размена информација међу удаљеним мултидисциплинарним тимовима
5/44
Заједнички концептиЗаједнички концепти
• Дељење ресурса и координирано решавање проблема у динамичким, мулти-институционалним виртуелним организацијама
6/44
ПримерПример
• Грид на суперрачунарима– UK e-Science Project, CERN
• IBM’s Globus (www.globus.org)
• Грид на личним рачунарима– SETI
– Climateprediction
– Screensaver Lifesaver
7/44
CERNCERN
• Computing net promises vast power (BBC) Sept 2003
• Грид технологија искоришћена за повезивање суперрачунара у свету преко Интернета да би се створила нова генерација изузетно моћних рачунара
8/44
SETI@homeSETI@home
• Search for Extraterrestrial Intelligence (Потрага за ванземаљском интелигенцијом)
• Програм који анализира податке примљене са радио телескопа
9/44
Шта је то Шта је то Grid Computing Grid Computing
• Координирана употребе и доступност дистрибуираних рачунарских ресурса
• Постизање велике рачунарске снаге се постиже сакривањем рачунара, места за смештање података и мрежних ресурса тако да се Грид понаша као један велики рачунар
• Протоколи и оквири отворених стандарда. • Пружање одговарајућег квалитета услуга кроз
аутоматско прилагођавање капацитете тако да одговарају потражњи
10/44
Шта су користи од Шта су користи од Grid Grid Computing Computing
• Побољшање обраде по захтеву• Повећање скалабилности (могућност
проширења)• Флексибилност и агилност• Управљање комплексним информационим
технологијама
12/44
Сервиси ГридаСервиси Грида
• Покретање посла/надгледање• Трансфер датотека (појединачно, баферисано)• Приступ базама података• Управљање подацима (репликација,
метамодели)• Надгледање/претраживање системских
информација
13/44
Међуповезаност институцијаМеђуповезаност институција
Intra-Grids
Extra-Grids
Inter-Grids
GridGrid
NAS/SANNAS/SAN
Grid
NAS/SAN
VPN
Cactus
NTG(SF)
Express Project
MFGFin.
Services
14/44
Виртуална организацијаВиртуална организација
Виртуална Виртуална организацијаорганизација
Виртуална Виртуална организацијаорганизација
Виртуална Виртуална организацијаорганизација
Физичка Физичка организацијаорганизацијаФизичка Физичка
организацијаорганизација
Физичка Физичка организацијаорганизација
Физичка Физичка организацијаорганизација
15/44
Виртуална организацијаВиртуална организација
• Скупови организација које користе Грид да би наменски делиле ресурсе за специјалне потребе
• Подржавање јединствене заједнице
• Развој компатибилних технологија и договарање о полисама– Сигурносне полисе
• Развој различитих мрежних сервиса:– Grid Information
– Grid Resource Brokering
– Grid Monitoring
– Grid Accounting
16/44
Виртуална организацијаВиртуална организација
Problem A
Problem B
User
User
Dynamic Virtual Organization A
formed to provide weather prediction
Dynamic Virtual Organization B
formed to solve a financial modeling
Virtual organizations are
• Logical entities
• Dynamically created to solve a specific problem
• On-demand resource allocation and provisioning for solving the problem
Software Application Provider
Hardware Service Provider
Financial Expert Service Provider
WeatherPrediction
Math ModelingApplication
ComputerCluster
Blades
FinancialModeling
DatabaseSystem
NetworkBandwith
…
Weather prediction
Financial Modeling
reso
urce
s
17/44
ЗаштитаЗаштита
• Сви ресурси су рањиви• Осетљивост проблема који се решавају• Ресурси се налазе на различитим доменима
– Сваки ресурс има своја права приступа, процедуре, механизме заштите, ...
• Имплементација решења мора да буде широко доступна и применљива– Стандардно решење, исцрпно тестирано, интегрисано у
мноштво већ развијених алата
18/44
ЗаштитаЗаштита
• Формирање јединственог комуникационог медија за све сервисе
• Сигурна аутентификација и ауторизација• Јединствено логовање
– Потребно је обезбедити да се сам корисник аутентификује само једном
• Јединствена акредитација• Пример: GSI (Grid Security Infrastructure)
19/44
Имплементација GSI Имплементација GSI
ComputeCenter
SSL/WS-Securitywith ProxyCertificates
VO
RightsVO
Users
Services (runningon user’s behalf)
Rights’’
Rights’
Access
Local Policyon VO identityor attributeauthority
CAS or VOMSissuing SAMLor X.509 ACs
Authz Callout
KCA
MyProxy
20/44
Коришћење ГридаКоришћење Грида
• Покретање програма у Гриду користећи делегата:
voms-proxy-init –voms VONAME
Enter PEM pass phrase: ***************
• Креирање привременог, локалног, делегата (proxy)
• Делегати = креирање проксија (другог нивоа), који омогућује удаљеном процесу аутентификацију у име корисника
21/44
Од чега се Грид састојиОд чега се Грид састоји
• Сигурност приликом приступа и сигурна комуникација• Информације о постојању Грид саитова и сервиса• Јединствен интерфеијс до саитова• Могућност одржавања и распоређивања послова• Брза и једноставна манипулација подацима• Информације о томе где се налазе подаци
Grid Protocols
Grid Resources dedicatedby UC, IU, Boston
GridStorage
GridMiddleware
Co
mp
utin
gC
luster
Grid resource time purchasedfrom commercial provider
GridMiddleware
Co
mp
utin
gC
luster
Grid resources sharedby OSG, LCG, NorduGRID
GridMiddleware
Co
mp
utin
gC
luster
Grid Client
ApplicationUser
Interface
GridMiddleware
Resource,WorkflowAnd DataCatalogs
GridStorage
GridStorage
22/44
MiddlewareMiddleware
• Сакривање дистрибуције апликације• Сакривање хетерогености система• Обезбеђивање униформног, стандардног
интерфејса високог нивоа развојним тимовима апликацијама
• Обезбеђивање скуп сервиса различите функционалности
23/44
MiddlewareMiddleware
• LCG: Large Hadron Collider Computing Grid • LCG infrastructure running LCG-2 is “EGEE-0”• In parallel producing new web-service-oriented
middleware (“gLite”), which will replace LCG-2 as production facility this year
Globus 2 based Web services based
EGEE-2EGEE-1LCG-2LCG-1
26/44
Захтеви/пословиЗахтеви/послови
• Job: једноставна апликација, која може бити batch, интерактивна,заснована на прослеђивању порука, са контролним тачкама, састављена од скупа независних порука, параметарска
• DAG: директни ациклични граф зависних послова• Collection: колекција или скуп независних послова
27/44
Workload Management System Workload Management System (WMS)(WMS)
• Дистрибуирано распоређивање– Постојање више UI којима се може проследити посао– Постојање више RB са који се посао може проследити на
CE– Постојање више CE код којих се посао може убацити у ред
за опслуживање
• Дистрибуирано управљање ресурсима– Постојање више информационих система који надгледају
стање у коме се Грид налази– Сакупљање информација са SE, CE, група рачунара (саит)
28/44
Аутентификација и ауторизацијаАутентификација и ауторизација
• Аутентификација– Креирање сертификата за кориснике– Коришћење ssh приликом повезивања на UI– Довлачење сертификата– Коришћење делегата (proxy)– Повезивање на UI чвор и успостављање сигурне везе
(Secure Socket Layer) коришћењем делегата на све остале чворове
• Ауторизација– Придруживања Виртуелној организацији– Приступ ресурсима Грида се обавља преко изабране
Виртуелне организацији– Проверу права приступа обављају CE и SE користећи
gridmapfile да би пресликали кориснике на локалне налоге
29/44
User Interface (UI)User Interface (UI)
• Листање ресурса који одговарају потребама посла који треба да се изврши
• Подношење посла на извршење• Отказивање посла• Преузимање резултата извршеног посла• Прегледање информација о статусу посла који се
извршава,• Манипулисање (смјештање, копирање и брисање)
датотекама на Гриду• Прегледање информација о статусу различитих
ресурса у оквиру Грид мреже.• Покретање посла коришћењем посебног језика JDL
(Job Description Language)
30/44
Computing Element (CE)Computing Element (CE)
• Скуп рачунарских ресурса у облику кластера или рачунарске фарме
• Чине га:– Grid Gate (GG), генерички интерфејс ка кластеру– Local Resource Manaдement System (LRMS), који се назива
и batch систем, као и сам кластер– Колекција радних чворова (Worker Nodes - WNs) на којима
се извршавају послови
31/44
Storage Element (SE)Storage Element (SE)
• Обезбеђивање униформног приступ ресурсима за складиштење података
• Протоколи и интерфејси за приступ подацима– GSIFTP протокол за пренос комплетних датотека користи – RFIO – дsidcap, GSI сигурна верзија dcap протокола
32/44
Resource Broker Resource Broker (RB)(RB)
• Извршавање делова који се доносе на WMS– Прихватање послатих послова
– Прослеђивање послова одговарајућим Compute Element (CE)
– Дозвољава корисницима• Прибављање информација о статусу• Прибављање резултата операција
• Коришћењем одговарајућих конфигурационих датотека на сваком UI чвору се постиже одређивање RB
• Приликом покретања посла, JDL опције су: – Спецификација CE
– Коришћење произвољног CE (који задовољава услове посла)
– Спецификација SE (RB онда проналази најближи одговарајући CE)
33/44
Resource Broker Resource Broker (RB)(RB)
GRAM GRAM GRAM
LSF EASY-LL NQE
Application
RSL
Simple ground RSL
Information Service
Localresourcemanagers
RSLspecialization
Broker
Ground RSL
Co-allocator
Queries& Info
34/44
Logging and BookkeepingLogging and Bookkeeping
• Праћење извршавање послова којим руководи WMS
• Бележење статуса послова њихове историје• Обично се извршава на истом чвору са WMS
35/44
Information SystemInformation System
• Обезбеђивање информација о WLCG/EGEE Grid ресурсима и њиховом статусу
• Информације омогућују проналажење одговарајућих ресурса и праћење њиховог коришћења
• Користи га RB чворови да би утврдили расположивост ресурса које су потребни пословима
• Тренутно се користи BDII (Berkeley Database Information Index)
37/44
Сертификати за проксиСертификати за прокси
• Креирање проксија
$ voms-proxy-init --voms <vo> • Прикупљање информација о проксију
$ voms-proxy-info • Гашење проксија
$ voms-proxy-destroy
38/44
Покретање послаПокретање посла
• Покретање посла, ver={edg, glite}$ ver-job-submit <jdl_file>$ ver-job-submit –o <job_ID_file> <jdl_file>$ ver-job-submit –r <CE_ID> <jdl_file>
• Дохватање информација о послу$ ver-job-status <job_ID>$ ver-job-status –i <job_ID_file>
• Дохватање излаза посла$ ver-job-get-output <job_ID>$ ver-job-get-output –i <job_ID_file>$ ver-job-get-output –dir <path> <job_ID>
• Отказивање посла$ ver-job-cancel <job_ID>$ ver-job-cancel –i <job_ID_file>
• Листање погодних CE$ ver-job-list-match <jdl_file>
40/44
Атрибути Атрибути JDLJDL фајла фајла
• Typefor LCG2 only “Job” type supported
• JobTypevalues: “Normal”, “MPICH”, “Interactive”…
• Executablecommand name
• Argumentscommand line arguments
• StdOutputfile where the job standard output goes
• StdErrorfile where the job standard error goes
• InputSandboxfiles for transfer from UI to the WN
• OutputSandboxfiles for transfer from WN to the UI
41/44
Атрибути Атрибути JDLJDL фајла фајла
• Requirements
to send a job to a particular CE
Requirements = other.GlueCEUniqueID ==
“rti29.etf.bg.ac.yu:2119/jobmanager-pbs-seegrid”;
job must run on a CE where a particular experiment software is installed
Requirements = Member("VO-atlas-release-11.0.2",
other.GlueHostApplicationSoftwareRunTimeEnvironment);
for MPI job
Requirements = Member("MPICH", other.GlueHostApplicationSoftwareRunTimeEnvironment)
42/44
Пример Пример JDLJDL фајла фајла
Executable = "/bin/hostname";
Arguments = "";
StdOutput = "message.txt";
StdError = "stderror.txt";
OutputSandbox = {"message.txt","stderror.txt"};
Requirements = RegExp("rti29.etf.bg.ac.yu*",other.GlueCEUniqueID);
43/44
Пример Пример JDLJDL фајла фајла
Executable = "java";
Arguments = " -classpath /storage/exp_soft/drs/gravitacion/Gravitational
StdOutput = "message.txt";
StdError = "stderror.txt";
OutputSandbox = {"message.txt","stderror.txt"};
Requirements = RegExp("rti29.etf.bg.ac.yu*",other.GlueCEUniqueID);