www.grid.org.tr

Grid Orta Katmanı ve İş Akışı

TR ATLAS

Gaziantep Grid Workshop

19-21 Haziran, 2008. Gaziantep Üniversitesi

www.grid.org.tr

İÇERİK

• Küme Bilgisayar Mimarisi

Bileşenler

Kuyruk Sistemi

İş Akışı

• Grid Mimarisi (gLite Ortakatman Yazılımı)

Grid Katmanları

Grid Servisleri

Veri Yönetimi

İş Yükü Yönetimi

www.grid.org.tr

Küme Bilgisayar ve Grid...

Küme Bilgisayar• Birbirine LAN yoluyla bağlı

homojen hesaplama kaynakları

• Paralel hesaplamaya imkan kılan paylaştırılmış dosya dizinleri

• Her ne kadar ölçeklenirliği olsa da, karşılaşılan sorunlar var:

– Isı, boyut, donanım kısıtlamaları...

• Basit mimari

• İş göndermede ve sonuç almada hızlı erişim

Grid• Coğrafi olarak dağıtık, heterojen

kaynaklar• Araştırmaların önünü açacak insan

ağının oluşturulması• Hesaplama + DEPOLAMA kaynakları• Ölçeklenirlikte kısıt yok!• Karmaşık mimari (Küme servisleri +

siteler arası ortak servisler)• Network bağlantılarının yeterince

hızlı olmaması durumunda, iş çalıştırma ya da veri depolamada yavaşlık (Ayrıca coğrafi olarak dağıtık olsun olmasın birçok servisin varlığı da etken.)

www.grid.org.tr

Küme Bilgisayar Bileşenleri (yazılım)

www.grid.org.tr

Küme Bilgisayar Kuyruk Sistemi

Planlayıcı

Hesaplama Kaynakları

Kuyruk A

Kuyruk B

Kuyruk C

Kuyruk D

B

C D

A

Kuyruk Sistemi

www.grid.org.tr

Küme Bilgisayarlarda İş Akışı (Örnek: TR-03-METU)

www.grid.org.tr

Grid Mimarisi (Ortakatman)

Grid ortakatman dediğimiz uygulamalarla hesaplama ve veri depolama kaynakları arasında bir arayüz oluşturan ileri yazılım üzerine kuruludur.

Grid ortakatmanı:

• uygulamaların çalışacağı

uygun yerleri bulur.

• kaynak kullanımını

optimize eder.

• veri yığınlarına etkin

erişim sağlar.

• birçok grid sitesinde kullanılan

ortak bir kimlik doğrulama ve

yetkilendirme servisi sağlar.

• işleri çalıştırır ve anlık iş durumunu

izlemenize izin verir.

• işlerin sonuçlarını kullanıcılara taşır.

www.grid.org.tr

gLite-3.0 Ortakatman Sürümü, Tarihçe

• 2006 Baharıyla birlikte LCG-2.7.0 ve gLite-1.5 ortakatman yazılımları gLite-3.0 çatısı altında birleşti:

– Üretim seviyesinde altyapıda süreklilik

– Uygulamalar tarafından kullanılırlığın sağlanması

– İşyükü yönetimine yönelik yeni çalışmalar

• LCG ve gLite EGEE projesi tarafından geliştirilen Grid ortakatman yazılımlarıdır ve şu an gLite-3.0 birçok proje ve altyapıda kullanılmaktadır.

• gLite ortakatmanı sürekli güncellemelerle iyileştirilen açık kaynak kodlu bir yazılımdır.

LCG-2

prototyping

prototyping

product

2004

2005 product

gLite

2006 gLite 3.0

www.grid.org.tr

Grid Katmanları

Grid Uygulama KatmanıGrid Uygulama Katmanı

Ortak ServislerOrtak Servisler

Temel Grid ServisleriTemel Grid Servisleri

En Alt Seviye Yapı Servisleri

En Alt Seviye Yapı Servisleri

Altyapı Taşları

Grid

Uygulamalar

GLOBUSCondor(VDT)

UYGULAMALAR

ORTAKATMAN

www.grid.org.tr

Grid Yapıtaşları (Temel Servisler)

Gridin kaynaklarını kullanmak istiyorum!

Doğru kaynağı nerden

bulabilirim?

İşimin sonuçlarını depolama

k istiyorum!

Tüm bu istediklerim güvenli bir ortamda yapılmalı!

www.grid.org.tr

Sertifika Otoriteleri, Kimlik Doğrulama, Yetkilendirme

Kimlik Doğrulama• GSI (Grid Security

Infrastructure) ve x509 sertifikaları, Sertifika Otoriteleri (CA)

– Proxy sertifikaları– MyProxy Sunucusu ve uzun

süreli proxy sertifikaları

• Kabul gören güven ağı:– International Grid Trust

Federation (IGTF)» EUGridPMA» APGridPMA» TAGPMA

• Tüm EGEE siteleri IGTF altındaki CA’lara güvenir.

Yetkilendirme• VOMS (Virtual Organization

Membership Service), sanal organizasyonlar (VO)– Kullanıcıların disiplinlere göre

gruplandırılması– Sitelerin VO tabanlı kaynak ayırımı

• LCG-2.7.0 ortakatmanına kadar sadece grid-mapfile yapısı vardı.– Kullanıcı tabanlı yetkilendirme

• LCG-2.7.0 ve gLite ile birlikte VO eklentili proxy sertifikaları– VO tabanlı lokal yetkilendirme

servisleri

TAGPMA APGridPMA

The Americas Grid PMA

European Grid PMA

EUGridPMA

Asia-Pacific

Grid PMA

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

GRİD ORTA KATMANIgLite Ana Servis Tipleri

• Kullanıcı Arayüzü (UI)

• Bilgi Servisi (IS)

• Hesaplama Elemanı (CE)– İş Dağıtıcı– Hesaplama Ucu (WN)

Depolama Elemanı (SE)

Replika Kataloğu (RLS,LFC)

İşyükü Yöneticisi (WMS)

Kaynak Aracısı (RB)

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Kullanıcı Arayüzü - UI

• gLite Grid altyapısına giriş kullanıcı arayüzü ile sağlanır.

• Kullanıcı arayüzünde:– Kullanıcılar kişisel hesaplara sahiptir.– Kullanıcıların sertifikaları yüklüdür.

• Aşağıdaki işlemleri komut satırı arayüzü sağlar:– Çalıştırılmak üzere iş göndermek– Bir iş için uygun kaynakları göstermek– Dosyaları kopyalamak ve replika etmek– İşleri takip etmek ve iptal etmek– Bitmiş işlerin sonuçlarını almak

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Hesaplama Elemanı - CE

• gLite ortakatman yazılımını kullanan iki tip CE vardır: gLite-CE (yeni tip) ve lcg-CE (eski tip)

• gLite yapısında hesaplama elemanı homojen hesaplama uçlarına iş gönderir.

• Bütün gLite siteleri en az bir hesaplama sunucusu (CE) ve arkasında hesaplama uçları (WN) içerir.

• Sitede hesaplama sunucularından biri Grid kapısı olarak çalışır:– Globus kapısıdır.– Globus GRAM (“Globus Kaynak Ayırma Yöneticisi”)

sunucusudur.– Lokal kaynak yönetim sisteminin ana sunucusudur (PBS, LSF,

Condor...)

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

DEPOLAMA ELEMANI - SE

• Depolama elemanı, büyük depolama alanlarına düzenli erişim sağlar.

• Her bir gLite sitesi en az bir depolama elemanı içerir.

• İki protokol kullanırlar:– Dosya transferi için GSIFTP– Dosya erişimi için RFIO (“Remote File Input/Output”)

• Depolama kontrol yönetimi:– Dosyalara saydam erişim sağlar– Dosyaların durumunu gösterir– Dosyaların saklanma zamanını takip eder

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Veri Yönetimi Servisleri

UI

SECECE

SECECE

Grid BileşenleriGrid Bileşenleri

Grid ortamına dosya yüklemeGrid ortamına dosya yükleme

Kullanıcının depolama elemanına veri saklaması (Kullanıcı arayüzünden)

Uygulamanın depolama elemanına veri saklaması

Kullanıcının uygulamayı saklama ihtiyacı (hesaplama ucu tarafından alınıp çalıştırılacak)

Küçük dosyalar için işlere ait giriş torbaları (“input sandbox”) kullanılabilir.

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Veri Yönetimi Servisleri

Grid Ortamından Dosya AlmaGrid Ortamından Dosya Alma

• Kullanıcının depolama elemanından kullanıcı arayüzüne veri alma ihtiyacı

– Küçük dosyalar için çıktı torbası (“output sandbox”) kullanılabilir.

• Uygulamanın depolama elemanından veriyi alıp lokal kullanması

• Uygulamanın depolama kaynağından alınıp çalıştırılması

UI

SECECE

SECECE

Grid BileşenleriGrid Bileşenleri

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Bilgi Servisleri - IS• Bilgi servisleri, grid kaynakları ve durumları hakkında bilgi

verir.• gLite bilgi servisleri, LDAP tabanlıdır. • LDAP bilgi modeli kullanıcı, bilgisayar gibi objeler hakkında

hızlı bilgi verecek şekilde tasarlanmıştır.

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Bilgi Servisleri - IS

SELokal GRIS

SELokal GRIS

CELokal GRIS

SELokal GRIS

CE Lokal GRIS

CELokal GRIS

CE Lokal GRIS

SELokal GRIS

CE Lokal GRIS

CESite GIIS

CESite GIIS

CESite GIIS

BDII-A BDII-B

Kullanıcı Uygulaması

İş Dağıtıcısı

İzleme Servisleri

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Veri Yönetimi Servisleri• Veri yönetimi nedir?

– Kullanıcılar ve uygulamalar veri üretirler ve veriye ihtiyaç duyarlar.– Veriler grid dosyaları şeklinde saklanabilirler.– Dizin veya veri yapılandırılması yoktur. Dosya seviyesinde bilgi tutulur.– Kullanıcı ve uygulamaların grid dosyalarını yönetebilmesi gerekir.

• Kullanıcı ve uygulamalar gLite yapısında verinin yerini bilmek zorunda değildirler. Mantıksal dosya isimleri kullanabilirler.

– Globally Unique Identifier (GUID) “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6”

– Site URL (SURL) (or Physical/Site File Name (PFN/SFN))

“sfn://lxshare0209.cern.ch/data/alice/ntuples.dat”

– Logical File Name (LFN)

“lfn:cms/20030203/run2/track1”

– Transport URL (TURL)

“gsiftp://lxshare0209.cern.ch//data/alice/ntuples.dat”

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

İş Yükü Yönetimi - WMS

• Kullanıcılar grid ile iş yükü yönetim sistemi ile etkileşirler.• İş yükü yönetim sistemi, dağıtık iş planlaması ve kaynak

yönetimi sağlar. • Kullanıcıların:

– İşlerini gönderebilmelerine,– İşlerini en uygun kaynaklarda çalıştırmalarına,– Kaynakların kullanımını da aynı anda optimize etmeye,– İşleri hakkında bilgi almasına,– İşlerinin sonuçlarını almasına

sağlar.

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

İş Yükü Yönetimi - WMS• WMS aşağıdaki parçalardan oluşur:

– İş Yükü Yöneticisi: Sistemin ana parçasıdır.– Kaynak Aracısı(RB): Bir işin ihtiyaçlarına göre en uygun

kaynakları bulur.– İş Adaptörü: İş, kontrol servisine geçmeden önce ortamı

ayarlar.– Kontrol Servisi: İşin gönderilmesi, silinmesi gibi yönetimsel

operasyonlardan sorumludur.– Kayıt Tutma: İş hakkında bilgi tutar.

• İşler iş tanımlama dili JDL (“Job Description Language”) ile tanımlanır.

• WMS servisinin bir işi çalıştırabilmesi için:– İşin karakteristiğini (basit, MPI, DAG)– Hesaplama ihtiyaçlarını ve seçeneklerini– Yazılım bağımlılıklarını

bilmesi gerekir.

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UIAğ

Sunucusu

Kontrol Servisi

İş Yükü Yöneticisi

LFC

Bilgi Servisi

HesaplamaElemanı Depolama

Elemanı

WMS

CE bilgisive durumu

SE bilgisi ve durumu

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

UIAğ

Sunucusu

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

UI: Komut satırı, GUI, C++,Java API’leri ile kullanıcınıniş yükü yönetiminin bütün özelliklerini kullanmasını sağlar.

Gönderildi

İş Durumu

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

Gönderildi

İşDurumu

glite-job-submit myjob.jdlMyjob.jdl

JobType = “Normal”;Executable = "sum.exe";InputSandbox = {"/home/user/sum.exe","/home/file*”, "/home/user/DATA/*"};OutputSandbox = {“sim.err”, “test.out”, “sim.log"};Requirements = other. GlueHostOperatingSystemName == “linux“;

İş tanımlama dili(JDL) işin ihtiyaçlarını vekarakteristiğini belirler.

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Beklemede

Gönderildi

GirişTorbasındakiDosyalar (InputSandbox)

İş

Ağ sunucusu: Gelen istekleri karşılamaklayükümlüdür.

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UIAğ

Sunucusu

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Beklemede

Gönderildi

İş Yükü Yöneticisi: İsteği karşılamak için gerekli işlemleri yapmakla sorumludur.

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Beklemede

Ğönderildi

Kaynak Aracısı

Gönderilen iş nerede çalışmalı ?

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgive durumu

SE bilgive durumu

İşDurumu

RBdeposu

Beklemede

GönderildiKaynakAracısı

Kaynak Aracısı: İşin gönderileceği en uygun CE servisini bulur.

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE characts& status

SE characts& status

İşDurumu

RBDeposu

Beklemede

ĞönderildiKaynakAracısı

İhtiyaç duyulan verilernerede?

Grid'indurumu nedir ?

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Beklemede

Gönderildi

KaynakAracısı

CE seçimi

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Beklemede

Gönderildi

İşAdaptör

ü

İş Adaptörü: İş gönderilmeden önce sonişlemleri yapmakla sorumludur (Gerekliön işleme betiklerinin yaratılması...).

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

İşDurumu

RBDeposu

Kontrol Servisi: Gerçekiş yönetimi işlemlerindensorumludur.

Ğönderildi

Beklemede

Hazır

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

CE bilgisive durumu

SE bilgisive durumu

Job Status

RBDeposu

İş

GirişTorbasıDosyaları

Gönderildi

Beklemede

Hazır

Planlandı

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UIAğ

Sunucusu

Kontrol Servisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

İşDurumu

RBDeposu

Gönderildi

Beklemede

Hazır

Planlandı

Çalışıyor

Grid olanaklıveri transferleri

İş

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

İşDurumu

RBDeposu

ÇıkışTorbasıDosyaları

Gönderildi

Beklemede

Hazır

Planlandı

Çalışıyor

Bitti

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

İşDurumu

RBDeposu

Gönderildi

Beklemede

Hazır

Planlandı

Çalışıyor

Bitti

glite-job-output <job-id>

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

Grid Servislerinde İş Akışı

UI

AğSunucus

u

KontrolServisi

İş YüküYöneticisi

LFC

BilgiServisi

HesaplamaElemanı

DepolamaElemanı

WMS

İşDurumu

RBDeposu

Gönderildi

Beklemede

Hazır

Planlandı

Çalışıyor

Bitti

ÇıkışTorbasıDosyaları

Temizlendi

İYTE ÖRGÜ LABORATUVARI AÇILIŞ TOPLANTISI – 28 NİSAN 2008, İZMİR

SORULAR ?

Emrah AKKOYUNTÜBİTAK-ULAKBİM

NOT: Bu sunum ULAKBİM tarafından organize edilmis diğer etkinliklerde kullanılan dökümanlardan derlenmiştir.